[image]

Проблемы современной науки

 
1 5 6 7 8 9 15
RU pokos #27.11.2019 14:14  @Татарин#27.11.2019 13:49
+
-
edit
 

pokos

аксакал

Татарин> Пока нет специальных нейропроцессоров ...
Ты отстал от жизни, дружище. И основная проблема нейропроцессоров - далеко не в узости существующих шин, а вообще, в наличии шин как таковых.
   48.0.2564.9748.0.2564.97
DE Fakir #27.11.2019 14:30  @Татарин#27.11.2019 13:50
+
-
edit
 

Fakir

BlueSkyDreamer
★★★★☆
Почему подозреваю, или почему устроил бы? Не думаю, что ответ на первый вопрос интересен тебе, и что на второй я смогу ответить :D
   51.051.0

Н-12

опытный

Tico> Признав ограниченность собственного мышления и не желая отдаваться на волю слепого эволюционного процесса, иного пути, как "работать над собой", нет

почему?

ну, адаптация себя под задачи, физиологическая адаптация, как то не типична для человека.

встретив условного саблезубого тигра человек ведь не принялся отращивать клыки и мышцы, а начал совершенствовать коммуникацию с сородичами.

почему встретив недоступную мозгу одного человека насущную задачу человек начнет отращивать супермозг, а не пойдет по пути решения задачи объединением нескольких мозгов за счет развития коммуникации между сородичами?

узкая специализация всегда опасна необратимостью.
   11.011.0

AidarM

аксакал
★★
Татарин>> Пока нет специальных нейропроцессоров ...
pokos> Ты отстал от жизни, дружище.

Здесь вы наверное имеете в виду еще изделия советской конторы "Модуль", из далеких 80х. Ну, и все, что появилось из этого потом.

> И основная проблема нейропроцессоров - далеко не в узости существующих шин, а вообще, в наличии шин как таковых.

А вот что имеете в виду здесь - непонятно.
   66
EE Татарин #27.11.2019 15:02  @pokos#27.11.2019 14:14
+
-
edit
 

Татарин

координатор
★★★★★
Татарин>> Пока нет специальных нейропроцессоров ...
pokos> Ты отстал от жизни, дружище. И основная проблема нейропроцессоров - далеко не в узости существующих шин, а вообще, в наличии шин как таковых.
Может быть, но я так не думаю, я периодически смотрю на новинки.
Так или иначе общая шина нужна как минимум внутри нейрона - чтобы не дублировать умножители. Производительность нейропроцессоров сейчас определяется именно полной суммарной шириной шин, в основном.
   78.0.3904.10878.0.3904.108
EE Татарин #27.11.2019 15:04  @AidarM#27.11.2019 15:00
+
-
edit
 

Татарин

координатор
★★★★★
Татарин>>> Пока нет специальных нейропроцессоров ...
pokos>> Ты отстал от жизни, дружище.
AidarM> Здесь вы наверное имеете в виду еще изделия советской конторы "Модуль", из далеких 80х. Ну, и все, что появилось из этого потом.
Это как раз самый что ни на есть классический процессор, из "нейро" у него разве что ММАС одной операцией и вектор с переменным размером слова.
   78.0.3904.10878.0.3904.108

pokos

аксакал

AidarM> Здесь вы наверное имеете в виду...
Здесь я имею в виду изделия советских цукербринов, которые ныне называются "Альфабет".
   48.0.2564.9748.0.2564.97
RU pokos #27.11.2019 15:35  @Татарин#27.11.2019 15:02
+
-
edit
 

pokos

аксакал

Татарин> Так или иначе общая шина нужна как минимум внутри нейрона...
Тогда это никакая не общая шина, а локальная. И она, в общем случае, совсем не нужна.
   48.0.2564.9748.0.2564.97

AidarM

аксакал
★★
pokos> Здесь я имею в виду изделия советских цукербринов, которые ныне называются "Альфабет".

Alphabet — Википедия

Ларри Пейдж — генеральный директорСергей Брин — президент компанииЭрик Шмидт — председатель совета директоров Alphabet Inc. — холдинг, располагающийся в Калифорнии (США). Владеет несколькими компаниями, ранее принадлежавшими Google Inc, и самой Google Inc в том числе. Во главе холдинга находятся сооснователи Google Ларри Пейдж и Сергей Брин. В 2018 году заняла первое место в списке 500 лучших работодателей мира по мнению журнала Forbes. Реорганизация Google в Alphabet была официально объявлена 10 августа 2015 года и завершена 2 октября 2015 года. //  Дальше — ru.wikipedia.org
 

Вы поисковые системы имеете в виду? Что у них есть аппаратная нейропроцессорная поддержка?
   66

pokos

аксакал

AidarM> Вы поисковые системы имеете в виду?
В том числе. TPU был первой ласточкой, но это просто потоковый матричный вычислитель, а не нейронный процессор.
Сейчас поехали дальше. Сложность в том, что на 2D это делается с очень большими ограничениями. Приходится делать шины, и много.
   48.0.2564.9748.0.2564.97
EE Татарин #27.11.2019 16:35  @pokos#27.11.2019 15:35
+
-
edit
 

Татарин

координатор
★★★★★
Татарин>> Так или иначе общая шина нужна как минимум внутри нейрона...
pokos> Тогда это никакая не общая шина, а локальная. И она, в общем случае, совсем не нужна.
Тогда все шины локальны.

Если без шины, то придётся ставить по умножителю на каждый аксон. Оставаясь в традиционной схемотехнике, это вообще бессмысленно сверху донизу: мало того, что шина занимает меньше места и гораздо дешевле, чем умножитель, так ещё и от каждого умножителя тащить отдельные шины на сумматор вместо одной на всю память - просто бессмыслица.

Есть варианты с аналоговыми "вычислениями" - допустим, аксоны будут каналами с мемристором или ЭППЗу над ключами, чьи выходу аналогово суммируются, а затем АЦП или компаратором приводятся к стандартному отклику, который можно уже давать на вход других акоснов. Но вот таких процессоров сейчас нет. Хотя иметь их хорошо бы: такие схемы могут обеспечить в десятки-сотни раз большую плотность и в тысячи раз большую скорость.
Одна из проблем тут, КМК, в том, что функция активации, как и количество аксонов, будут заданы аппаратно. Что не всегда есть хорошо.

Я прикидывал сделать такую штуку по технологиям ПЛИС. ВОзможные топологии сетей будут ограничены, но такие процессоры можно же комбинировать с обычными шинами-процессорами на том же кремнии, которые уже будут реализовывать реальную гибкость системы.
   78.0.3904.10878.0.3904.108
RU pokos #27.11.2019 16:46  @Татарин#27.11.2019 16:35
+
-
edit
 

pokos

аксакал

Татарин> Тогда все шины локальны.
Жуть какая.

Татарин> Если без шины, то придётся ставить по умножителю на каждый аксон.
Пока приходится на группу. В идеале - да, на каждый.

Татарин> Оставаясь в традиционной схемотехнике, это вообще бессмысленно...
Да.

Татарин> ..допустим, аксоны будут каналами с мемристором ...
Да, можно. Сумматором будет простое соединение проводников в одной точке. Но основная проблема совсем не в этом.

Татарин> Одна из проблем тут, КМК, в том, что функция активации, как и количество аксонов, будут заданы аппаратно.
Не вижу обязательности такого исхода.

Татарин> Я прикидывал сделать такую штуку по технологиям ПЛИС.
Дохлый номер. Слишком маленькое поле трассировки.
   48.0.2564.9748.0.2564.97
EE Татарин #27.11.2019 17:09  @pokos#27.11.2019 16:46
+
-
edit
 

Татарин

координатор
★★★★★
Татарин>> Если без шины, то придётся ставить по умножителю на каждый аксон.
pokos> Пока приходится на группу. В идеале - да, на каждый.
А если на группу, то нужна шина выборки значений весов.

Татарин>> ..допустим, аксоны будут каналами с мемристором ...
pokos> Да, можно. Сумматором будет простое соединение проводников в одной точке. Но основная проблема совсем не в этом.
Нет, так не выйдет, нужны каскады развязки (как в картинках с ОУ из учебников).

Татарин>> Одна из проблем тут, КМК, в том, что функция активации, как и количество аксонов, будут заданы аппаратно.
pokos> Не вижу обязательности такого исхода.
Активация - тривиально: бессмысленно ускорять аксон, если нейрон будет тормозить. Отсюда следует аппаратно заданная функция активации (по железу относительно дорогая, кстати).
Нейронов - много. Каждый из них - свой аппаратный кусок. Их нужно коммутировать. Если каждый с каждым, то коммутация сожрёт бОльшую часть чипа и всю выгоду.

Татарин>> Я прикидывал сделать такую штуку по технологиям ПЛИС.
pokos> Дохлый номер. Слишком маленькое поле трассировки.
Коммутировать, конечно, блоки.
   78.0.3904.10878.0.3904.108
+
+1
-
edit
 

AidarM

аксакал
★★
Tico>> Признав ограниченность собственного мышления и не желая отдаваться на волю слепого эволюционного процесса, иного пути, как "работать над собой", нет
Н-12> почему?

Потому что Тико явно нравится думать в эту сторону. :)

"Ани были кибарги! Ани запаланили всю планету! Кибарги!" ©

Подъема градуса неадеквата ради хотелось бы намекнуть, что у искусственных нейросетей могут быть квантовомеханические узлы и подсети, размеры которых будут ограничены только текущими возможностями сохранять когерентность между кубитами. А ведь живые нейросети, похоже, тотально классические. Вот каак понаделаем андроидов с квантовым подсознанием и гениальными квантовомеханическими озарениями, вот тогда и поглядим, какие им снятся овцы!
   66
RU pokos #27.11.2019 17:28  @Татарин#27.11.2019 17:09
+
+1
-
edit
 

pokos

аксакал

Татарин> А если на группу, то нужна шина выборки значений весов.
Это малая проблема, т.к. шина весов локальна.
Татарин> Нет, так не выйдет, нужны каскады развязки (как в картинках с ОУ из учебников).
Не обязательно.
Татарин> ..по железу относительно дорогая, кстати...
Не обязательно, если отвлечься от ЧМОС.
Татарин> Если каждый с каждым, то коммутация сожрёт бОльшую часть чипа и всю выгоду.
Это и есть самая главная проблема. В двумерном случае не решается.
Татарин> Коммутировать, конечно, блоки.
По барабану. Линии трассировки мгновенно кончаются. Если, конечно, хочется поболе десятка нейронов.

Резюмирую для широкой публики.
Проблема всех современных нейропроцессоров не в том, что трудно сделать достаточно функциональный нейрон. И не в том, что на кристалл помещается мало нейронов.
Проблема в том, что требуется огромное количество межсоединений. В простых сетях - это факториал от колва нейронов. В более сложных - экспонента. Сети, где рост колва межсоединений будет, хотя бы, полиномиальным, освоены слабо. Это слоистые сети.

Построение системы на базе двумерных структур ограничивает скорость роста до квадратичной. Это - самая серьёзная проблема. Это чудовищно хуже любого трёхмерного мозга.
Поэтому, приходится делать много глобальных шин с временным разделением доступа.Отсюдова, приходится городить огромные и тормознутые огороды.
Методы решения этой проблемы имеются, но дело продвигается туговато, ибо первый новый кристалл стоит, как минимум, несколько $M.
   48.0.2564.9748.0.2564.97
+
+2
-
edit
 

AidarM

аксакал
★★
pokos> Резюмирую для широкой публики.

То есть в т.ч. и для меня, ибо я в этом не разбираюсь совсем.

pokos> Проблема в том, что требуется огромное количество межсоединений.

Это между чем и чем? Для N узлов нужно не больше N(N-1)/2~N2 одинарных двустронних связей. Раз вы говорите, что:

> В простых сетях - это факториал от колва нейронов. В более сложных - экспонента. Сети, где рост колва межсоединений будет, хотя бы, полиномиальным, освоены слабо. Это слоистые сети.

получается, что и сами связи служат узлами? Тогда начинается иерархия по Кантору, переход A->2^A. Вы эту экспоненту имеете в виду? Настоящие трехмерные мозги - такие? Есть какой-нить естественный малый параметр, чтобы лезть в высшие иерахии не имело физического смысла?

pokos> Построение системы на базе двумерных структур ограничивает скорость роста до квадратичной. Это - самая серьёзная проблема. Это чудовищно хуже любого трёхмерного мозга.

Хм, а во что это выливается в смысле решения доступных задач? Чем это хуже в смысле выхода?

И потом, непланарен любой граф, в котором в качестве подграфов содержатся K5 и K3,3. Все остальное - двумерное, ляжет на один слой. Если таких подграфов не очень много, то еще можно сделать несколько слоев. Хотя смысла и вправду мало, если нужны существенно непланарные.
   66

AidarM

аксакал
★★
Тьфу, я загнался вот тут:
AidarM> Тогда начинается иерархия по Кантору, переход A->2^A. Вы эту экспоненту имеете в виду?

Из N2 узлов вытекает N4 связей - новых узлов, для которые N8 новых связей и т.д. Одинарные двусторонние связи растут как N^(2^k), где k - номер иерархии. Так что заодно и про экспоненту и тем более факториалы интересно. Откуда они там.
   66
EE Татарин #27.11.2019 18:16  @AidarM#27.11.2019 17:51
+
+2
-
edit
 

Татарин

координатор
★★★★★
AidarM> Хм, а во что это выливается в смысле решения доступных задач? Чем это хуже в смысле выхода?
Тебе мало кто сейчас что путного скажет, потому что в большинстве практических задач обрабатываются временные ряды (топология нейросети - слои векторов) либо матрицы (картинки, видео, массивы объектов, данные радаров/лидаров и т.п.; топология - слои матриц, друг над другом). Популярные сейчас свёрточные сети ещё более снижают потребность в связности.

По-настоящему сложных сетей сейчас очень мало по той тупой причине, что люди слишком тупы, чтобы создавать их осмысленно. Если человеку не получается осмыслить задачу пусть большими и массивными в аппаратуре, но зато цельными, понятными как единая сущность человеку, кусками, то он начинает тупить, тормозить и ныть, что он вообще ничего не понимает. Человек любит, чтобы взаимодействующих кусков было мало, тогда он их может осмыслить, а сложная по топологии сеть под задачу (особенно, с миллионами нейронов) - пример просто-таки обратного.

Зато можно посмотреть на человеческий мозг, у которого, как известно, есть кора (собссно, нейроны) на поверхности мозга, а есть древесина соединительное белое вещество из аксонов - проводов от нейрона к нейрону, которое и реализует топологию конкретной сети.
Так вот кора - тонкая. А аксонов - килограмм с фигом.

Известно, что наши нейросети решают очень простые задачи. Известно, что человеческий мозг может решать сложные. Известно, что даже применение резидуал сетей (ма-аленькое улучшение "в глубину" связей) позволяет дёшево получить сразу сильно лучшие результаты.

Известно, что много (даже наших, простых) практических задач без рекуррентных сетей (где кусок сетки "зацикливается" через подключение выхода далёкого от входа нейрона на нейрон близкий ко входу сети) не решается вообще. Персептроны (сети с простой передачей сигналов от входа к выходу) исчерпали себя очень быстро. А рекуррентные сети требуют сложных подключений, плохо совместимых с плоскостью.

Не факт (в смысле "не математический факт"), что сложные задачи нельзя решать чем-нить совершенно вот планарным.
Но очень сильное указание на это у нас есть.

Если мы собираемся делать на сложных задачах метаобучение (а это, КМК, единственный и магистральный путь делать сложные нейросети) и строить нейросети нейросетями (или ГА, или ещё чем), то мы должны дать возможность реализовывать сложные топологии.
   78.0.3904.10878.0.3904.108
Это сообщение редактировалось 27.11.2019 в 18:28
29.11.2019 23:06, Bredonosec: +1: Если человеку не получается осмыслить задачу пусть большими и массивными в аппаратуре, но зато цельными, понятными как единая сущность человеку, кусками, то он начинает тупить, тормозить и ныть, что он вообще ничего не понимает. Человек любит, чтобы взаимодействующих кусков было мало, тогда он их может осмыслить,
?? AidarM #27.11.2019 18:33  @Татарин#27.11.2019 18:16
+
-
edit
 

AidarM

аксакал
★★
Давненько я не читал что-то сопоставимое по оптимистичности. :)
Не шучу, очень рад.

>По-настоящему сложных сетей сейчас очень мало по той тупой причине, что люди слишком тупы, чтобы создавать их осмысленно.

Даже когда люди начнут создавать их осмысленно, полагаю, они еще долго останутся такими же тупыми. :)

> Если человеку не получается осмыслить задачу пусть большими и массивными в аппаратуре, но зато цельными, понятными как единая сущность человеку, кусками, то он начинает тупить, тормозить и ныть, что он вообще ничего не понимает. Человек любит, чтобы взаимодействующих кусков было мало, тогда он их может осмыслить, а сложная по топологии сеть под задачу (особенно, с миллионами нейронов) - пример просто-таки обратного.

Просто нужны иные подходы, памойму. Необязательно брутально фейнмановские, кстати. Принципиально иной, новый, несводимый к иным сущностям объект всего лишь требует принципиально иных методов анализа и контроля сложности. Как квантмех с ОТО потребовали когда-то очень стрёмный матан. А до этого приходилось только сидеть и тихонько ох..вать от показаний приборов. :)
Кажется, нейросетевики сейчас на этой стадии. :)


upd:

> Тебе мало кто сейчас что путного скажет

Да мне и одного, например pokos-а хватит. :) А он внятно написал: двумерные сети куда хуже трехмерных. То есть, знает, в чем именно хуже, даже если не знает, почему это так. Чисто эксп. факт, на подумать.
   66
CA tarasv #27.11.2019 19:59  @Татарин#27.11.2019 11:37
+
-
edit
 

tarasv

аксакал

Татарин> Почему же? Совершенно закрытый и полностью понятный.
Татарин> Всё, что нужно - иметь ясно определённую целевую функцию "что считать успехом". Да, её определяет человек.
Татарин> Но на этом его работа заканчивается. У нас нет проблем подключить нейросеть непосредственно к окружающему миру и заставить её учиться самостоятельно определять и классифицировать животных (и котиков в том числе).

Можно реально работающие примеры таких задач. Чтобы ответ был заранее не известен. Именно неизвестен, а не сложен для получения традиционными методами как например определение побочных эффектов лекарств. Например вроде такой. Входной поток изображений аттрибутирован как "котик" и "не котик". Не котики бывают нескольких категорий и больше про них ничего не известно. В результате обучения на выходе будет распознавание котиков, "собачек", "слоников" и "лошадок".

А то весь ИИ системы с которым мне приходится сталкиваться очень грубо говоря обучаются и работают как интерпретатор SQL - у него на входе не "как" а "что" и это воспринимается как нечто ух, потому что все привыкли что программы по сути императивны.

Татарин> ?! У нас и близко нет мощностей, сравнимых с природными. Мозг мышки - сто миллионов нейронов, НЯП, со средней тысячей аксонов на каждый - это уровень суперкомпов. Мозг человека (одного) - это суперкомп из топа-100.

То-есть мы берем вычислитель одной архитектуры и эмулируем на нем работу вычислителя совершенно другой архитектуры. При этом вторая архитектура очень плохо эмулируется на первой. Сидим и плачем что тормозит. Но и наоборот человеческий мозг плохо эмулирует безбожно тормозит по сравнению с процессором с тактовой в единицы-десятки килогерц когда складывает цифры.
   78.0.3904.10878.0.3904.108
+
+1
-
edit
 

pokos

аксакал

AidarM> получается, что и сами связи служат узлами?
Не совсем так. Если мы говорим о статической сети, то квадрат.
Если мы хотим произвольно изменяющуюся одноранговую сеть, то надо говорить о количестве автоморфизмов.
Если накладываем ограничения на изменяемость, то усекаем варианты. В адиабатическом случае будет экспонента.
AidarM> Хм, а во что это выливается в смысле решения доступных задач?
Практические мозги имеют 2,5D подсистему нейронов и 3D подсистему дендритов.
При том, что колво рабочих единиц составляет миллиарды. Вот так и выливается.

AidarM> Одинарные двусторонние связи растут как N^(2^k), где k - номер иерархии.
Вот-вот. Иерархическая автоматическая кластеризация, что и есть интеллект. Хорошо видно, как сложно даются уровни абстракции.
   68.068.0
Это сообщение редактировалось 27.11.2019 в 20:07

Tico

модератор
★★☆
pokos> Сложность в том, что на 2D это делается с очень большими ограничениями. Приходится делать шины, и много.

Тема 3D архитектуры сейчас одна из наиболее аггрессивно прорабатываемых, именно по этим причинам.
   78.0.3904.9778.0.3904.97

Naib

опытный

Tico> Тема 3D архитектуры сейчас одна из наиболее аггрессивно прорабатываемых, именно по этим причинам.

И? ;)

Tico, дочь уже справилась с магнитным носителем? Подбрось идею создания ДНК-транзистора и ДНК-носителя информации. Обе задачи уже в принципе решённые, кстати. ДНК-память даже на практике проверили, записав и считав jpg файл.

Не считай, что я издеваюсь. Просто интересно оценить полёт фантазии, ограниченной знаниями современных учащихся.
   78.0.3904.9778.0.3904.97

Naib

опытный

Ну а так, по работе мозга.

Мы ведь информацию в отличие от компьютеров воспринимаем глифами, причём "на глазок", то есть с некоторым процентом ошибок, как минимум физиологического плана. Расчёты и оценки тоже ведутся "на глазок", выдавая ответ в лучшем случае в диапазоне. Далее, для получения более точных результатов задача дробится, алгоритмизируется и рассчитывается. Либо ставится серия экспериментов (что часто бывает гораздо быстрее, проще и точнее)

В какой (условно) системе счисления работает мозг - тоже тот ещё вопрос.
   78.0.3904.9778.0.3904.97

pokos

аксакал

Naib> ...Далее, для получения более точных результатов задача дробится, алгоритмизируется и рассчитывается.

Хрен там.
Поступление сигнала "зелёный заяц" вызывает срабатывание массы кластеров разных иерархий, одни из которых вполне могут являться метаданными для других. Например:
"зверь"
"ушастый"
"попрыгун"
"капуста"...

Более сложных:
"Порос мхом"
"некошерный"
"Пропали R и B"...

Ещё более сложных:
"скок-поскок через мосток,
белым пятнышком хвосток"
"мультфильм снимали наркоманы"...

И так далее, ширее, всё параллельно.
Далее идёт соревнование весов результатов, а они не постоянны во времени.

Ни о каком алгоритме в стиле Тьюринга речи не идёт вообще. Именно поэтому так тяжко даётся моделирование интеллекта на нынешних компьютерах.

Naib> В какой (условно) системе счисления работает мозг - тоже тот ещё вопрос.
Ни в какой.
   68.068.0
1 5 6 7 8 9 15

в начало страницы | новое
 
Поиск
Настройки
Твиттер сайта
Статистика
Рейтинг@Mail.ru