AidarM> Хм, а во что это выливается в смысле решения доступных задач? Чем это хуже в смысле выхода?
Тебе мало кто сейчас что путного скажет, потому что в большинстве практических задач обрабатываются временные ряды (топология нейросети - слои векторов) либо матрицы (картинки, видео, массивы объектов, данные радаров/лидаров и т.п.; топология - слои матриц, друг над другом). Популярные сейчас свёрточные сети ещё более снижают потребность в связности.
По-настоящему сложных сетей сейчас очень мало по той тупой причине, что люди слишком тупы, чтобы создавать их осмысленно. Если человеку не получается осмыслить задачу пусть большими и массивными в аппаратуре, но зато цельными, понятными как единая сущность человеку, кусками, то он начинает тупить, тормозить и ныть, что он вообще ничего не понимает. Человек любит, чтобы взаимодействующих кусков было мало, тогда он их может осмыслить, а сложная по топологии сеть под задачу (особенно, с миллионами нейронов) - пример просто-таки обратного.
Зато можно посмотреть на человеческий мозг, у которого, как известно, есть кора (собссно, нейроны) на поверхности мозга, а есть древесина соединительное белое вещество из аксонов - проводов от нейрона к нейрону, которое и реализует топологию конкретной сети.
Так вот кора - тонкая. А аксонов - килограмм с фигом.
Известно, что наши нейросети решают очень простые задачи. Известно, что человеческий мозг может решать сложные. Известно, что даже применение резидуал сетей (ма-аленькое улучшение "в глубину" связей) позволяет дёшево получить сразу сильно лучшие результаты.
Известно, что много (даже наших, простых) практических задач без рекуррентных сетей (где кусок сетки "зацикливается" через подключение выхода далёкого от входа нейрона на нейрон близкий ко входу сети) не решается вообще. Персептроны (сети с простой передачей сигналов от входа к выходу) исчерпали себя очень быстро. А рекуррентные сети требуют сложных подключений, плохо совместимых с плоскостью.
Не факт (в смысле "не математический факт"), что сложные задачи нельзя решать чем-нить совершенно вот планарным.
Но очень сильное указание на это у нас есть.
Если мы собираемся делать на сложных задачах метаобучение (а это, КМК, единственный и магистральный путь делать сложные нейросети) и строить нейросети нейросетями (или ГА, или ещё чем), то мы должны дать возможность реализовывать сложные топологии.
Это сообщение редактировалось 27.11.2019 в 18:28