Прямая передача информации прямо в мозг вообще и можно ли получить таким образом полный аналог видео в частности

Vale> Да, перехват зрительного нерва ИМХО - задача сложнее, чем воткнуть массив электродов в зрительную кору. Это вам не проанализировать сигнал по двум проводам USB интерфейса.

Проблема тут ещё в том, что у каждого «компьютера» в «USB-интерфейсе» используются разные протоколы.

Vale> Так что либо сетчатка, либо зрительная кора. Больше выборов нет.

Сетчатка — да, не вопрос (кроме естественных технологических сложностей). А вот в зрительной коре уже у каждого свой набор тараканов. Можно «калибровкой» получить соответствие возбуждений в коре и исходных картинок и потом имитировать эти возбуждения, получая иллюзию каких-то изображений. Это даже сегодня уже делают. Проблема в том, что вряд ли можно обратным преобразованием получить алгоритм, по которому из исходного изображения (да ещё и в динамике — мозг, в отличие от камеры, по-разному воспринимает статику и динамику) можно самому рассчитать карту возбуждений коры.

Vale> Компрессия в зрительной системе - с ОГРОМНЫМИ потерями. Если ты не знаешь.

Конечно с огромными. Проблем две:

1. Точный «алгоритм» компрессии индивидуален.

2. Мозг получает информацию в таком виде, что считает, что видит точную картину. И для показа кино придётся передавать то же самое с таким же эффектом.

Balancer> 1. Точный «алгоритм» компрессии индивидуален.

Пруф.

Balancer> 2. Мозг получает информацию в таком виде, что считает, что видит точную картину. И для показа кино придётся передавать то же самое с таким же эффектом.

Ага. Мозг. Считает.

Я вот не знаю, как мозг считает. Руссо, я думаю, не знает. Руссо недавно учился этим делам, я лет 30 дома слышу "рецептивное поле, нейронные связи, сетчатка, поле 17, IV слой коры". А ты, наверное, знаешь.

Флаг в руки.

Balancer>> 1. Точный «алгоритм» компрессии индивидуален.
Vale> Пруф.

То, что нервная система каждого организма индивидуальна требует пруфа?

Vale> Ага. Мозг. Считает.
Vale> Я вот не знаю, как мозг считает.

Ты читай немного внимательнее. В фразе «... получает информацию в таком виде, что считает, что видит ...» слово «считает» указывает не на механизм работы, а синоним слову «думает».

Vale> А ты, наверное, знаешь.

«Учись читать» ©

Vale> А они не научаются просто анализировать раздражение языка?
Vale>

..... «Мы видим не глазами, а мозгом» .....

Balancer>>> 1. Точный «алгоритм» компрессии индивидуален.
Vale>> Пруф.
Balancer> То, что нервная система каждого организма индивидуальна требует пруфа?

То, что она индивидуальна настолько, что "Точный «алгоритм» компрессии индивидуален."

Я вот, например, видел кучу картинок нейронных связей в кошачьих мозгах. И помогал, было дело, обрабатывать и картинки рисовать. Я уж не говорю - помогал статью писать про бинокулярное зрение и связи.

Материнки для одинаковых процов, на почти одинаковых чипсетах, с почти одинаковым набором разъёмов, но разных производителей - вот приблизительный аналог различий у разных кошаков.

Vale>> А они не научаются просто анализировать раздражение языка?
Vale>>
valture> ..... «Мы видим не глазами, а мозгом» .....

Мурзилки - это конечно хорошо.

Мне бы чего посерьёзнее.

Например:

Vale> Я вот, например, видел кучу картинок нейронных связей в кошачьих мозгах.

И что? У всех кошек структура нервных связей одинакова?

Или ты считаешь, что если подать сигнал вместо одного волокна в зрительном нерве в другое, то картинка не изменится?

Balancer> Или ты считаешь, что если подать сигнал вместо одного волокна в зрительном нерве в другое, то картинка не изменится?
Это, кстати, интересный вопрос... Перерезанный (в рез-те травмы конечности, например) крупный нерв сшивается встык как попало. И, зачастую, через какое-то время функциональность восстанавливается, хотя бы частично.

Balancer> Или ты считаешь, что если подать сигнал вместо одного волокна в зрительном нерве в другое, то картинка не изменится?

Придется процитировать:

Balancer> «Учись читать» ©


Мозги у всех кошек устроены одинаково. За исключением сиамок - у них нет перекркста зрительных путей.

Видят они принципиально одинаково. У конкретных кошек детали отличаются, но именно детали.
Если мне нужно вызвать у любой не-сиамки ощущение, что она что-то видит, то я могу либо светить ей в глаз, либо воткнуть электрод в определенное место зрительной коры, и простимулировать его. (У сиамок, кстати, тоже, но просто при стимулировании придется учитывать особое строение их мозга.)
Если я захочу точно знать, я сначала покажу кошке стимул, и выясню, какой точке в зрительном пространстве соответствует воткнутый электрод. А потом - будет пофиг, видит ли кошка сетчаткой, или подаю я напряжение на электрод. Скорее всего - именно так и обстоят дела. На моем уровне знаний.

И в этом - отличие ситуации от работ Юрия Данилова или ... кто там учил людей эхолокации. Там - зритальная кора не участвует вообще. Что бы ни писали в ЖЖ или где ещё.
Там мозг учится воспринимать сигналы, не имеющие отношения к делу, и интерпретировать их.
Ничего фантастического, на самом деле. Еще в войну показали, если человек может ходить по лестнице, но не может по ровному полу (при некоторых ранениях головы - бывает так) - можно попросить его представить, что бумажки, разбросанные по полу - это ступеньки. И его мозг со временем научается самостоятельно ставить себе костыли. А потом и бумажек не нужно.

Я не помню, как называется та книга Лурье, где это описано.

AleX413> И, зачастую, через какое-то время функциональность восстанавливается, хотя бы частично.

Дык, о том и речь, что адаптивность у мозга офигительная. И он заново научится видеть. Но видеть будет уже по-другому. Если гипотетически после такого переобучения вернуть «как было», то снова придётся учиться видеть Соответственно, нельзя перешить нервы как попало и получить ту же саму картинку, что была ранее (что нам тут по условию задачи эквивалентно).

Vale> Если мне нужно вызвать у любой не-сиамки ощущение, что она что-то видит, то я могу либо светить ей в глаз, либо воткнуть электрод в определенное место зрительной коры, и простимулировать его.

Такое впечатление, что ты вообще не понимаешь, о чём идёт спор. Потому что постоянно пишешь о других вещах. С которым я не спорю, они очевидны и известны. Но это другая тема, не та, о которой говорим тут мы.

Если ты пересадишь глаза одной кошки другой (гипотетическая операция, считаем, что нервы сшиваются без потерь) — она будет видеть точно также, как раньше, со своими глазами?

Balancer> Если ты пересадишь глаза одной кошки другой (гипотетическая операция, считаем, что нервы сшиваются без потерь) — она будет видеть точно также, как раньше, со своими глазами?

Я вот - не знаю. И допускаю, что если речь идет о пару-дневном котенке, или там о двух недельном, может быть и так. Даже у взрослого кота - может быть так. Хотя бы потому, что при исправлении косоглазия - люди продолжают видеть, а требуемая перестройка нейронных связей - сравнима. Были и еще опыты, когда людям надевали очки, которые отражали изображение -то ли вверх ногами, то ли еще как. Мозг перестраивался через некоторое время. А по факту это то же самое, "срастили нерв как попало". Вернее "срастили заведомо неправильно".

Хороший аналог - шлейф IDE, воткнутый "наоборот".

Balancer>Но видеть будет уже по-другому.

Таки поговори с теми, кому исправили косоглазие.

---

Но тема, кажется, не о пластичности мозга, а о том, можно ли передать в зрительный анализатор картинку, минуя сетчатку.

russo>> Или может я просто лучше тебя знаю вопрос, и вижу что фундаментальной проблемы нету?
Balancer> Тогда ты без проблем сможешь переубедить меня фактами.

Как я тебе фактами докажу что фундаментальной проблемы не будет, т.е. наличие отсутствия?

Я просто высказываю свое мнение, основанное на неплохом знании нейрофизиологии и нейробионики. Многое я уже успел забыть, но все равно — тут на форуме я и вейл это и есть "ссылки".

russo>> Мне показалось, будто ты думаешь что там есть какой-то прямой нейронный фидбек.
Balancer> Я это имел в виду. Глаз — это не R/O орган.

Т.е. ты пишешь что нервы несут информацию от мозга к сетчатке?

russo>> Это не так. "Образов" не существует до попадания информации в мозг.
Balancer> Под образами я имею в виду понятие из информатики, а не из психологии

Психологию я знаю на уровне "у вас волчанка проекция", не более.

russo>> Первичная обработка в сетчатке просто проводит, грубо говоря, пространственную и временную фильтрацию поступающей информации.
Balancer> Сигнал, пройдя три слоя нейросети уже не имеет ничего общего с исходным

Естественно сигнал другой — вместо фотонов имеем активные потенциалы с меняющейся периодичностью. Но "ничего общего" — это как, типа исходный сигнал не влияет на то что идет в мозг? Глупость же

Balancer>у разных людей один и тот же раздражённый фоторецептор породит разную картину возбуждения уже в зрительном нерве

У разных людей по определению не может быть один и тот же фоторецептор. Естественно что и мозг, и конкретная концигурация сетчатки, и пр. будут иными. Но это не является фундаментальной проблемой.

russo>> А то что не понадобится калибровка системы для определенного человека никто и не говорил.
Balancer> теоретически, наверное, на серии калибровки эталонными изображениями можно провести «реверс инжиниринг» и получить схему преобразования эквивалентную той, что происходит в глазу. Но, боюсь, это будет весьма приблизительное решение.

Рома, повторюсь — я сразу сказал что генерация картинки возможно только если срастить мозг эмбриона с микросхемой, или перестроить мозг наноботами. И для того, и для другого нужна ОЧЕНЬ детальная модель того что в мозгу творится (а для первого — еще и детальное понимание того как на развитие мозга влияет генетика). Иначе просто не получится.

И так вот, если решить эти задачи, то откалибровать параметры части модели, ответственные за зрение дабы некая "картинка" была той же что и из глаза — ну вообще не проблема. Понимаешь? Я говорю, ты прицепился к маловажной вещи. Ладно бы ты спорил с возможностью создания точной модели мозга, или с полным пониманием генома — типа, не асилят. Хотя я, повторюсь, фундаментальных проблем тут не вижу.

Balancer>>> подцепиться к сетчатке и возбуждать конкретные нервные окончания в ней
russo>> В плане создания неотличимой от реальной картинки — это труднее, чем "мой" подход
Balancer> Да нет, наоборот. Какая разница, возбуждается нерв рецептором или наноботом?

Не в том направлении думаешь. Ты тупо не сможешь создать имплантируемую электродную решетку с достаточной плотностью и селективностью активных элементов. Физика не даст.

Balancer> Это уже совсем троллинг идёт

Чисто для информации — когда у тебя появляется слово "троллинг", желание отвечать тебе пропадает.

russo> Не в том направлении думаешь. Ты тупо не сможешь создать имплантируемую электродную решетку с достаточной плотностью и селективностью активных элементов. Физика не даст.

Гмм. Я так думаю, даже если "физика даст", по сложности это будет тот самый мозг. Один в один.

Да, я тут нашел время, проглядел текст Данилова (вторая ссылка у valture) - он сам ни разу не называет раздражение языка зрением в прямом смысле слова, и подчеркивает, что зрительный анализатор при использовании BrainPort - не работает. Работают более высокие структуры мозга. То есть, как я и говорил, мозг банально использует иной канал для обработки зрительной информации.

Шутки ради: есть у человека области, где плотность рецепторов, как на языке. И говорить стимуляция этих областей - не мешает. Правда думать - мешает ОЧЕНЬ сильно.

russo> Ты тупо не сможешь создать имплантируемую электродную решетку с достаточной плотностью и селективностью активных элементов. Физика не даст.

Хм. Биология позволяет (сетчатка-то существует!), а физика нет ("прибор" такого уровня сложности человек сделать не в состоянии, принципиально) или я неверно понял?

Клапауций> Биология позволяет (сетчатка-то существует!), а физика нет

Биология и физика это одно и тоже в данном аспекте

Вкратце, если без излишней зауми и телеграфных уровнений, для создания картинки на 100% соответствующей зрению на уровне сетчатки надо иметь:
(а) селективность на уровне одиночных клеток.
(б) возможность возбуждать любую из них в сетчатке на выбор.

В плане селективности надо беспокоиться не только об активных потенциалах ганглий тех же (это которые "все или ничего")

Там в сетчатке еще и биполярные, горизонтальные клетки и фоторецепторы которые работают вообще без активных потенциалах, на одних изменениях мембранных потенциалов. Т.е. они очень чуствительны к любым изменениям электрических полей.

Чем возбуждать? Ну, есть обычные электродные решетки, типа такой. Но они нужной селективности (которая из части (а)) и близко не дадут. Один электрод с такой решетки будет возбуждать очень много клеток за раз. Но он хотя бы может покрыть нужную площадь (кстати, легко доступна та часть сетчатки что с фоторецепторами, что тоже все слегка усложняет). Именно с помощью примерно таких приблуд можно с сетчатки искуственно передавать в мозг какие-никакие картинки, с довольно паршивым правда разрешением.

Такую же решетку с маленькими-маленькими электродиками, типа там по паре микрон толщиной каждый, с дикой плотностью этих электродов, с достаточной для покрытия сетчатки площадью, и с индивидуально контролируемым уровнем тока у каждого электрода сделать почти нереально. А если и сделать, толку с нее фиг с маслом. Площади электродов скорее всего не хватит для нужной плотности заряда (эти дела я помню слегка смутно, но в записи лезть не буду, так что считай что давлю авторитетом ). Ну и куча этих электродиков один хрен сломается при имплантации, или после пары дней в живом организме, а те что не сломаются покроются шрамовой тканью, с соответствующим падением селективности.

Селективность требуемая нам (вплоть до точного контроля потенциала мембраны) возможна с помощью чего-то вроде патч клампа. Это когда к клетке присобачивают стеклянную микропипетку:

Но для нас это вообще не вариант. Много микропипеток ("много" это больше нескольких штук) к клеткам за раз трудно присобачить даже ин витро, т.е. часть (б) выше идет лесом. А в живом теле добавляются специфические проблемы, ведь любое движение (в том числе и дыхание) расконтачит большинство микропипеток и клетки, и еще удача если пипетки не ломаются, а клетки не дохнут. На сладкое — контакт с пипеткой порождает специфические проблемы в месте контакта с клеткой, и долго такие клетки обычно все равно не живут.


Я говорю — мой план, с генетически модифицированным младенцем-киборгом, при всей его футуристичности куда реальнее этого варианта

russo> Именно с помощью примерно таких приблуд можно с сетчатки искуственно передавать в мозг какие-никакие картинки, с довольно паршивым правда разрешением.

Пока дописывал вспомнил, у меня пост в ЖЖ на тему был: Кирилл В - Нейроимплантаты для лечения слепоты

Balancer>> Если ты пересадишь глаза одной кошки другой — она будет видеть точно также, как раньше, со своими глазами?
Vale> Я вот - не знаю. И допускаю, что если речь идет о пару-дневном котенке, или там о двух недельном, может быть и так.

Нет. Речь о взрослом. Мы же «кино» показывать взрослым хотим. И не «отрезать» его от настоящего зрения насовсем.

Vale> Хотя бы потому, что при исправлении косоглазия - люди продолжают видеть, а требуемая перестройка нейронных связей - сравнима.

Ещё раз (интересно, сколько я в теме писал это?) — мозг очень гибки и адаптивный. Он может перестроиться и научиться многому. Но наша задача — передать картинку без всякого перестроения.

Vale> Хороший аналог - шлейф IDE, воткнутый "наоборот".

Да. Плюс гибкий перепрограммируемый контроллер. При втыкании «наоборот» система сможет со временем распознать и перестроиться. Но ей снова придётся перестроиться, когда мы через какое-то время воткнём кабель уже «прямо».

Vale> Но тема, кажется, не о пластичности мозга, а о том, можно ли передать в зрительный анализатор картинку, минуя сетчатку.

Именно об этом. Но тема передачи «настоящей» видеокартинки постоянно скатывается к адаптивным возможностям мозга. Что есть другой вопрос и что я с самого начала отметил отдельно.

russo> Рома, повторюсь — я сразу сказал что генерация картинки возможно только если срастить мозг эмбриона с микросхемой, или перестроить мозг наноботами.

А я сразу сказал, что это будет орган чувств, но не зрение. Это в смысле, при наличии «настоящего» зрения. Можно, конечно, младенцу с рождения подавать вместо настоящего зрения такой искусственный сигнал — тогда не вопрос, это будет для его зрением. Но если подавать то «настоящий зрительный», то искусственный сигнал — восприниматься они будут по-разному.

russo> И для того, и для другого нужна ОЧЕНЬ детальная модель того что в мозгу творится (а для первого — еще и детальное понимание того как на развитие мозга влияет генетика). Иначе просто не получится.

И ты считаешь это не фундаменатльной проблемой? Ты предлагаешь провести полный реверс-инжиниринг каждого индивидуального мозга? Точнее, зрительных каналов, что тоже не хило.

Да, в таком случае, спору нет. Если знать точную структуру преобразований в глазу и на 100% воспроизвести её аппаратно, то в глазнозрительный нерв можно подать такой же сигнал, какой создаёт глаз. Но задача эта — именно концептуальной, качественной сложности, ставящей её на грань нерешаемости. Никто такой фигнёй заниматься не будет, просто приучат людей (когда/если возникнет потребность/возможность) пользоваться другой, адаптивной сенсорикой. Это на многие порядки более реализуемо.

russo> И так вот, если решить эти задачи, то откалибровать параметры части модели, ответственные за зрение дабы некая "картинка" была той же что и из глаза — ну вообще не проблема.

С калибровкой — проблема. С полной имитацией нервной системы индивидуального глаза — не проблема. С калибровкой ты сможешь получить только конкретный набор картинок, но не механизм для преобразования любой картинки.

russo> Не в том направлении думаешь. Ты тупо не сможешь создать имплантируемую электродную решетку с достаточной плотностью и селективностью активных элементов. Физика не даст.

Глазу физика позволяет, а технологиям будущего — нет?

russo> Я говорю — мой план, с генетически модифицированным младенцем-киборгом, при всей его футуристичности куда реальнее этого варианта

Тут такое дело... ты, КМК, рассматриваешь реализацию "решётки" исходя из уровня технологии сегодняшнего дня.
Но если мы полагаем, что наука разовьётся до такой степени, что сможет штамповать младенцев-киборгов, то ведь и, тьфу, бесовское слово, нанотехнологии не останутся на месте. И ту же решётку, допустим, можно будет выращивать из клеток. Биологически

Клапауций> И ту же решётку, допустим, можно будет выращивать из клеток.

И мы опять приходим к тому, что нужно сделать мозг, чтобы приконтачиться к мозгу

Balancer> . Но если подавать то «настоящий зрительный», то искусственный сигнал — восприниматься они будут по-разному.

Доказательство - или допишешь ИМХО ?

Balancer> С калибровкой — проблема. С полной имитацией нервной системы индивидуального глаза — не проблема. С калибровкой ты сможешь получить только конкретный набор картинок, но не механизм для преобразования любой картинки.

Да-да. Конечно.

Вот прямой аналог того, о чем мы говорим. Для слуха.

Но - рекомендую прочитать английскую версию.

+

Balancer>> если подавать то «настоящий зрительный», то искусственный сигнал — восприниматься они будут по-разному.
Vale> Доказательство - или допишешь ИМХО ?

Каждая нейросеть — индивидуальна. Имеет собственную неповторимую структуру. Надеюсь, это не требует доказательств?

Соответственно, кодирование исходной «растровой» информации на нейросети каждого глаза индивидуально и в зрительном нерве получается индивидуальная картинка.

Соответственно, нельзя подать некий стандартный сигнал (как в случае видео при прямой подаче на сетчатку) на зрительный нерв и получить одинаковую картинку для любого индивида.

Что следующее, доказывать, что Земля сфероподобна?

Vale> Да-да. Конечно.
Vale> Вот прямой аналог того, о чем мы говорим. Для слуха.

Это не прямой аналог. Будь добр изучать тему в которую пишешь. Вариант «чукча не читатель, чукча писатель» не продуктивен:


(последний абзац)


(последний абзац)

Со слухом в варианте возбуждения слухового нерва всё много проще. Это аналог того же возбуждения сетчатки, но не вставки в зрительный нерв.

А вариант с возбуждением слуховых областей имеет ту же проблему, что и со зрением в зрительном нерве — это получается другая сенсорика, не слух. Годится для глухих полностью, но не для тех, кто слушает и натуральный звук.