Sandro> Китайская комната. Это китайская комната в чистом, рафинированном виде.
Sandro> Если там есть достаточно большой словарь, то всё это выглядит правдоподобно. Но оно не мыслит.
да, китайская комната это первое что приходит на ум
но что бы мы сказали, если бы китайская комната в один прекрасный день вдруг ошиблась?
например, вместо фразы на китайском выдала бы набор из новых сочетаний иероглифов, который ничему не соответствует в китайском языке
что мы должны были бы тогда сказать:
1) это сбой в машине. мы заложили в неё несовершенные правила, допускающие такие ошибки. и если их убрать, генерирование "бессмысленных" неологизмов на китайском прекратится
2)китайская комната придумывает свои правила, новые, которых нет у людей - а значит, она разумна
в прошлом или позапрошлом году Оксфордский или Кембриджский словарь, не помню, который выбирает "слово года" назвал таким словом hallucinate
слово описывает ситуацию, когдa ИИ вписывает в текст факты, которые в действительности не происходили, но если этого не знать, по тексту этого не угадаешь - настолько правдоподобно имитируются факты.
в одном из примеров ИИ без запроса имитировал названия несуществующих работ Руссо
хотя запрос касался прямо обратного: собрать в библиографический список все имеющиеся работы Руссо по конкретной теме.
автор просто был хорошо знаком с трудами Руссо и когда увидел список, подумал, откуда там неизвестные ему работы.
если бы ИИ был китайской комнатой и просто по инструкции брал всё подряд что называется работой Руссо, он бы взял названия этих несущствующих работ из сети уже придуманные ради шутки или обмана кем-то другим.
но ИИ сгенерировал их сам, по аналогии с названием реальных трудов.
получается, у ИИ был выбор: следовать инструкции или "придумать" отсебятину, и он ПОЧЕМУ-ТО "выбрал" второе.
почему?
очевидно, первое предположение - неточна инструкция
но что если после всех уточнений, ИИ продолжит "галлюцинировать"?
такой шанс есть - он вытекает из семантической неограниченности языка
что если мы не сможем однозначно уточнить, что такое
"имеющаяся"
"работа"
"Руссо"
потому что, например, мы и сами этого не знаем: включать ли туда письма, записки, неопубликованое, переведённое, пересказанное, совместное, предположительное, спорное, доказанное (и что это значит?)
китайская комнтата возможна только в идеальном семантическом пространстве с однозначными соответствиями, а его, кажется, просто не существует.
поэтому у ИИ всегда будет оставаться поле для "креатива", то есть для "галлюцинаций"
и у нас, похоже, не будет инструмента отличить неточность инструкции от разумного искажения.
то есть фиксация разума у ИИ - это нефальсифицируемая задача
что бы ИИ ни создал неучтённого, мы всегда сможем свалить это на "недостаточно большой словарь"
до тех пор, пока ИИ не вытеснит нас как вид с планеты))
(на всякий сл. - шутка)
