Искусственный Интеллект.

Татарин> Тот, кто накосячил.

А... "за всё хорошее против всего плохого".

Татарин> Почему ты так решил?

Потому что система сверхсложная и как бы это... полухаотичная, что ли? Что-то типа турбулентности.
Чем более она совершенна - тем ближе к человеку (или хотя бы животному) по своим свойствам, со всеми вытекающими. В т.ч. относительно (не)предсказуемости поведения.

Вот, кстати, изучение реакций нейросетей в широком пространстве параметров входных данных, как там с катастрофами типа "сборка" и всем таким - кто-то пробовал?

Татарин> Если есть исходные данные и логи промежуточных решений, то многое восстанавливается. "Всё" не говорю, но всё и не надо - см. расследование авиапроисшествий.

С авиапроисшествиями аналогия отдалённая. И неполная.
Тут как бы не психоанализ с судебной психиатрией ближе.

Татарин> А ты не заметил резкое появление в России (и по миру) новых законов и штук типа ЭПР экспериментальных правовых регионов? Беспилотные машины катаются, беспилотные трамваи, сервисы централизованной диагностики по томографии/КТ работает...
Татарин> Угадывать постфактум очень легко.

Ну и? Эксперимент он эксперимент и есть. Это действительно легко. Кончается чаще ничем.
Я вот помню и правовой эксперимент в пресловутом Сколково - когда там лет 10-15 назад были отменены (может и посейчас так) все СНИПы и всё такое, все строительные нормативы. Ради большей свободы творчества и меньше ограничений для прогресса. Ну, ок. Можно попробовать. Но де-юре оттуда следовало, что ответственности никто не нёс - случись "Трансвааль" на территории Сколково, никого не вышло бы посадить, ни ГИПа, никого. Потому что юридический казус - "ответственность согласно действующему законодательству", а оно опирается на строительные нормы, а их на той территории отменили => чтобы ты ни напроектировал, и если оно рухнуло, и явно по твоей вине, то ты ответственности не несёшь.
В итоге именно там ничего страшного НЯЗ не случилось и близко, ну, при такой концентрации бабла можно было и не бояться глупых косяков - тогда как по стране в целом нарушение на нарушении никуда не делось. Тут тебе и сносы самостроев, и обрушения (иногда самостроев же), и прочее разное.
То есть как бы эксперимент, как бы был, как бы можно даже назвать успешным (плохого-то что? если смотреть не с точки зрения распилов и пр., а с чисто строительной - ну ведь ничего совершенно) - но никуда он в тираж не пошёл и явно не пойдёт.

Так что вангую - ближайшие лет 20 тут дальше экспериментов никуда не денется. С легковушками. С трамваями и диагностикой еще может прокатит, но это не точно. Хочешь - можем оформить спор на деньги Скажем, с промежуточными точками и опционами на повышение ставок

Sandro> Но важно даже не это. Тут недавно научились делать complete back propagation для сеток, несмотря на их нелинейность. Так вот, зачастую они опираются не на то, чего мы от них хотим!
Так это банальность много лет уже. Вот эти галоперидольные видосики с "нейроснами", где генерируются странные картинки, или сетка в находит в картинках или видео какие-нить глаза или котиков - это оно и есть.

Ну да, конечно. Это один из методов диагностики (правда, сложный в применении и не всегда возможен).

Sandro> Вот что плохо. Это даже не проблема кривого и неполного датасета. Это его игнорирование.
Ну это уж совсем банальность уже много десятков лет Частный случай переобучения.
Для избежания такого сетке просто режутся детали, и сама её топология так обустраивается, чтобы выделять общее "размывая детали".

Собссно, с чего случился прорыв в системах распознавания образов? Вот то, что мы сейчас считаем за само собой очевидное - типа распознавания лица или отпечатков - ещё 20 лет назад было фантастикой (с такими прекрасными процентами ложно-положительных и ложно-отрицательных). Но предложили свёрточные сети, которые "убирают" детали нижнего уровня сохраняя принципиальную общую информацию (о границах объектов, например), и вуаля! - попёрло.

Ну так свёрточным не обязан быть только первый уровень, и топология уже давно ушла от набабахивания слоёв а-ля персептрон.

Так что то, что ты говоришь - это общеизвестные даже не трудности, а просто-таки задачи при создании сетки.
Ну, типа как при написании на С++ ты же имеешь дело с принципиальной возможностью для указателя указать куда-то в жопеня (или, что хуже, в самую писечку) и пустить весь процесс в какой-нить фатальный эксшепшен? Тема понятная и известная с момента создания С.
Для того чтобы избежать, ты используешь хорошие проверенные библиотеки контейнеров, умные указатели, сложные итераторы, воспитываешь в себе определённую культуру. "Давно так живём".
Трудовы*будни.

Татарин> Собссно, с чего случился прорыв в системах распознавания образов? Вот то, что мы сейчас считаем за само собой очевидное - типа распознавания лица или отпечатков - ещё 20 лет назад было фантастикой (с такими прекрасными процентами ложно-положительных и ложно-отрицательных). Но предложили свёрточные сети, которые "убирают" детали нижнего уровня сохраняя принципиальную общую информацию (о границах объектов, например), и вуаля! - попёрло.

Это вот кстати где-то удивительно, и сильно удивительно. Принцип-то в общем виде отлично известен в физиологии зрения полвека как. То есть 20 лет назад уже был известен десятилетиями, и описан не то что в узкоспециальной, но и в популярной литературе. И так долго не догадывались попробовать в эту сторону?
Прямо интересно. Действительно те, кто занимался нейросетками, не слышал и не догадывался, или были какие-то объективные препятствия?

П.З.> Сажать надо сразу за саму идею этой самой "сетки"
П.З.> Или даже заранее. То есть превентивно
Золотыя слова!

Татарин> Нет. Что-то тут, реально, другая крайность, наделение нейросети (всё же, программа, пусть и очень сложная) субъектностью.
Наделение субъектностью и, не забудь, дееспособностью. Это уже вообще за гранью.
Татарин> Нейросеть не может ошибаться, но в ней могут быть ошибки.
Вопрос трактования термина "ошибка", не более.
Татарин> Если случай, в котором произошла проблема известен, предсказуем,
Если он предсказуем, то почему не устранили?
Татарин> Например, если сбит велосипедист ...?
в прикинь, ответ на все твои вопросы - "да". Что дальше?

Татарин> Если нет, то кто принимал преступные решения?
Дык, это и есть самый главный вопрос. И. по моему мнению, он принципиально неразрешим в случае сетки.

Татарин> Как уже случилось в атомной энергетике, например.
В атомной энергетике реактор никогда не виноват.

Татарин> Ну, это я понял. Всё то же самое, что в других сложных областях...
НЕ тоже самое. Сложность системы на несколько порядков больше. Старые подходы не работают.

Татарин>> Тот, кто накосячил.
Fakir> А... "за всё хорошее против всего плохого".
Ну да. А как тут ещё конкретизируешь, вне конкретного случая?

Татарин>> Почему ты так решил?
Fakir> Потому что система сверхсложная и как бы это... полухаотичная, что ли? Что-то типа турбулентности.
Сверхнелинейная. Но не хаотичная. И вполне поддаётся дебагу. Ещё лет 5-10 назад, когда средств дебага не было, и вообще всё это только становилось, я бы с тобой согласился (да и соглашался, смутно помню даже свой пост на ту же тему - не отдебажить), сейчас всё-таки люди поднакопили опыт, и быстро продолжают копить. А главное - "подтягиваются хвосты": разработка, всё же, шла и идёт очень быстро, инструментарий не поспевает, чаще всего он сам сейчас часть разработки и представляет собой какие-то накропанные для достижения целей библиотеки или собраный из подручных костылей и изоленты тулчейн.

Например, ситуация по диагностике схожая для той, что была 10 лет назад для "обычных" сетей, сейчас, НЯЗ, в суперхайповой теме трансформеров (LLAM/БЯМ) (из-за чего и всякая цензура осуществляется средствами обучения - фактически, убеждениями и уговорами ). Ничего. Подумают, как-то наладят.

Ну вот сейчас в простом обычном программировании немыслима работа без компилятора, а в отладк - без дебаггера(-ов) с кучей фишек и функций, дисассемблера, профайлера и ещё кучи всего; тебе нужен массивный инструментари. Код, чтобы писать код.
Точно так же, скорее всего, придётся делать сложные инструменты диагностики, включая специализированные нейросети, чтобы рассматривать проблемы нейросетей.

Fakir> Чем более она совершенна - тем ближе к человеку (или хотя бы животному) по своим свойствам, со всеми вытекающими. В т.ч. относительно (не)предсказуемости поведения.
Тут у тебя немного вбок - одно дело "предсказуемость", а совсем другое дело - прослеживаемость решений постфактум. У человека и животных нет (сейчас) такого полного доступа к "потрохам", соотвественно, с ними работают как с чёрным ящиком (строго говоря, работали, до появления высокопольной/высокоразрешающей МРТ, но инсайды от МРТ с его нынешним пространственным и временным разрешением и его ограничениями - не более чем подсказки, да и МРТ требует очень особых условий и подготовки).

У сеток всё иначе. Ты имеешь доступ к потрохам. Можешь проследить сформированный сигнал обратно - посмотреть, что именно влияло на его появление сильнее, можешь "остановить время" и "прогнать время в другую сторону". Можешь (не всегда, но часто) "выобучить" какой-то пример (в смысле, провести обучение так, чтобы стереть его из раскладов). Можешь поменять что-то, вручную сказав сетке, что вот тут у неё - не кошка, а велосипедист, и посмотреть, как она будет работать.
Многие вещи пока сложны и времяёмки на практике в силу недостатка инструментария, но это временно.

Нейросеть - это не "чёрный ящик" ещё и потому, что мы же её и создали. И топология у неё почти всегда - далеко не 4 миллиона слоёв по 4 миллиона нейронов поверх входной картинки в 4 Мпикселя.
Почти всегда у тебя есть блоки с конкретным функционалом, у них есть входы-выходы, по конкретным связям бежит вполне себе конкретная инфа, которую можно привести (и приводят, конечно) в человекочитаемый вид, записать в логи, восстановить в ходе эмуляции события и т.п..

Fakir> Вот, кстати, изучение реакций нейросетей в широком пространстве параметров входных данных, как там с катастрофами типа "сборка" и всем таким - кто-то пробовал?
У тебя в постановке вопроса видно непонимание, этот вопрос требует вполне конкретной такой нейросети, которую ты, наверняка, представляешь в виде такого навороченного, но вполне конкретного персептрона... Каких "нейросетей"? Они же совсем-совсем разные бывают. Одних только функций активации нейронов понапридумывали десятки от банальной линейности до сложных многоуровневых дискретных, я уж не говорю про разные виды нейронов с памятью. И бОльшая часть используется. Глобальные переменные (от банальной глобальной температуры до динамически изменяемых поправок к активации), локально-глобальные (действующие на блок)...
И совсем не редкость (а скорее даже банальность), когда в одной сетке разных нейронов в разных блоков дофига.
Какие "катастрофы" в напрочь линейной системе, например?

Fakir> Тут как бы не психоанализ с судебной психиатрией ближе.
Возможно.
Но психоанализ в совершенно новых условиях, когда ты можешь, например, разложить дамп пациента растянув для него время помиллисекундно прогнать для него "ту самую" ситуацию, глядя на конкретные изменения.
У нас, у человеков, встроенная самодиагностика - г**но, а рефлексия охватывает малую часть сознательного, сознательное же - ничтожно малая часть кортикальной части, которая, вообще, айсберг над водой. А подводная часть нейронов нашего головного мозга - вообще скрыта от всяких сознательных усилий и управляет какими-нить мышцами, до них сознанию достучаться можно только через внешний мир, через реальное повторение каких-то действий, например. Или вообще через очень косвенные процессы (как, например, до ннейронов управления эндокринной системой). Да и постоянная автокастомизация в момент зачатия и в процессе жизни приводит к тому, что каждый человек уникален уже в железе по всем пунктам, и общего - разве что некоторые принципы и общее построение.

С нейросетями в этом смысле, всё же, сильно получше будет.

Fakir> Так что вангую - ближайшие лет 20 тут дальше экспериментов никуда не денется. С легковушками. С трамваями и диагностикой еще может прокатит, но это не точно. Хочешь - можем оформить спор на деньги Скажем, с промежуточными точками и опционами на повышение ставок
Давай.

Татарин> Сверхнелинейная. Но не хаотичная.
Современная нейросетка принципиально нелинейна. Функции активации не просто так придумали. А хорошая нейросетка ныне ещё и хаотична, в какой-то мере.

Fakir> Прямо интересно. Действительно те, кто занимался нейросетками, не слышал и не догадывался, или были какие-то объективные препятствия?
КМК, идея намеренно ухудшать работу сетки в какой-то момент была крайне контринтуитивна.

Логика такая, что если ты добавишь достаточно слоёв, то (как частный случай при определённых весах) получишь и свёрточную сеть тоже, в числе всех прочих возможных вариантов. А поскольку обучение, считалось, приводит тебя к оптимальным весам по всей сетке, то зачем нужна свёрточная сеть?
Пришлось сильно побиться головой в проблему переобучения, пока мудрость природного решения не дошла в полной мере.

При этом, заметь, чтобы придти к резидуал сетям (что дало очередной локальный прорыв), понадобилось ещё почти 10 лет. Хотя эффективность "порчи" сетки уже была доказана на свёртках.

Татарин>> Сверхнелинейная. Но не хаотичная.
pokos> Современная нейросетка принципиально нелинейна. Функции активации не просто так придумали. А хорошая нейросетка ныне ещё и хаотична, в какой-то мере.
Ты как-то странно понимаешь слово "хаос". Если в математическом смысле - то можно с натяжками согласиться. В математическом смысле из фото улицы получить совершенно нелинейный выход "тут есть велосипедист" - это хаос.

Но в бытовом смысле (в контексте тех реплик с Факиром) никакого хаоса тут нет. Мы сделали нейросеть, чтобы искать на картинках велосипедистов, она нам их и ищет.

Татарин> Ты как-то странно понимаешь слово "хаос". Если в математическом смысле....
Я понимаю его в единственно возможном смысле, применительно к нейросетям: способ вытряхивания сетки из локального минимума.

Татарин> Ты как-то странно понимаешь слово "хаос". Если в математическом смысле - то можно с натяжками согласиться. В математическом смысле из фото улицы получить совершенно нелинейный выход "тут есть велосипедист" - это хаос.
Татарин> Но в бытовом смысле (в контексте тех реплик с Факиром) никакого хаоса тут нет. Мы сделали нейросеть, чтобы искать на картинках велосипедистов, она нам их и ищет.

Э! Вспомни математический смысл в смысле высокой чувствительности к малым отклонениям в начальных условиях! ...другой сказал "тарелка", а третий крикнул "Мышь!"

Ну, типа "внезапного леопардового дивана"(ТМ).

С какого момента куча перестанет быть кучей, то есть, пардон, велосипедист - велосипедистом? А если ВНЕЗАПНО(ТМ) окажется, что велосипедиста в розовой бейсболке или балетной пачке или с наушниками, или велосипедиста, на плечо которому капнула ворона - сетка не считает велосипедистом? (а это именно чувствительность к малому изменению входных данных со значительным изменением выходного результата)
Можем мы вообще определить (и лучше бы заранее), где, с точки зрения сетки, кончится велосипедист? Это хотя бы принципиально возможно - предсказать, на чём её заклинит, или хотя бы ?

Татарин> КМК, идея намеренно ухудшать работу сетки в какой-то момент была крайне контринтуитивна.
Татарин> Логика такая, что если ты добавишь достаточно слоёв, то (как частный случай при определённых весах)

Ну на фоне того, что в природе сделано именно так, и всё пашет - ...
Чтобы посчитать, что то, что работает в глазу, не станет хорошо работать в железе - нужны же какие-то соображения.
Поэтому как бы всё главные вопрос, а думали ли вообще за первые 10-20 лет в эту сторону, в бионику, или даже по каким-то причинам не пытались? (случаи, когда десятилетиями в упор не видят давно и хорошо известного в другой области - не сказать чтоб редки, и поучительны для истории и философии науки)

Fakir> (а это именно чувствительность к малому изменению входных данных со значительным изменением выходного результата)
Fakir> Можем мы вообще определить (и лучше бы заранее), где, с точки зрения сетки, кончится велосипедист?

ЕМНИП, для Шешевского существовала аналогичная проблема. Ибо с его точки зрения, человек в разной одежде не один и тот же объект. И более того в одежде которая чуть различается - тоже разные объекты.
В то время как для обычного человека проблемы нет именно потому, что он плохо помнит и различает.

s.t.> ЕМНИП, для Шешевского существовала аналогичная проблема. Ибо с его точки зрения, человек в разной одежде не один и тот же объект. И более того в одежде которая чуть различается - тоже разные объекты.

Это и для животных типичная проблема, хотя и по принципиально другим причинам.

Например, считается (не подпишусь, что это совершенно точно, но авторитетные зоологи писали), что, например, лошади узнают людей (хозяев) исключительно по предметам одежды. Т.е. примут за хозяина человека в хозяйском пальто, а хозяина в незнакомом запросто могут не признать и лягнуть.
Птицы - напр., попугаи - часто могут воспринимать нос и пальцы хозяина как разных существ, и даже пытаться защищать одно от другого.
И т.п.
Иногда вообще трудно определить, по каким именно признакам животные, которые узнают людей, их узнают (с некоторых пор подозреваю, что даже с людьми нередко так, и что слабая прозопагнозия куда более распространена, чем об этом думают, и что "отец не узнаёт дочь, потому что на ней новые перчатки" - не только шутка над старой маразматичкой-опереттой).

Совершенно не удивлюсь, если что-то подобное окажется и у сеток. Скорее удивлюсь, если не окажется.
И тут тааакое может полезть... несколько гиперболизируя: охранная система подстрелит охраняемого, спасая его от его же собственной руки

Fakir> Можем мы вообще определить (и лучше бы заранее), где, с точки зрения сетки, кончится велосипедист? Это хотя бы принципиально возможно - предсказать, на чём её заклинит, или хотя бы ?
Конечно.
Более того, для известных систем распознавания это позволило выпускать эксплойты, например "кепки-невидимки" или "футболки-невидимки", которые делали человека нераспознаваемым для массовых нейросетей (конкретных нейросетей, конечно, - например, сетей камер в Лондоне). Потом это поправляли, потом разрабатывали и печатали новые футболки, потом все эти паттерны вносились в особый ряд исключений "вот этот подозрительный тип пытается от нас скрыться" - в общем, жизнь кипит (почти невидимо для публики, как это и бывает с узкими тусовочками).

Вообще, проблема "50% велосипедистов" - это очень давняя проблема. Понятно, что "пятидесятипроцентному" велосипедисту доверять нельзя ни в какую сторону, это очень особый случай. Насчёт частной обработки таких случаев придумано очень много, общего решения нет.

Но сам факт ненадёжного распознавания распознаётся очень хорошо - у тебя же на выходе классификатора некое нормированное (допустим, на 100%) количественное значение. Если ты получил 47% или 59%, то очевидно, что нельзя ни доверять, ни игнорировать.
В абсолютном большинстве случаев можно оттрейсить назад и получить выжимку помехи. "Антивелосипедиста", тксзть. Вот как с теми футболками - "античеловека" получали, изменяя лишь часть изображения.

Этим тоже занимаются при составлении датасетов (не всегда, но не то чтоб редко). Просто чтобы понимать, куда двигаться дальше для улучшения.

С "поведенческими" сильно реккурентными сетками с памятью всё гораздо менее интуитивно-очевидно, но суть примерно та же.

Fakir> Поэтому как бы всё главные вопрос, а думали ли вообще за первые 10-20 лет в эту сторону, в бионику, или даже по каким-то причинам не пытались?
Да кто его знает, что там "думали"? 20 лет назад тусовка энтузиастов нейросетей была гораздо меньше, чем сейчас, и просто "подумать" недостаточно, попробовать - тоже недостаточно, для позитивного выхода нужно так попробовать, чтобы именно вот получилось. Либо вот чтоб с первого раза выхлоп был ого какой, либо иметь желание и терпение пробовать разные подходы, пока не получится.

НЯЗ, именно человек сведущий в зрении "изобрёл" свёрточные сети так, что после него все поняли, насколько это хорошо. Он намеренно смотрел, как что сделано, а потом воплощал в сети. Наверняка, его должны были двигать железная уверенность, что "вот тут-то отлично работает!" и вопрос "что не так у меня?". А у остальных этого наверняка не было (где-то прочитанная или слышанная пара фраз не аргумент для долгой работы без результата), поэтому дальше каких-то проб не заходило.

На самом же деле - это ж нужно прям сделать хуже. Чтобы стало лучше.

Татарин> Если это сбой железа - то вопросы к поставщику железа

Скорее всего, регулируется многочисленными соглашениями об ограничении ответственности на каждом шаге интеграции - от производителей ЭКБ, модулей, агрегатов, изделия и конечным пользователем.
Видел ситуацию, когда автомобили одного из основных американских производителей не заводились на Аляске. Или начинали гореть базовые станции мобильных операторов. Для компании это репутационные потери, которые быстро трансформируются в потерянные контракты. Но не видел, чтоб инженеры несли какую-то индивидуальную ответственность...

pokos> Наделение субъектностью и, не забудь, дееспособностью. Это уже вообще за гранью.
Ну да. КМК, да.

Татарин>> Если случай, в котором произошла проблема известен, предсказуем,
pokos> Если он предсказуем, то почему не устранили?
Так в других системах устранили. А в этой - в силу преступных действий (преступной халатности, например) не стали.

Татарин>> Если нет, то кто принимал преступные решения?
pokos> Дык, это и есть самый главный вопрос. И. по моему мнению, он принципиально неразрешим в случае сетки.
Я не понимаю этого "принципа". Сложность задачи - да. Принципиальную неразрешимость - нет.

Татарин>> Как уже случилось в атомной энергетике, например.
pokos> В атомной энергетике реактор никогда не виноват.
Ну дык да. Чтобы нейросетка стала виноватой, она должна стать субъектом. Личностью, причём, именно и обязательно личностью имеющей признаки личности неотъемлимые для человека - определёнными инстинктами. В нашем праве человек, которому безразличны его действия, судьба, боль, его собственные и окружающих жизнь и здоровье, человек неспособный понять или безразличный к тому, как его действия сказываются на его личном будущем - считается недееспособным.

Ну, конечно, для человека проводится экспертиза, не без этого.
Но сетка и так по этим критериям недееспособна, тут и экспертизы никакой не нужно.

Татарин>> Ну, это я понял. Всё то же самое, что в других сложных областях...
pokos> НЕ тоже самое. Сложность системы на несколько порядков больше. Старые подходы не работают.
Для этого и есть анализ (в изначальном значении слова: разбивка сложного явления на ряд простых). Тебе не нужно отслеживать совокупность всех 100 миллиардов параметров модели, тебе достаточно понять, что сбой произошёл в блоке распознавания оптической картинки, который разработан отделом А фирмы Б.

А дальше всё как у бабочек фирма А при помощи следователей и привлечённой сторонней экспертизы начинает внутренние разборки, почему блок распознавания не распознал велосипедиста, где случилась ошибка. Методом исключений и дедукции выходят на конкретные причины и конкретных людей.

Сложность интернета сейчас тоже вне всяких представлений. Если у тебя бухгалтер кричит "у меня интернет не работает", чтобы установить причину конкретного сбоя тебе не нужно "понимать интернет", тебе нужно понять, какие конкретно его части должны были как функционировать в конкретном случае, а затем понять, какая из этих систем дала сбой. В итоге всё сводится к замене блока питания на свиче, а вовсе даже не во многотриллионном расследовании "что же не так с ентими вашими енторнетами".

Татарин> Так в других системах устранили. А в этой - в силу преступных действий (преступной халатности, например) не стали.
Предположения здесь неуместны. Такие вещи необходимо доказывать.

Татарин> Я не понимаю этого "принципа". Сложность задачи - да. Принципиальную неразрешимость - нет.
Ну, предположим, эта задача может быть принципиально разрешена за жалкие 1024 года. Что толку-то?

Татарин> Ну дык да. Чтобы нейросетка стала виноватой, она должна стать субъектом.
Не только. ещё она должна бояться смерти.

Татарин> ...что сбой произошёл в блоке распознавания оптической картинки, который разработан отделом А фирмы Б.
А если не в блоке распознавания?
Вот тебе пример: https://www.youtube.com/watch?v=qhIo3SCmwwM
Где у него "блок распознавания"?

Татарин> ...Методом исключений и дедукции выходят на конкретные причины и конкретных людей.
Предположим, тебе надо исключить 10¹⁰ вариантов.

Татарин> Сложность интернета сейчас тоже вне всяких представлений.
Жужл смеётся тебе в лицо. Вся бигдата тоже.

Татарин>> Так в других системах устранили. А в этой - в силу преступных действий (преступной халатности, например) не стали.
pokos> Предположения здесь неуместны. Такие вещи необходимо доказывать.
Так и докажут. Суды и следствие не настолько беззубы, чтобы спотыкаться о необходимость доказать очевидные вещи.
Из теории мы знаем, что дактилоскопия даёт совпадение в 1 из 10000 случаев. Но я никогда не слышал о случаях, когда вор смог на практике отмазаться тем, что это, мол, совпадение.

Татарин>> Ну дык да. Чтобы нейросетка стала виноватой, она должна стать субъектом.
pokos> Не только. ещё она должна бояться смерти.
...ну вот всё это перечисленное выше, да; там много требований (включая, например, генерализованный контекст). То есть, нейросеть должна быть дееспособной. До этого она не субъект, как некоторым кажется, а объект.

pokos> А если не в блоке распознавания?
pokos> Вот тебе пример: https://www.youtube.com/watch?v=qhIo3SCmwwM
pokos> Где у него "блок распознавания"?
То не в блоке распознавания. Если конкретная дивайсина сбивает велосипедиста, то мы просим разработчика детально объяснить, что должно было это предотвращать, какие конкретно меры он предпринимал для этого. Если обоснования достаточности этих мер суд не устраивает, то это опаньки для разработчика.
Если обоснования этих мер в целом считаются экспертизой приемлимыми, то начинается копание в деталях.
Это всё пройдено уже на опасных производствах.

Например, в данном случае модель вообще не знает про велосипедистов, разработчик единственными критериями поставил скоростное прохождение трека.

Татарин>> ...Методом исключений и дедукции выходят на конкретные причины и конкретных людей.
pokos> Предположим, тебе надо исключить 10¹⁰ вариантов.
Анализ проведён некачественно.
Пример конкретный дай?

Татарин>> Сложность интернета сейчас тоже вне всяких представлений.
pokos> Жужл смеётся тебе в лицо. Вся бигдата тоже.
? Это вот над чем? Ты к тому, что гугл знает, как устроен интернет? Да твой домашний провайдер не всегда сам знает, какая модель маршрутизатора у него на дом установлена.

Татарин> ... Но я никогда не слышал о случаях, когда вор смог на практике отмазаться тем, что это, мол, совпадение.
Аналогия негодная. 10⁴ супротив 10^10.

Татарин> ...какие конкретно меры он предпринимал для этого.
В этом-то и есть самая большая проблема, в конкретике.

Татарин> Если обоснования этих мер в целом считаются экспертизой приемлимыми,
Неплохая коррупционная закладка.

Татарин> Пример конкретный дай?
Ну, к примеру, простой случай тебе я уже дал про машинки. Очень простая система. Попробуй аргументированно установить, почему в данном конкретном случае машинка съехала с трассы. Как подойдёшь к задаче, мне интересно?

Татарин> ? Это вот над чем? Ты к тому, что гугл знает, как устроен интернет?
Конечно, знает. На это он ежегодно тратит денег как бюджет какой-нибудь банановой сверхдержавы.

Татарин> Да твой домашний провайдер не всегда сам знает, какая модель маршрутизатора у него на дом установлена.
Я работал в нескольких таких провайдерах. У тебя ошибочное мнение.

Татарин>> ... Но я никогда не слышал о случаях, когда вор смог на практике отмазаться тем, что это, мол, совпадение.
pokos> Аналогия негодная. 10⁴ супротив 10^10.
А что такое это твоё "10¹⁰"? Откуда?

Татарин>> Если обоснования этих мер в целом считаются экспертизой приемлимыми,
pokos> Неплохая коррупционная закладка.
Тогда и весь суд - суть коррупционная закладка, потому что везде судят люди, а не действует детерменированный алгоритм.

Татарин>> Пример конкретный дай?
pokos> Ну, к примеру, простой случай тебе я уже дал про машинки. Очень простая система. Попробуй аргументированно установить, почему в данном конкретном случае машинка съехала с трассы. Как подойдёшь к задаче, мне интересно?
Беру логи и видеорегистратор, устанавливаю момент, когда "что-то пошло не так" и траектория машинки (в полном фазовом пространстве, то есть, включая скорости, ускорения и управляющие сигналы) начала отклоняться от оптимальной или желательной.
Беру нейросетку с машинки, начинаю подавать ей на вход траекторию до аварии и смотрю, как что работает вблизи точки отклонения. Прогоняю накапливающийся обратный сигнал, чтобы выявить подозрения на причины проблем. Фиксирую доминирующие факторы входа.
Прогоняю (виртуально) сетку по трассе (предполагается, что в остальных случаях сетка ведёт себя адекватно, верно ведь? а не просто вылетела с трассы потому, что едет всегда прямо), нахожу кусок фазового пространства, где её поведение наиболее отклоняется от оптимального.

Начинаю разбираться с причинами (тут мне уже придётся фантазировать и брать какую-то конкретную, в зависимости от конкретики полученной на предыдущих шагах).

...
Но вообще в этом случае
а) процедура поиска ошибки в сетке, которую сгенерил ГА смысла не имеет - это же ГА, там может быть множество самых странных совершенно случайных вывертов, смысл искать их причины есть только в том случае, если сетка получилась ну ОЧЕНЬ прям ценной и ГА её почему-то никак не может доисправить сам, и
б) сразу виноват будет дев, потому что он отбирал сетки генетической оптимизацией на конкретных лабиринтах и не предусмотрел адекватного обучения и тестирования. Откуда такой вывод? Просто по факту вылета машинки с трассы. То есть, в данной конкретной конфигурации (трасса виртуальна, конфигурация понятна, целевая функция тоже) вопрос вины даже не стоИт - "виновен".


Татарин>> ? Это вот над чем? Ты к тому, что гугл знает, как устроен интернет?
pokos> Конечно, знает. На это он ежегодно тратит денег как бюджет какой-нибудь банановой сверхдержавы.
Не говори ерунды. Откуда он знает, что у меня кабель рваный и на сетевушке коннектор сейчас окислится, потому что на её выход кофе налили? А это критично вот для того, чтобы мой компутер оставался в интернете.

Татарин>> Да твой домашний провайдер не всегда сам знает, какая модель маршрутизатора у него на дом установлена.
pokos> Я работал в нескольких таких провайдерах. У тебя ошибочное мнение.
У тебя просто даже в формальной логике проблема: чтобы утверждать, что моё мнение ошибочно, ты должен был работать во ВСЕХ провайдерах. И знать про всех всё. Что, ессно, неверно.

А я одном вообще был основателем и техдиректором и конкурентов своих смотрел и изучал. Коротко о разном: всякое бывает.
Мой пример на 100% жизненный.

Татарин> А что такое это твоё "10¹⁰"? Откуда?
Это 10 млрд синапсов, всего лишь - мелочь.

Татарин>>> Пример конкретный дай?
Примеров - огромная масса, там где нет объективных показателей, которых можно замерить.

Татарин> Беру логи и видеорегистратор, устанавливаю момент, когда "что-то пошло не так" и траектория машинки (в полном фазовом пространстве, то есть, включая скорости, ускорения и управляющие сигналы) начала отклоняться от оптимальной или желательной.
Молодец. Опять ты остановился на полпути. Дальше что? Кто виноват-то?

Татарин> б) сразу виноват будет дев,
Дев - это, например, 10 тыс. человек и 15 юрлиц. Что дальше? Кстати, откуда ты увидел, что в данном случае дев - это единственное лицо?

Татарин> Не говори ерунды. Откуда он знает, что у меня кабель рваный
При чём тут устройство интернета? Если Жужл, например, не знает, хорошо ли ты жопу вытер сегодня, это не значит, что он ничего не знает о твоём здоровье.

Татарин> У тебя просто даже в формальной логике проблема:
Это у тебя в логике проблема. Ведь, ты даже не знаешь, кто у меня домашний провайдер, производя своё сверхценное умозаключение. И тем более, ты ни в зуб ногой о моих взаимоотношениях с их службой эксплуатации.
Далее, я применяю твой уровень обобщения, вот и всё.

Татарин>> А что такое это твоё "10¹⁰"? Откуда?
pokos> Это 10 млрд синапсов, всего лишь - мелочь.
И все 10 миллиардов соединены "все со всеми"? Пример такой сетки из жизни не дашь?
Или, всё же, в сетке можно выделить функциональные блоки?

Татарин>>>> Пример конкретный дай?
pokos> Примеров - огромная масса, там где нет объективных показателей, которых можно замерить.
Ну? и?
Я верю, что есть какие-то примеры чего-то. Я не верю в то, что это случаи неразрешимые для дебага и суда. Если ты считаешь, что можешь привести конкретный пример, приведи.
Абстрактное твоё мнение, что примеров масса, мною к сведению принято; у меня, сам уже знаешь, иное.

Татарин>> Беру логи и видеорегистратор, устанавливаю момент, когда "что-то пошло не так" и траектория машинки (в полном фазовом пространстве, то есть, включая скорости, ускорения и управляющие сигналы) начала отклоняться от оптимальной или желательной.
pokos> Молодец. Опять ты остановился на полпути. Дальше что? Кто виноват-то?
Не понял. Я уже вполне чётко сказал сказал, что в твоём конкретном примере виноват разработчик, который недостаточно гонял ГА и нейросетку на недостаточном количестве примеров. Доказать это в суде нефиг делать: такие-то меры можно и дОлжно было принять (именно - гонять алгоритм на бОльшем числе примеров, ужесточать QA, потому что в таких-то и таких-то случаях на данной трассе видны признаки неоптимального/неадекватного поведения). Меры по факту приняты не были - машинка вылетела с трассы в результате работы алгоритма, факт доказан.

Ты сейчас на ходу довыдумывать конкретизацию будешь? Мол, имел в виду, что это как бы по-другому написано, какиеми-то разработчиками, и вообще я не понял нерассказанные тобой условия выдуманного примера?
Я тебе сейчас придумаю, что Вася Пупкин виноват. Ты скажешь "нет", мол, в твоём примере виноват Фарид Сархад, я такие имена задумывал, и, мол, в моей выдумке суд его уже оправдал за недостатком доказательств? так себе всё это видишь? Тебе не кажется, что как-то совсем теряешь здравый смысл?

Я остановился ровно в том месте, где мне придётся выдумывать уже конкретику, что виновата такая-то область нейронов в таком-то блоке, выдавшая, допустим, неадекватно большое ускорение в таких-то условиях.

Татарин>> б) сразу виноват будет дев,
pokos> Дев - это, например, 10 тыс. человек и 15 юрлиц. Что дальше? Кстати, откуда ты увидел, что в данном случае дев - это единственное лицо?
"Дев - это, например, 10 тыс. человек и 15 юрлиц."
"Кстати, откуда ты увидел, что в данном случае дев - это единственное лицо?"
- вот как у тебя это в одной голове совмещается? Откуда ты увидел, что дев это 10000 человек и откуда ты увидел, что я увидел, что в этом утверждении дев - единственное лицо?
1 или 10000 - это ты сейчас на ходу придумываешь. Как я могу это угадать? И зачем мне это угадывать?

Абстрактно замечу, что поиск конкретно виновных в конкретной технической проблеме среди множества сотрудников коллектива в большом техническом проекте - это не специфично-нейросетевая проблема. С этим вполне нормально работают следователи уже много-много лет. И всё у них получается.

pokos> Это у тебя в логике проблема. Ведь, ты даже не знаешь, кто у меня домашний провайдер, производя своё сверхценное умозаключение.
Да какое "умозаключение", если это абстрактный пример?
Есть такие обороты в русской разговорной речи "если у тебя ..., то у тебя", который, собссно, конкретную личность не затрагивает, подразумевая некоего "a man". Но даже если до букв формально докапываться, то что с того? Хорошо, у тебя - знает, не знает - у Васи Пупкина. Поздравляю. Что это в сути примера поменялo, и в чём смысл твоего возражения?

pokos> И тем более, ты ни в зуб ногой о моих взаимоотношениях с их службой эксплуатации.
Да вообще пофиг. Ну какая разница в разговоре о сложности интернета и решениях частных проблем в нём твои личные взаимоотношения со службой эксплуатации твоего провайдера или цвет твоих трусов?