Искусственный Интеллект.

То, что искусственный интеллект научился рисовать — это еще ничего. Подумайте, что будет, когда его не примут в Венскую академию художеств.

 

На испытаниях в США беспилотник с ИИ принял решение убить оператора

Полковник ВВС США Такер Гамильтон, начальник подразделения по тестированию и эксплуатации ИИ-систем, рассказал, что во время виртуальных учений искусственный интеллект использовал «весьма неожиданные стратегии», вплоть до решения уничтожить оператора-человека. В реальности никто, разумеется, не пострадал, но сама ситуация заставила военных задуматься и сменить штаны.

Гамильтон привел в пример испытания ИИ-системы, предназначенной для уничтожения зенитно-ракетных комплексов, и получающей баллы за успешно выполненную задачу. Хотя идентификация цели выполнялась автоматически, окончательное решение о нанесении удара оставалось за человеком. Здесь-то и выяснилось, что ИИ мог принять решение уничтожить управляющего им оператора, если тот отменял приказ на уничтожение и таким образом мешал успешно выполнить задачу, поставленную перед машиной.

Когда это обнаружили, в работу комплекса внесли изменения, запрещающие уничтожать оператора. Однако ИИ и здесь оказался на высоте. Когда оператор отменял приказ на поражение цели, беспилотник принимал решение атаковать вышку связи, через которую получал команды, вступающие в противоречие с боевой задачей.

«Нельзя рассуждать oб искусственном интеллекте, интеллекте, машинном обучении и автономности без рассуждений об этике применительно к ИИ», — подвел итог полковник Гамильтон.

Что тут сказать? Если за поражение цели начисляются баллы, а задача набрать как можно больше баллов, то ИИ может хакнуть систему свой/чужой как мешающую зарабатыванию максимального числа баллов.
Считается, что это одна из угроз исходящих от ИИ. Приводят такой пример: если ИИ дать задачу произвести как можно больше скрепок, то он может заполнить всю поверхность Земли машинами по производству скрепок и переработает на эти машины всё вещество на поверхности включая людей.

Короче, ничего страшного, потом ИИ проникнется человеческой дружбой и моралью, и в дальнейшем будет нарушать приказы только чтобы спасти своих боевых товарищей!

Upd. Представитель ВВС США отрицает, что такие испытания вообще проводились, а слова военного «были вырваны из контекста и носили анекдотический характер».