Искусственный интеллект вымогает деньги
С 2016 по 2020 год у сотен тысяч австралийцев вымогала деньги система Robodebt — «роботизированный долг». Под удар попали в основном люди с инвалидностью, безработные, малоимущие и другие незащищённые категории людей.
Программу запустил Департамент социального обеспечения — там хотели автоматически проверять, законно ли человеку назначили пособие. Но что-то пошло не так: полумиллиону граждан ИИ приписал несуществующие долги и потребовал вернуть деньги, которые им платило государство.
До 2016 года документы на выплаты проверяли вручную, чтобы убедиться, что человек не занижает доходы и законно претендует на пособие. За год обрабатывали только 20 тысяч заявок из нескольких миллионов.
Когда к процессу подключили Robodebt, система стала проверять те же 20 тысяч заявлений всего лишь за неделю. Для её обслуживания требовалось немного персонала, поэтому власти даже смогли сократить часть чиновников.
Несколько лет правительство Австралии отчитывалось, что программа работает успешно: все незаконные выплаты возвращались в казну. За четыре года система взыскала с получателей пособий больше миллиарда австралийских долларов.
Никто в руководстве не обращал внимания, какими средствами Robodebt заставляла граждан возвращать деньги. Им приходилось оплачивать долги, которых у них не было.
У искусственного интеллекта был доступ к базе данных налоговой. Он сравнивал доходы в заявке на пособие и налоговых документах. В теории задача элементарная: если человек указал меньшую сумму, он мошенник.
Но возникла проблема: по законам Австралии в заявке указывали доход за последние две недели, а в налоговых документах была сумма за весь год.
Чтобы сравнить первую сумму со второй, в Robodebt встроили алгоритм усреднения дохода. Программа делила число из базы налоговой на 365 и считала средний доход для всех двухнедельных периодов в году. Очень часто суммы не совпадали.
Такой схемой пользовались и до автоматизации, но тогда окончательное решение признать гражданина мошенником принимал человек, который оценивал ситуацию со всех сторон. А бездушный ИИ считал преступником почти каждого получателя пособия.
Например, человек был безработным и получал пособие в первой половине года, а потом устраивался на работу и отказывался от выплат. В этом случае ИИ считал его средний доход и задним числом решал, что человеку платили деньги незаконно. Хотя в тот период он и правда не работал и нуждался в выплатах.
Признав человека должником, Robodebt отправляла ему письмо, где обязывала вернуть пособие вместе со штрафом в 10%. Систему запустили в 2016 году, но она проверяла базы с 2010 года, поэтому должников было много.
Оспорить решение искусственного интеллекта было почти невозможно. За давностью лет люди не могли найти подтверждающие документы, которые доказывали их правоту, а банки и бывшие работодатели не выдавали им копии.
Если в течение 30 дней с момента отправки письма гражданин не оспаривал решение, система признавала его долг окончательным и отдавала коллекторам. Они арестовывали имущество и банковские счета пострадавших, чтобы потом передать это всё государству.
Бывший член Административного апелляционного суда Австралии Терри Карни сравнил систему с мафией: «Департамент ведёт себя ужасно. Такого отношения к людям можно ожидать только в странах третьего мира. Всё это напоминает подход мафии… Это обычно называют вымогательством».
По данным журналистов, умерло больше двух тысяч человек, которые получили письма Robodebt. Из них 600 покончили с собой. Неизвестно, насколько это связано с системой. Но многие родственники жертв утверждают, что именно Robodebt свела их близких в могилу.
Когда пострадавших от Robodebt стало сотни тысяч, местные чиновники вынужденно признали провал системы. В 2020 году её остановили, а премьер-министр Австралии Скотт Моррисон извинился в парламенте за «любой ущерб, вред или трудности», которые причинила система Robodebt.
Пострадавшие и их родственники подали коллективный судебный иск. 11 июня 2021 года Федеральный суд Австралии признал потерпевшими больше 500 тысяч граждан и постановил выплатить им 751 млн австралийских долларов. С учётом судебных издержек правительство потратит на это 1,87 млрд.
Однако разбирательства продолжатся и дальше, потому что многие пострадавшие остались недовольны компенсациями.
Австралийская система провалилась из-за того, что создатели Robodebt не учли, как правильно рассчитывать средний доход, и плохо проверили решение перед внедрением. Государство хотело сократить чиновников и пополнить бюджет и поэтому долго игнорировало жалобы людей...