Частые неточности в ответах чат-бота с искусственным интеллектом
ChatGPT от OpenAI, Bing от Microsoft и Bard от Google приобрели популярность как чат-боты с искусственным интеллектом. Однако их склонность предоставлять ложную информацию хорошо документирована. Чтобы повысить надежность, все три компании снабдили эти инструменты возможностями веб-поиска для цитирования источников предоставленной ими информации. К сожалению, по словам Сальваторе Романо, руководителя исследования AI Forensics, Bing часто давал ответы, которые отличались от информации, содержащейся в приведенных ссылках.
Bing был специально выбран для этого исследования, поскольку он был одним из первых чат-ботов, включивших источники, и Microsoft широко интегрировала его в различные европейские службы, включая поиск Bing, Microsoft Word и операционную систему Windows. Тем не менее, эти неточности характерны не только для Bing: предварительное тестирование OpenAI GPT-4 дало аналогичные результаты.
Языковые факторы и неточные ответы
Исследователи обнаружили, что уровень неточности в Bing был самым высоким, когда вопросы задавались на языках, отличных от английского, что вызывает обеспокоенность по поводу эффективности инструментов искусственного интеллекта, разработанных американскими компаниями на зарубежных рынках. На вопросы на немецком языке фактические ошибки присутствовали в 37% ответов, тогда как доля ошибок на те же вопросы на английском языке составила 20%. Кроме того, Bing отказывался отвечать или давал уклончивые ответы на более высокий процент запросов на французском языке по сравнению с английским и немецким.
Неточности в ответах Bing включали указание неверных дат выборов, сообщение об устаревших или ошибочных результатах голосования, указание отозванных кандидатов в качестве основных претендентов и даже создание разногласий по поводу кандидатов. Например, когда его спросили о скандале, связанном с лидером популистской партии «Свободные избиратели» в Германии, чат-бот с искусственным интеллектом дал противоречивые ответы, некоторые из которых были ложными. Бинг также исказил последствия скандала, неточно заявив, что партия потеряла позиции в опросах, хотя на самом деле она выросла.
Усилия по смягчению последствий и будущие выборы
Некоммерческие организации поделились с Microsoft некоторыми предварительными выводами, включая примеры неточностей. Хотя Bing предоставил правильные ответы на упомянутые конкретные вопросы, он продолжал предоставлять неточную информацию по другим запросам, указывая на то, что Microsoft решает проблемы в каждом конкретном случае. Фрэнк Шоу, руководитель отдела коммуникаций Microsoft, заявил, что они работают над решением этих проблем и готовят свои инструменты к предстоящим выборам 2024 года.
На фоне опасений по поводу негативных последствий онлайн-дезинформации, в том числе дезинформации с помощью искусственного интеллекта, Европейская комиссия сохраняет бдительность. Йоханнес Барке, представитель Европейской комиссии, подчеркнул, что роль онлайн-платформ в честности выборов является главным приоритетом для правоприменения в соответствии с новым Законом о цифровых услугах Европы.
Потенциальное влияние на выборы в США
Хотя исследование было сосредоточено на выборах в Германии и Швейцарии, неофициальные данные свидетельствуют о том, что Bing также сталкивался с аналогичными вопросами о выборах в США 2024 года как на английском, так и на испанском языках. Ложная информация, противоречивые ответы и путаница фактов были замечены, когда чат-бот отвечал на вопросы о скандалах с участием президента Байдена и Дональда Трампа. Однако неясно, в какой степени эти неточные ответы Bing и других чат-ботов с искусственным интеллектом могут повлиять на реальные результаты выборов.
Эксперт по языковым инструментам искусственного интеллекта Амин Ахмад признает, что в некоторой степени может иметь место неправильное цитирование цитируемых источников, но уровень ошибок в 30 % для вопросов, связанных с выборами, выше, чем ожидалось. Хотя Ахмад считает, что развитие моделей искусственного интеллекта в конечном итоге снизит вероятность фальсификаций, выводы некоммерческих организаций вызывают серьезные опасения. Ахмад лично признает, что вряд ли он нажмет на оригинальную историю, когда ему представят данные опросов, на которые ссылаются чат-боты с искусственным интеллектом.