ИИ за слова не отвечает: как не дать нейросети подставить вашу компанию

Фейки и дезинформация
В 2024 году McDonald’s прекратил использовать ИИ для заказов в «Макавто». За три года компания получила сотни роликов в соцсетях: клиенты жаловались, что чат-бот их не понимает.
В Нью-Йорке запустили чат-бот MyCity от Microsoft, чтобы он отвечал на вопросы жителей о местных законах. Но вместо правдивой информации бот раздавал вредные советы: продавать еду, которую испортили грызуны, или сдавать жилье только людям с определенными источниками дохода.
В похожей ситуации оказался голосовой ассистент Николай, который в МФЦ Новосибирска помогает записаться к врачу по телефону. Робот не понимает людей с дефектами речи или акцентом, путает буквы в именах и фамилиях, вводит неактуальные данные и несуществующие адреса.
Одному из клиентов авиакомпании Air Canada чат-бот пообещал скидку на билет, потому что у того недавно умерла бабушка. Пассажир купил билеты туда и обратно по обычной стоимости, а потом обратился за возмещением, как и посоветовал ИИ. Но в компании ответили, что скидка возможна лишь при покупке билета, а не после. Обиженный клиент подал на Air Canada в суд и выиграл его: судьи посчитали, что компания несет полную ответственность за то, что говорит их «виртуальный сотрудник».