Как нейросеть из собеседника превращается в манипулятора и даже агрессора
За последние лет десять голосовые помощники и чат-боты из модной технологии превратились в полноценный маркетинговый инструмент. С их помощью компании уже не просто частично разгружают call-центры, но и ведут полноценную коммуникацию с клиентом, соблюдая tone of voice бренда.
К 2022–2023 годам наступил переломный этап: LLM (Large Language Model — большие языковые модели) вывели общение с AI (artificial intelligence — искусственный интеллект, ИИ) на качественно новый уровень, и теперь не каждый способен понять, общается ли он с роботом или человеком.
Но чем больше данных и реальных диалогов используют для машинного обучения, тем чаще ИИ из простого собеседника превращается в манипулятора и даже агрессора.
«Подводные камни» чат-ботов
Крупные игроки, включая Microsoft со встроенным в Windows 11 Bing AI, Google с Bard и OpenAI с ChatGPT, превратили технологию чат-ботов на базе ИИ из экспериментальной и лимитированной в коммерческую и общедоступную.
Нейросетевые модели серии GPT от OpenAI анализируют свойства языка и предполагают ответы на основе введенных ранее слов. Однако такие предположения делают ИИ-модели уязвимыми: ведь они не верифицируют данные, на которые опираются в построении диалога, и выдают заявления, которые могут оказаться ложными.
Манипуляция ботов на базе ИИ может быть «хорошей» — когда бот подстраивается под пользователя, выдавая ответы в наиболее приятной для него форме, чтобы вызвать доверие. Или «плохой»: когда бот откровенно подтасовывает факты, скрывая негативную информацию о бренде. Временами диалоги чат-ботов выглядят как откровенный газлайтинг — когда чат-бот пытается убедить собеседника, что на дворе 2022 год, ссылаясь на календари, проверенные источники и уверяя, что его задача помочь. Или порождают паранойю: как в случае, когда чат-бот признался, что следит за сотрудниками при помощи веб-камер на их компьютерах.