РБК Pro —
это сервис для предпринимателей, руководителей и специалистов, которые хотят меняться и менять бизнес
Материал раздела Основной

Как нейросеть из собеседника превращается в манипулятора и даже агрессора

Все чаще компании используют в общении с потребителями искусственный интеллект. Но из-за низкого качества материала, на котором обучается нейросеть, ИИ может проявлять агрессию, газлайтинг и т.п. Как этого не допустить, знает Михаил Ховричев (Voximplant)
Фото:  Chris McGrath / Getty Images
Фото: Chris McGrath / Getty Images

За последние лет десять голосовые помощники и чат-боты из модной технологии превратились в полноценный маркетинговый инструмент. С их помощью компании уже не просто частично разгружают call-центры, но и ведут полноценную коммуникацию с клиентом, соблюдая tone of voice бренда.

К 2022–2023 годам наступил переломный этап: LLM (Large Language Model — большие языковые модели) вывели общение с AI (artificial intelligence — искусственный интеллект, ИИ) на качественно новый уровень, и теперь не каждый способен понять, общается ли он с роботом или человеком.

Но чем больше данных и реальных диалогов используют для машинного обучения, тем чаще ИИ из простого собеседника превращается в манипулятора и даже агрессора.

«Подводные камни» чат-ботов

Крупные игроки, включая Microsoft со встроенным в Windows 11 Bing AI, Google с Bard и OpenAI с ChatGPT, превратили технологию чат-ботов на базе ИИ из экспериментальной и лимитированной в коммерческую и общедоступную.

Нейросетевые модели серии GPT от OpenAI анализируют свойства языка и предполагают ответы на основе введенных ранее слов. Однако такие предположения делают ИИ-модели уязвимыми: ведь они не верифицируют данные, на которые опираются в построении диалога, и выдают заявления, которые могут оказаться ложными.

Отделался общими фразами: как ChatGPT справился с задачами рекрутера
Кейсы ForPeople
Фото:Shutterstock

Манипуляция ботов на базе ИИ может быть «хорошей» — когда бот подстраивается под пользователя, выдавая ответы в наиболее приятной для него форме, чтобы вызвать доверие. Или «плохой»: когда бот откровенно подтасовывает факты, скрывая негативную информацию о бренде. Временами диалоги чат-ботов выглядят как откровенный газлайтинг — когда чат-бот пытается убедить собеседника, что на дворе 2022 год, ссылаясь на календари, проверенные источники и уверяя, что его задача помочь. Или порождают паранойю: как в случае, когда чат-бот признался, что следит за сотрудниками при помощи веб-камер на их компьютерах.