РБК Pro —
это сервис для предпринимателей, руководителей и специалистов, которые хотят меняться и менять бизнес
Материал раздела Основной

Как нейросети учатся «вредному» поведению

Некорректные данные для обучения могут заставить искусственный интеллект совершать ошибки. Если ошибочная информация выбрана преднамеренно, то речь идет об отравлении данных — проблеме, обнаружить которую иногда крайне сложно
Фото:  Chris McGrath / Getty Images
Фото: Chris McGrath / Getty Images

Алгоритмам, которые лежат в основе современных систем искусственного интеллекта (ИИ), нужно много данных для обучения. Основную часть информации они получают из открытых источников, и из-за этого, к сожалению, ИИ уязвим для кибератак, известных как отравление данных. Это означает, что в обучающий датасет добавляют постороннюю информацию, чтобы алгоритм научился вести себя «плохо». Как и настоящий яд, отравленные данные иногда можно заметить, только когда они причинили ущерб.

Само явление не ново. В 2017 году исследователи показали, как из-за такой кибератаки система компьютерного зрения беспилотных автомобилей может, например, ошибочно принять знак «стоп» за знак ограничения скорости. Однако было неясно, можно ли «обмануть» ИИ в реальных условиях так же, как и во время эксперимента. По словам специалиста по информатике Северо-восточного университета в Бостоне Алины Опреа, для тренировки систем машинного обучения с высокими требованиями по безопасности обычно используют закрытые наборы данных, которые отбирают и контролируют люди. Это означает, что отравленные данные не останутся незамеченными.