Как нейросети учатся «вредному» поведению
Алгоритмам, которые лежат в основе современных систем искусственного интеллекта (ИИ), нужно много данных для обучения. Основную часть информации они получают из открытых источников, и из-за этого, к сожалению, ИИ уязвим для кибератак, известных как отравление данных. Это означает, что в обучающий датасет добавляют постороннюю информацию, чтобы алгоритм научился вести себя «плохо». Как и настоящий яд, отравленные данные иногда можно заметить, только когда они причинили ущерб.
Само явление не ново. В 2017 году исследователи показали, как из-за такой кибератаки система компьютерного зрения беспилотных автомобилей может, например, ошибочно принять знак «стоп» за знак ограничения скорости. Однако было неясно, можно ли «обмануть» ИИ в реальных условиях так же, как и во время эксперимента. По словам специалиста по информатике Северо-восточного университета в Бостоне Алины Опреа, для тренировки систем машинного обучения с высокими требованиями по безопасности обычно используют закрытые наборы данных, которые отбирают и контролируют люди. Это означает, что отравленные данные не останутся незамеченными.