Инъекции с отравой: три неочевидных риска для компании при работе с ИИ
Бизнес активно использует нейросети. Но не все знают, что злоумышленники могут незаметно «захватить» ИИ-модель, исправить подсказки и даже «отравить данные», с которыми вы работаете. Алексей Борщов (Just AI) разобрал на примерах, как этому противостоять
Риск 1: утечки данных
Сегодня большинство пользователей нейросетей уже овладели искусством промптинга или, проще говоря, они знают, как получить от LLM качественный ответ.
Основной секрет в том, чтобы суметь предоставить ИИ-модели детальную подсказку и контекст. Но риск в том, что в них может содержаться конфиденциальная информация, которая из компании перетечет в облако вендора модели.
И это не все. Впоследствии модель может дообучиться на этих данных и в другой раз включить их в свой ответ другому пользователю. Например, однажды пользователь Copilot от Microsoft получил в ответ от нейросети кусок кода, содержащий ссылку на тикет в Jira известной российской компании.
Решить проблему можно двумя путями: