В 1960 году американский математик и философ Норберт Винер опубликовал пророческое эссе. В нем основоположник кибернетики выражал беспокойство по поводу мира, в котором «машины обучаются» и «придумывают неожиданные стратегии со скоростью, которая озадачивает даже их разработчиков». По мнению Винера, программисты «просто моделируют» нежелательные действия, а машины могут начать их выполнять. Винер проиллюстрировал свою мысль стихотворением немецкого поэта Гете «Ученик чародея», где начинающий волшебник заколдовал веник, чтобы тот наносил воды для бани. Но чародей не смог остановить связку прутьев, когда та выполнила свою работу. В конце концов веник принес так много воды, что в доме случился потоп, ведь у веток нет разума, чтобы понять, когда остановиться.
Опасения Винера сейчас снова актуальны из-за поразительного прогресса в развитии искусственного интеллекта (ИИ). В августе 2022 года исследовательская группа AI Impacts опубликовала результаты опроса, в ходе которого более 700 исследователей спросили, что они думают о том, как будет развиваться ИИ, и какие риски может представлять эта технология. В среднем респонденты подсчитали, что вероятность «крайне плохих» последствий, вроде вымирания человечества, в результате развития ИИ, составляет 5%. Исследователь ИИ Стэнфордского университета Фей-Фей Ли говорит, что для искусственного интеллекта настал крайне важный момент. На вопрос американского телеканала, может ли искусственный интеллект стереть с лица Земли человечество, эксперт по ИИ Университета Торонто Джефф Хинтон ответил, что это «немыслимо». Однако развитие искусственного интеллекта вызывает у людей массу опасений.
