Мастрид WIRED — главное о современных технологиях и их влиянии на культуру, экономику и политику. Выходит в первый вторник месяца.
Краткая история нейронных сетей
Джеффри Хинтон — один из создателей так называемого глубинного обучения (deep learning), ученый-информатик, который стоит у истоков появления нейронных сетей. Он рассказывает журналисту Николасу Томпсону о своем восхищении человеческим мозгом, принципе работы нейронных сетей и идее моделировать компьютеры по принципам нейронной структуры мозга.
Если вы хотите изобрести «умное» устройство, есть два варианта: 1) вы программируете его или 2) оно обучается по тому же принципу, что и мозг человека, с помощью нейронных связей. Люди не программируются, поэтому для Хинтона было очевидно, что нужно попробовать второй вариант. Того же мнения придерживался и британский ученый Алан Тьюринг. Но в 1990-е годы в идею нейронных сетей в научном сообществе мало кто верил. Тогда метод опорных векторов (SVM, support vector machine) давал более высокие результаты, чем нейронные сети, несмотря на появившийся еще в 1980-е метод обратного распространения ошибки (backpropagation), на который ученые возлагали большие надежды. Хинтон и его команда думали, что проблема в некорректных алгоритмах или в самом принципе управляемого обучения. Как оказалось, это был вопрос объема данных и масштаба.
