РБК Pro —  
информационный сервис для предпринимателей и управленцев. Первый месяц — бесплатно
Александра Борисова

Видимость разума: что не так с современными системами машинного обучения

IT Инновации Статьи РБК
Искусственный интеллект способен обрабатывать большие объемы данных, непосильные человеческому мозгу, но осмысленный анализ у него получается не всегда. Не хватает самокритики

Искусственный интеллект не всесилен

На недавней конференции Американской ассоциации содействия развитию науки (AAAS) статистик из Университета Райса в Хьюстоне Джиневра Аллен выступила с критикой использования машинного обучения в научных исследованиях. AAAS — ведущая междисциплинарная научная площадка США, там можно вывести обсуждение проблемы на новый уровень. Хотя сам вопрос не нов: об ограниченности искусственного интеллекта говорят многие, от программистов до философов.

Ошибка системы

Бизнес-консультант, специалист по SQL Томас Нильд утверждает, что машинное обучение практически достигло пределов своих возможностей — дальше оно продолжит «симулировать» действия человека, создавая видимость интеллекта (он даже предрекает новую «зиму ИИ»). Старший редактор авторитетного издания MIT Technology Review Уилл Найт говорит нечто похожее: мы не знаем, как самые продвинутые алгоритмы машинного обучения делают то, что они делают, и это может стать проблемой. А в Harward Business Review напоминают о старом добром правиле garbage in, garbage out — никакой великий алгоритм не решит проблему, если предоставляемые ему данные — мусор.

И все это не ошибка, а особенность машинного обучения. Самообучающиеся системы, которые работают с большими массивами данных, ориентируются именно на данные, а не на стоящие за ними базовые принципы. Иногда это дает ошеломляющие результаты, потому что машина способна «окинуть взглядом» гораздо больше информации, чем человек, и найти в ней закономерности, выделить ключевое. А иногда — совершенно бессмысленные, когда случайные совпадения воспринимаются как важная закономерность. Данные могут быть неполными либо нести следы систематической ошибки измерения — вспомним про garbage in. В отличие от случайной ошибки, которая дает хаотичные «выбросы», систематическая ошибка дает сдвиг всех данных в одном направлении, что можно интерпретировать как открытие. Человек способен критически посмотреть на выявленную закономерность и предположить ее причины, а сегодняшним нейросетям такая самокритичность чужда.

Ложные объяснения

Сама по себе эта проблема не нова. Например, предложенная Менделеевым периодическая система химических элементов, которой как раз исполнилось 150 лет, вообще-то не лучшим образом описывала экспериментальные данные своего времени. Элементы предполагалось расположить в таблицу в порядке возрастания атомного веса, и оказавшиеся в одной колонке элементы должны были обладать одинаковыми свойствами. Однако во времена Менделеева многие элементы не были известны, поэтому для выполнения правила периодичности ему пришлось оставить часть клеток пустыми. А правило веса иногда нарушалось: некоторые элементы оказались легче предшествующих. Сейчас мы знаем, что виной всему — разное количество нейтронов в атомном ядре, оно меняет вес элемента, не меняя существенно его химических свойств. Однако во времена Менделеева устройства атома не знали. То есть фундаментальный закон, предложенный им и подтвердившийся с тех пор всеми возможными способами, вряд ли мог быть открыт с помощью машинного обучения: для него машине не хватило бы данных. Машина наверняка предложила бы альтернативное решение — закономерность, отлично описывающую все имеющиеся на тот момент данные, но лишенную внутренней логики и потому продержавшуюся бы ровно до открытия следующего элемента.

В XVI веке великий датский астроном Тихо Браге предложил гео-гелиоцентрическую систему (Солнце, Луна и звезды вращались вокруг Земли, а планеты и кометы — вокруг Солнца) в противовес уже существовавшей гелиоцентрической системе Коперника. Его система лучше объясняла имеющиеся данные. Однако, как выяснилось спустя столетия, измерения Браге расстояний до звезд содержали систематическую ошибку. Коперник же оказался дальновидней и смог предложить систему, прошедшую проверку временем. Браге здесь выступил в логике системы машинного обучения, Коперник — в логике самокритичного исследователя.

Еще важнее критический подход к данным для социальных наук. В социологии описан добрый десяток их возможных искажений, самый простой пример — сознательный отказ от участия в опросе или интервью. Бывают случайные по отношению к предмету исследования отказы — у человека просто нет времени. Однако возможно прямое нежелание говорить на заданную тему, и такие отказы могут отсекать определенный класс мнений. Например, в опросе об абортах могут отказаться участвовать женщины, которые их перенесли: для них это болезненно. Но исследование, где их мнение не представлено, не может претендовать на полноту. Исследователь обязан держать это в уме, а нейросеть игнорирует: ее компетенции ограничены набором данных, которые ей выдали.

Переобучение машины

Машинное обучение предполагает создание систем, способных самостоятельно учиться на предоставленном материале, а не следовать предписанной инструкции. И многие из них нацелены на выдачу прогнозов на основании прошлых данных. Джиневра Аллен критикует этот подход в медицине. «В персонализированной медицине важно найти группы пациентов со сходным геномом, чтобы затем разработать лекарственную терапию, подходящую именно им, — отмечает она. — Нейросети могут обработать большой объем геномных данных от клиницистов и вроде бы успешно выполняют задание. Но в некоторых случаях открытия не воспроизводятся: группы, выделенные в одном исследовании, не имеют ничего общего с группами из другого».

Проблема в том, что системе ставят задачу найти группу. И она находит. Даже если ответ на самом деле: «Вот эти образцы точно можно объединить в группу, а насчет вот этих уверенности нет», — потому что люди разные и каждая группа может быть представлена в данном конкретном наборе геномных данных разным количеством образцов. Аллен предлагает решение: вместе с группой биомедиков в Медицинском колледже Бейлора в Хьюстоне они пытаются сделать результаты, полученные с помощью машинного обучения, более воспроизводимыми. Методики нового поколения должны не только анализировать большие массивы данных и искать в них закономерности, но и оценивать, насколько эти результаты выглядят достоверными и каков шанс их воспроизвести. Это сделает процесс исследования дольше, но позволит избежать ошибок.

Все это напоминает о том, что любое исследование не висит в воздухе, а существует в определенной среде, человек с его социальной природой способен привлекать для интерпретации самые разные факторы этой среды, а машина нет.

«Мы теряем представление об ограничениях возможностей искусственного интеллекта и с готовностью отдаем себя в рабство глупым компьютерам. Когда на кону столь многое, нам нужно поднять планку для компьютеров выше: переосмыслить разум и принять его изначально социальный характер. Только когда техники машинного обучения смогут социализироваться так, как это делают люди, мы сможем поздравить себя с созданием искусственного интеллекта», — пишет философ науки Гарри Коллинз. Он считает кажущуюся всесильность машинного обучения сказкой, а выступление Аллен говорит о том, что и практики потихоньку освобождаются от очарования всесилием ИИ и видят в нем лишь один из инструментов работы, которую проводит человеческий разум, пока единственный известный нам во Вселенной.