«Черный ящик» искусственного интеллекта: как научиться ему доверять
Не секрет, что системы искусственного интеллекта глубоко проникли в повседневную жизнь: мы просто используем их и часто даже не задумываемся, как был получен прогноз погоды или предсказание времени в пути по маршруту. Ситуация кардинально меняется, когда вы владеете бизнесом и хотите повысить его эффективность за счет применения таких систем. На практике чаще всего речь идет о рекомендательных системах (для b2c и широкого рынка) либо об экспертных системах и системах поддержки принятия решений (для b2b и нишевых кейсов).
Представим, что вы уже оценили преимущества подхода Data Driven и взяли его на вооружение, то есть описали бизнес-задачу через измеримые бизнес-метрики, провели анализ необходимых исходных данных, а также выстроили инфраструктуру для их сбора и хранения. Если метрики связаны с исходными данными напрямую либо с помощью формализуемых зависимостей, то команда аналитиков строит аналитическую модель, где исходные данные преобразуются, а все необходимые метрики вычисляются на их основе и визуализируются на дашбордах. При этом вы четко понимаете, как какие-либо изменения в исходных данных повлияют на конечный результат, или имеете полное описание, что происходит «под капотом» аналитической системы, и при необходимости можете восстановить все преобразования и вычисления. В конечном счете вопрос доверия к прогнозам, полученным таким способом, сводится к качеству исходных данных и отсутствию ошибок при преобразовании и вычислении метрик, то есть к вопросам Data Governance, к тестированию функционала аналитической системы и выстроенному процессу CI/CD при его обновлении.
Но бывает и так: на этапе построения аналитической модели выясняется, что четких зависимостей между метриками и исходными данными нет, и вам нужно привлекать дата-сайентистов для построения модели машинного обучения. Как понять, решается ли ваша бизнес-задача, если эта модель представляет собой «черный ящик», где на входе — ваши исходные данные, а на выходе — некие прогнозы, качество которых вы пока не можете оценить?
К сожалению, универсального ответа нет. Есть три области, которые раскрывают разные аспекты обозначенной проблемы, и в каждом конкретном случае ответ будет строиться на их сочетании.