Кто и зачем сливает воедино большие данные: 5 сфер применения data fusion

IT Статьи Фонд «Сколково»

Стандартные алгоритмы обработки big data постепенно уступают место data fusion — слиянию информации из разных источников и их анализу с помощью машинного обучения. Павел Новиков (Фонд «Сколково») рассказал, кто и как уже использует новый метод

Ежесекундно в мире генерируется колоссальный объем информации. В этом участвуем мы сами — когда переходим по ссылке на сайте, подключаемся к Wi-Fi в метро, расплачиваемся за покупку и включаем навигатор перед поездкой.

Более того, сегодня данные производятся и без участия человека. Миллиарды датчиков отслеживают показатели самых разных систем: от промышленных турбин до приборов ЖКХ и нашего пульса. Камеры на дорогах фиксируют нарушения ПДД, а счетчики на сайтах составляют графики их посещаемости.

Несмотря на уже существующие объемы данных, уровень их обработки в мире пока не слишком высок. Большинство компаний используют информацию только с собственных ресурсов. Это ограничивает их видение целостной картины и часто приводит к выбору неверной стратегии. На примере маркетинга: до появления сквозной аналитики компания могла распоряжаться лишь разрозненными данными (о кликах по рекламным объявлениям, звонках в call-центр, совершенных заказах), но связать их воедино было нельзя. С появлением сквозной аналитики появилась возможность увидеть, какую прибыль приносит каждый из рекламных каналов.

Метод слияния данных из разных источников и их последующей обработки получил название data fusion.