Обнаружение данных и подтверждающий анализ

В прошлом бо?льшая часть аналитики представляла собой то, что можно назвать «подтверждающим анализом». Он начинается с формулировки конкретной гипотезы или постановки конкретной цели. Далее выполняется анализ, чтобы подтвердить (или нет) гипотезу либо проложить путь к цели. Другими словами, анализ начинается с очень четкого определения направления и поля деятельности. Например, меня могли бы попросить ответить на вопрос, в какой степени информация о продуктах, просмотренных клиентом в сетевом журнале, повышает продвижение моделей, используемых для прогнозирования вероятности покупки. Когда поле деятельности было четко определено, я мог с самого начала уверенно оценить свои трудозатраты и назвать критерии, по которым будет оцениваться успешность моих действий. Это облегчало мою работу в рамках типичных корпоративных процессов обоснования проектов.

Мир больших данных все чаще ориентируется на то, что можно назвать исследовательской аналитикой. Такой анализ начинается не столько с постановки конкретной гипотезы или цели, сколько с попытки найти в данных ценность, которая может оказаться полезной при постановке более широких целей или набора гипотез. Наличие у специалистов-аналитиков лишь немногих заранее сложившихся идей вовсе не означает, что они изначально не имеют представления о том, что хотят узнать в ходе анализа. Это просто означает, что задачи изначально являются менее формализованными, не очень четко определенными и жестко поставленными.

Например, меня могут попросить проверить, можно ли использовать новый источник данных с целью повысить эффективность моделей, применяемых для прогнозирования вероятности покупки. Я волен сам выбирать лучшие метрики, лучшие способы тестирования этих метрик в рамках аналитического процесса и лучшие методики, которые следует использовать. Могу начать с целого ряда идей, но заранее не знаю наверняка, какие из них сработают, и не могу оценить свои трудозатраты и определить критерии успеха, пока не выполню анализ. В силу этих обстоятельств сотрудники поначалу могут испытывать дискомфорт. Между тем исследовательский анализ существует уже достаточно долгое время и всегда играл важную роль для крупных организаций. Сегодня этот тип анализа начинает приобретать все большую актуальность, поэтому на него начинает выделяться больше ресурсов, чем в прошлом. Исследовательский анализ также можно назвать пробным анализом.

Исследование данных не является случайным или бесцельным процессом

Иногда к исследовательскому анализу относятся скептически, считая, что специалисты-аналитики просто играют с данными в попытке найти нечто стоящее. Это не так. Просто исследование данных начинается с постановки более широкой цели и специалистам предоставляется больше времени для достижения этой цели.

По мере того как организации увеличивают использование аналитики и, следовательно, пул талантливых аналитиков и аналитические обрабатывающие мощности, им становится гораздо проще выделять пусть даже небольшую долю ресурсов на исследовательскую аналитику. Если команда аналитиков небольшая, возможно, будет трудно высвободить сотрудника, который будет заниматься конкретно такими исследованиями, поскольку команда едва справляется с потребностями организации в подтверждающей аналитике. Но если команда большая, то будет гораздо легче высвободить время и для исследовательских действий.

Исследовательский анализ начинается с постановки более широкой цели, но при этом на момент начала проекта остается неизвестным наилучший способ ее достижения. Здесь нет четко очерченного плана анализа в отличие от проекта с использованием подтверждающей аналитики. Например, подробный план по созданию нового механизма рекомендаций станет непременной частью подтверждающего анализа. А исследовательский анализ может начаться, когда задается только основное направление, например найти возможные способы улучшения действующего механизма рекомендаций. Специалисты будут экспериментировать, чтобы найти оптимальный вариант улучшения механизма. Команда станет исследовать различные источники данных и методологии, пока не найдет наилучший вариант. В этот момент может быть принят более жесткий план, с тем чтобы запустить в работу подтверждающий анализ.

Чтобы наглядно проиллюстрировать различия между подтверждающим и исследовательским анализом, можно провести параллель с ситуацией в энергетической отрасли. Нефтегазовые компании тратят массу денег на определение мест для бурения скважин. Эта деятельность сходна с исследовательским анализом, поскольку компании изучают широкий спектр нетестированных вариантов, чтобы выбрать из них наиболее подходящие для бурения. После того как находится площадка, обладающая потенциалом, приступают к бурению. Начинается этап с подтверждающего анализа. Компания знает точно, где бурить и что она ищет. В процессе бурения она либо находит нефть, либо нет. Другими словами, гипотеза о том, что в данном месте залегает нефть, либо подтверждается, либо нет.