Когда цифры врут: 5 способов проверить адекватность аналитики, если показатели в отчете по мониторингу СМИ вызывают сомнения

Автоматические отчеты освобождают пресс-службу от нудной обработки статистики упоминаний в СМИ вручную. Система сама вычисляет показатели, ничего не пропускает и не ошибается в расчётах. Тем не менее к цифрам в отчётах можно и нужно относиться критически — с течением времени обстоятельства меняются и настройки отчетов нужно корректировать и уточнять. Если цифры или график «на глазок» выглядят подозрительно, стоит убедиться, что в отчёте все корректно. Мы собрали шпаргалку, которая поможет быстро верифицировать показатели, исключить распространённые ошибки и найти причины «странностей».

Итак, в вашем отчёте есть показатель, значение которого кажется вам странным. Обычно это означает, что показатель отличается от того, что вы ожидали, а вы не знаете, почему. Что делать, чтобы убедиться в том, что он рассчитан верно, и понять, почему он такой?

1. Разложить на составляющие

Показатели в отчетах по мониторингу СМИ могут быть суммарными за период (например, количество упоминаний компании в СМИ или охваты статей) или интегральными (например, индекс заметности или индекс прямой речи). Объединяет их одно — они рассчитываются на основе множества статистических значений.

Что делать:
Когда такой показатель вызывает сомнения, самое простое, что можно сделать, чтобы эти сомнения развеять или подтвердить — это заглянуть в «сырые» данные или первичную статистику, на основе которой сервисы мониторинга СМИ рассчитали  подозрительное значение.

Для пользователей СКАНа:
Рекомендуем пользоваться интерактивными возможностями отчетов: открывайте график или таблицу со «странным» показателем и кликайте по нему. СКАН отобразит список публикаций, по которым он рассчитан, отранжировав их по убыванию.

Покажем на примере. На графике по охватам статей, где упомянут АдыгГУ, показатель за май значительно превышает цифры по предыдущим месяцам.

По клику на столбце графика за май раскрывается список упоминаний. В самом верху находится статья, охват которой составляет почти половину общего охвата за месяц, и ниже следуют ещё 3 публикации с охватом более 1 миллиона каждая — именно благодаря им сложился «нетипично» высокий показатель охватов за май.

Так можно проверить не только суммарные, но и интегральные показатели.

2. Рассмотреть в динамике

Не всегда причины отклонений от предполагаемой «нормы» удаётся обнаружить, взглянув на исходные данные за весь период. Если ясность не наступила, стоит копнуть глубже.

Что делать:
Немного выйти за рамки отчёта и построить график подозрительного показателя в динамике.

Как это выглядит на практике. Смотрим на динамику индекса заметности АдыгГУ за год. Сентябрьское значение индекса сильно отличается от значения в летние месяцы.

Рассматриваем динамику индекса за сентябрь.

Если на графике есть всплески, то их причины объяснят итоговое значение показателя за период. В нашем случае очевидный всплеск произошел 27 и 28 сентября. Чтобы докопаться до причин, кликаем на пиковое значение и анализируем, на основе каких публикаций оно сложилось.

В раскрывшемся списке упоминаний в самом верху находятся публикации с высоким индексом заметности — это упоминание на телеканале «ГТРК Адыгея» и две публикации в «Аргументах и фактах». Вес таких источников велик, поэтому индекс заметности у этих упоминаний высокий, и они внесли заметный вклад в повышение индекса заметности за сентябрь. 

Если всплесков нет, самое время проверить, корректно ли построен поисковый запрос, по которому отобраны публикации. 

Рассмотрим примеры распространённых ошибок, которые формируют некорректную выдачу, а значит, искажают значения аналитических показателей.

Некорректно построена фраза

Пример: в запрос добавили только фразу «адыгейский университет», следовательно,  упоминания «адыгейского государственного университета» не попадут в выдачу.

Необходимо либо выставить расстояние между словами указанной фразы равным хотя бы 1, либо добавить через ИЛИ дополнительную фразу «адыгейский государственный университет».

Неверно выбраны логические операторы

«И» между фразами означает, что все 3 фразы должны упоминаться в статье одновременно. Такое возможно, но вероятность низкая. И собственно говоря, нет задачи отыскать публикации, где употреблены все варианты названия университета.

Корректный вариант, при котором будут найдены статьи с любым из вариантов названия:

Параметры отбора публикаций не совпадают с другими периодами

Например, если за январь и февраль в поиске отобраны публикации с компанией в главной роли, а для марта этот фильтр не установлен, то в марте в выборку попадет значительно больше публикаций и на графике будет заметный всплеск.

3. Сравнить один и тот же показатель на разных графиках

Бывает, что графики или показатели за период по отдельности выглядят вполне убедительно, но не бьются между собой. Так, например, один из клиентов СКАНа позвонил в службу поддержки, заметив, что в отчёте общее количество публикаций  было меньше, чем в графике по категориям источников.

Что делать:
Убедиться, что на графиках действительно отражается один и тот же показатель. Проверить настройки обоих графиков, которые «не сходятся»: анализируется массив данных с дублями или без дублей, совпадают ли тип и круг источников, одинакова ли настройка роли компании и т.п.

У нашего клиента дело оказалось в настройке показателя для графика общего количества публикаций: вместо всех публикаций учитывался массив без дублей. Когда настройки сделали одинаковыми, показатели на обоих графиках совпали.

4. Узнать, почему взлетели показатели конкурентов

Это частный случай «подозрительной цифры», но он встречается довольно часто и вызывает сильное беспокойство. Не всегда удаётся быстро понять, отчего конкурентов вдруг стали активно упоминать в СМИ.

Что делать:
Проверить, не связано ли большое количество упоминаний в СМИ конкурента с тем, что о нем пишут пресс-службы группы, в которую она входит.  Если это так, то в поисковый запрос нужно добавить фразы-исключения, чтобы отсеять такие публикации из анализа.

Поясним на примере. Допустим, наш конкурент — «Росгосстрах». В списке упоминаний этой компании за период фигурируют в том числе такие сообщения:

Публикации инициированы Банком «Открытие», входящим в холдинг «Открытие», как и «Росгосстрах». Такие публикации не отражают объективной статистики упоминаний в СМИ, поэтому их нужно исключить из выборки:

5. Обратиться в службу поддержки

Кто-то начинает с этого шага — и это вполне жизнеспособный вариант разрешить сомнения 🙂

Однако подозреваем, что если вы открыли эту статью и дочитали досюда, то вы из тех, кто предпочитает во всём убеждаться сам. Предыдущие 4 шага потребуют не больше 15-20 минут — иногда это быстрее, чем собраться с мыслями, сформулировать вопрос и связаться с менеджером поддержки. 

Итак, с помощью этой инструкции вы можете самостоятельно быстро выявить причины, почему показатели существенно изменились за период, или найти ошибку в построении отчета и истинные значения вместо вызывающих сомнения цифр. Но если поиск истины отнимает у вас больше 20 минут — не оставайтесь с проблемой один на один, обращайтесь за консультацией в службу поддержки.