Когда цифры врут: 5 способов проверить адекватность аналитики, если показатели в отчете по мониторингу СМИ вызывают сомнения

Автоматические отчеты освобождают пресс-службу от нудной обработки статистики упоминаний в СМИ вручную. Система сама вычисляет показатели, ничего не пропускает и не ошибается в расчётах. Тем не менее к цифрам в отчётах можно и нужно относиться критически — с течением времени обстоятельства меняются и настройки отчетов нужно корректировать и уточнять. Если цифры или график «на глазок» выглядят подозрительно, стоит убедиться, что в отчёте все корректно. Мы собрали шпаргалку, которая поможет быстро верифицировать показатели, исключить распространённые ошибки и найти причины «странностей».

Итак, в вашем отчёте есть показатель, значение которого кажется вам странным. Обычно это означает, что показатель отличается от того, что вы ожидали, а вы не знаете, почему. Что делать, чтобы убедиться в том, что он рассчитан верно, и понять, почему он такой?

1. Разложить на составляющие

Показатели в отчетах по мониторингу СМИ могут быть суммарными за период (например, количество упоминаний компании в СМИ или охваты статей) или интегральными (например, индекс заметности или индекс прямой речи). Объединяет их одно — они рассчитываются на основе множества статистических значений.

Что делать:
Когда такой показатель вызывает сомнения, самое простое, что можно сделать, чтобы эти сомнения развеять или подтвердить — это заглянуть в «сырые» данные или первичную статистику, на основе которой сервисы мониторинга СМИ рассчитали  подозрительное значение.

Для пользователей СКАНа:
Рекомендуем пользоваться интерактивными возможностями отчетов: открывайте график или таблицу со «странным» показателем и кликайте по нему. СКАН отобразит список публикаций, по которым он рассчитан, отранжировав их по убыванию.

Покажем на примере. На графике по охватам статей, где упомянут АдыгГУ, показатель за май значительно превышает цифры по предыдущим месяцам.

 График охватов статей АдыгГУ
График охвата с января по сентябрь

По клику на столбце графика за май раскрывается список упоминаний. В самом верху находится статья, охват которой составляет почти половину общего охвата за месяц, и ниже следуют ещё 3 публикации с охватом более 1 миллиона каждая — именно благодаря им сложился «нетипично» высокий показатель охватов за май.

Список публикаций за май
Список статей, открывшийся в модальном окне по клику на графике за май

Так можно проверить не только суммарные, но и интегральные показатели.

2. Рассмотреть в динамике

Не всегда причины отклонений от предполагаемой «нормы» удаётся обнаружить, взглянув на исходные данные за весь период. Если ясность не наступила, стоит копнуть глубже.

Что делать:
Немного выйти за рамки отчёта и построить график подозрительного показателя в динамике.

Как это выглядит на практике. Смотрим на динамику индекса заметности АдыгГУ за год. Сентябрьское значение индекса сильно отличается от значения в летние месяцы.

Значение индекса заметности за год
Значение индекса заметности за текущий год

Рассматриваем динамику индекса за сентябрь.

Значение индекса заметности за месяц
Значение индекса заметности в сентябре по дням

Если на графике есть всплески, то их причины объяснят итоговое значение показателя за период. В нашем случае очевидный всплеск произошел 27 и 28 сентября. Чтобы докопаться до причин, кликаем на пиковое значение и анализируем, на основе каких публикаций оно сложилось.

Список публикаций за день
Список упоминаний Адыгейского госуниверситета за 27 сентября

В раскрывшемся списке упоминаний в самом верху находятся публикации с высоким индексом заметности — это упоминание на телеканале «ГТРК Адыгея» и две публикации в «Аргументах и фактах». Вес таких источников велик, поэтому индекс заметности у этих упоминаний высокий, и они внесли заметный вклад в повышение индекса заметности за сентябрь. 

Если всплесков нет, самое время проверить, корректно ли построен поисковый запрос, по которому отобраны публикации. 

Рассмотрим примеры распространённых ошибок, которые формируют некорректную выдачу, а значит, искажают значения аналитических показателей.

Некорректно построена фраза

Пример: в запрос добавили только фразу «адыгейский университет», следовательно,  упоминания «адыгейского государственного университета» не попадут в выдачу.

Пример настройки фильтра в СКАНе
Пример: в запрос добавили только фразу «адыгейский университет»

Необходимо либо выставить расстояние между словами указанной фразы равным хотя бы 1, либо добавить через ИЛИ дополнительную фразу «адыгейский государственный университет».

Неверно выбраны логические операторы

Логические операторы в СКАНе
Использование логического оператора И в запросе не соответствует задаче

«И» между фразами означает, что все 3 фразы должны упоминаться в статье одновременно. Такое возможно, но вероятность низкая. И собственно говоря, нет задачи отыскать публикации, где употреблены все варианты названия университета.

Корректный вариант, при котором будут найдены статьи с любым из вариантов названия:

Корректное использование операторов в СКАНе
Корректировка запроса

Параметры отбора публикаций не совпадают с другими периодами

Например, если за январь и февраль в поиске отобраны публикации с компанией в главной роли, а для марта этот фильтр не установлен, то в марте в выборку попадет значительно больше публикаций и на графике будет заметный всплеск.

3. Сравнить один и тот же показатель на разных графиках

Бывает, что графики или показатели за период по отдельности выглядят вполне убедительно, но не бьются между собой. Так, например, один из клиентов СКАНа позвонил в службу поддержки, заметив, что в отчёте общее количество публикаций  было меньше, чем в графике по категориям источников.

График общего количества публикаций
Общее количество упоминаний за сентябрь — 257
График категорий источников
Только в категории «Агрегаторы СМИ» — 378 упоминаний за сентябрь, что превышает общее количество на предыдущем графике.

Что делать:
Убедиться, что на графиках действительно отражается один и тот же показатель. Проверить настройки обоих графиков, которые «не сходятся»: анализируется массив данных с дублями или без дублей, совпадают ли тип и круг источников, одинакова ли настройка роли компании и т.п.

У нашего клиента дело оказалось в настройке показателя для графика общего количества публикаций: вместо всех публикаций учитывался массив без дублей. Когда настройки сделали одинаковыми, показатели на обоих графиках совпали.

Общее количество упоминаний в СМИ
После изменения настроек общее количество упоминаний за месяц изменилось на 712 — и совпало с общим количеством на графике упоминаний по категориям источников.

4. Узнать, почему взлетели показатели конкурентов

Это частный случай «подозрительной цифры», но он встречается довольно часто и вызывает сильное беспокойство. Не всегда удаётся быстро понять, отчего конкурентов вдруг стали активно упоминать в СМИ.

Что делать:
Проверить, не связано ли большое количество упоминаний в СМИ конкурента с тем, что о нем пишут пресс-службы группы, в которую она входит.  Если это так, то в поисковый запрос нужно добавить фразы-исключения, чтобы отсеять такие публикации из анализа.

Поясним на примере. Допустим, наш конкурент — «Росгосстрах». В списке упоминаний этой компании за период фигурируют в том числе такие сообщения:

Список публикаций о Росгосстрахе
Фрагмент выдачи по запросу «Страховая компания «Росгосстрах»

Публикации инициированы Банком «Открытие», входящим в холдинг «Открытие», как и «Росгосстрах». Такие публикации не отражают объективной статистики упоминаний в СМИ, поэтому их нужно исключить из выборки:

Меню расширенного поиска в СКАНе
Добавление исключений в запрос

5. Обратиться в службу поддержки

Кто-то начинает с этого шага — и это вполне жизнеспособный вариант разрешить сомнения 🙂

Однако подозреваем, что если вы открыли эту статью и дочитали досюда, то вы из тех, кто предпочитает во всём убеждаться сам. Предыдущие 4 шага потребуют не больше 15-20 минут — иногда это быстрее, чем собраться с мыслями, сформулировать вопрос и связаться с менеджером поддержки. 

Итак, с помощью этой инструкции вы можете самостоятельно быстро выявить причины, почему показатели существенно изменились за период, или найти ошибку в построении отчета и истинные значения вместо вызывающих сомнения цифр. Но если поиск истины отнимает у вас больше 20 минут — не оставайтесь с проблемой один на один, обращайтесь за консультацией в службу поддержки.

12.10.2021 12:07

Попробуйте технологии SCAN в деле

Вам будет интересно

Выбор редактора

Как разработать PR-стратегию, которая будет работать: анализ медиаполя компании

Когда приближается конец года, первоочередной задачей пиарщиков становится подготовка коммуникационных стратегий на следующий год. В PR-стратегию обязательно включают аналитическую часть: обычно изучают конкурентов, чтобы знать, как они общаются с аудиторией — и сделать лучше.
Светлана Груздева, руководитель практики стратегических коммуникаций в «Агентстве специальных поручений», рассказала, как исследовать медиаполе и конкурентов, чтобы выжать из аналитических данных максимум пользы.

23.11.2021 14:38
ИзыСКАНия

Как крупным холдингам контролировать негатив в СМИ на местах с помощью СКАНа

Для компании с разветвлённой структурой крайне важно организовать реалтайм-мониторинг СМИ и социальных сетей во всех регионах её пребывания. Широкая география присутствия означает множество потребителей с разными интересами, о которых нужно знать. Сейчас крупные структуры стремятся в переводу всех подразделений под общий бренд — это делает репутацию такого бренда очень уязвимой. Любые негативные кейсы становятся публичными и отражаются на отношении инвесторов и акционеров. В этой статье мы расскажем о возможностях автоматизированного мониторинга для управления репутационными рисками на местах.

08.11.2021 12:52
Мануал

Когда цифры врут: 5 способов проверить адекватность аналитики, если показатели в отчете по мониторингу СМИ вызывают сомнения

Автоматические отчеты освобождают пресс-службу от нудной обработки статистики упоминаний в СМИ вручную. Система сама вычисляет показатели, ничего не пропускает и не ошибается в расчётах. Тем не менее к цифрам в отчётах можно и нужно относиться критически — с течением времени обстоятельства меняются и настройки отчетов нужно корректировать и уточнять. Если цифры или график «на глазок» выглядят подозрительно, стоит убедиться, что в отчёте все корректно. Мы собрали шпаргалку, которая поможет быстро верифицировать показатели, исключить распространённые ошибки и найти причины «странностей».

12.10.2021 12:07