Как системы мониторинга СМИ учатся анализировать текст - Scan
Главная Блог Интервью «Чёрный ящик» СКАНа: кто и как учит СКАН понимать новости

«Чёрный ящик» СКАНа: кто и как учит СКАН понимать новости

Возможности систем мониторинга СМИ растут из одного корня — способности извлекать и корректно интерпретировать данные из массы неструктурированной информации. К примеру, система мониторинга должна «видеть» из контекста новости, идет ли речь о «карате» как единице массы, о группе компаний «Карат» из Екатеринбурга или о московском молочном заводе «Карат». О том, как организована обработка информации на естественных языках, рассказал «Нетологии» Иван Харченко, руководитель математико-лингвистического отдела системы управления репутацией и медиаанализа «СКАН-Интерфакс».

Задачи по анализу и извлечению информации из текстов, в том числе с помощью методов машинного обучения решают NLP-инженеры. NLP (от английского natural language processing) — это технологии обработки естественного языка.

В чем сложность автоматической обработки текста

Современные компьютеры способны понимать только числа и логические операции. Чтобы обрабатывать связный текст, нужно описать лингвистические закономерности и правила языке, понятном машине.  

Кроме того, язык изменчив — возникают новые понятия, меняется информационный фон и контексты употребления слов. Поэтому важно постоянно адаптировать алгоритмы и статистические модели обработки текста к изменяющимся условиям. Мы стремимся максимально учитывать обратную связь от пользователей СКАНа — так нам удаётся оперативно реагировать на объективные изменения языка.  

Где в СКАНе применяются NLP-технологии

Без преувеличения — везде.
Чтобы обработать текст новости, алгоритмы СКАНа распознают: 

О том, как NLP-инженеры обеспечивают полноту и качество анализа публичной информации — в статье для блога «Нетологии» на Хабре.

31.03.2022 12:01

Попробуйте технологии SCAN в деле

Вам будет интересно

Мануал

Как оценить эффективность рекламы в Telegram

Если компания коммуницирует с аудиторией в Telegram, то без аналитики охватов рекламных постов в каналах мессенджера не обойтись. О том, как использовать для оценки инструменты самого Telegram и данные сервисов аналитики, рассказал на нашем недавнем вебинаре Юрий Кижикин, основатель TGStat. В статье собрали хайлайты выступления Юрия и дополнили обзором возможностей СКАНа для анализа рекламы в Telegram.

08.09.2022 15:04
Новости и обновления

Обновление мобильного приложения СКАНа: добавили онбординг, фильтр по Топ-источникам и сортировку по охвату

Мобильное приложение СКАН — это помощник для тех, кто занимается мониторингом инфополя в режиме реального времени и хочет держать руку на пульсе, даже когда нет возможности находиться за рабочим столом. В приложении можно в несколько кликов настроить ленту под свои запросы и получать мгновенные уведомления о самом важном на своём смартфоне или планшете. Рассказываем, что и зачем добавили в последнем обновлении мобильного приложения СКАН.

07.09.2022 16:28