ИИ проверяет ИИ: как работают нейросетевые детекторы

ИИ-детектор анализирует текст и оценивает вероятность его генерации. Он ищет преимущественно стилистические закономерности: типичную последовательность слов или повторяемые конструкции. На основе этих данных сервисы вроде GPTZero, Originality.ai или Copyleaks показывают вероятность генерации материала в процентах.

Для PR-специалистов детекторы – еще один уровень контроля качества контента, особенно при большом потоке материалов. Они помогают найти слишком типичные тексты, которым нужно уделить дополнительное внимания. Шаблонность и признаки нейрослога могут говорить о несоблюдении голоса бренда, низком качестве экспертизы, отсутствии авторской позиции или фактических ошибках, которые часто встречаются в ИИ-текстах.

Хотя уже существуют сотни ИИ-детекторов, единого стандарта качества нет: результаты проверки одного и того же текста в разных сервисах отличаются. Чтобы выбрать решение, которое подойдет под ваши задачи, стоит разобраться, как работают ИИ-детекторы.

Как работает ИИ-детектор

Хотя алгоритмы у разных ИИ-детекторов отличаются, принцип работы у них схож. Сервис получает текст и разбивает его на небольшие единицы – токены: слова, их части, знаки препинания. Затем алгоритм анализирует текст по признакам, которые помогают отличать сгенерированный контент от написанного человеком:

• Предсказуемость, или перплексия, показывает, насколько ожидаемым для языковой модели оказывается очередное слово с учетом предыдущего контекста. Если вариантов много и фраза менее очевидна, значение выше. Если продолжение легко предсказать, перплексия ниже. Обычно это характерно для ИИ-контента, ведь нейросеть выбирает наиболее вероятные обороты.
• Вариативность: например, насколько изменяются длина и структура лингвистических конструкций. В человеческом тексте часто за коротким предложением следует длинное, а сложная фраза сменяется простой. ИИ-статьи обычно более «гладкие», а их тембр – равномерный.
• Стилистические и лингвистические признаки: выбор слов, длина предложений, распределение частей речи, синтаксис, пунктуацию и другие особенности. Например, Copyleaks учитывает соотношение частот, длину слов и предложений, грамматические и синтаксические структуры, распределение слогов и использование дефисов.
• Водяные знаки – специальный сигнал, который закладывается во время генерации: модель получает дополнительные ограничения при выборе слов, из-за чего в тексте появляется определенный статистический паттерн. Именно его и ищет детектор. Технологию используют не все нейросети, например Google Gemini реализует ее через специальный инструмент SynthID Text.

После анализа признаков детектор переходит к финальным процессам:

• Классифицирует текст: определяет, насколько он похож на написанный человеком или нейросетью. Обычно при оценке сервисы опираются на несколько методов. Например, GPTZero считывает статистические показатели, включая перплексию и вариативность, с собственной моделью классификации. Copyleaks использует комбинацию лингвистического анализа и машинного обучения.
• Подсчитывает вероятность ИИ-контента в процентах. Часто сервисы «подсвечивают» сгенерированные части текста.

Почему один и тот же текст получает разные оценки у ИИ-детекторов

Текст можно проверить в двух ИИ-детекторах и получить противоречивые результаты. Один сервис покажет, что материал почти наверняка написан нейросетью, другой присудит авторство человеку. Причина в том, что детекторы не работают по единому стандарту:

• Они используют уникальные модели, которые обучают на различных наборах человеческих и сгенерированных текстов. Поэтому у алгоритмов неодинаковые характеристики ИИ-контента.
• Детекторы опираются на разные признаки. Один учитывает перплексию и структуру предложений, другой – выбор слов, синтаксис или повторяемость конструкций. К тому же варьируются и пороги оценки: процент допустимого значения, который позволяет отнести материал к сгенерированному.

Поскольку оценка детектора достаточно субъективна, PR-специалистам стоит перепроверять результат в нескольких сервисах. Это позволит сделать наиболее объективный вывод.

Почему детектор не всегда правильно распознает ИИ-текст

Иногда признаки текста нейросети можно заметить и в материалах, написанных человеком. Например, публикации в деловом и официальном стиле довольно стандартизированы. В пресс-релизах часто встречаются типичные фразы, нейтральная лексика, повторяющиеся конструкции и стандартные предложения. Так, ZeroGPT уверен, что новость о соглашении между «Интерфаксом» и «Норникелем» на 95% написана с помощью ИИ.

Результат проверки текста пресс-релиза о соглашении между «Интерфаксом» и «Норникелем» в сервисе ZeroGPT

Помимо этого, ИИ-детектор часто ошибается при анализе материалов с жесткой типичной структурой, которая характерна для инструкций, гайдов или обзоров. Так, ZeroGPT считает, что Условия использования информации на сайте www.interfax.ru на 92% написаны нейросетью.

Результат проверки текста на странице «Условия использования информации» на сайте www.interfax.ru в сервисе ZeroGPT

Аналогичная проблема возникает с текстами, которые нейросеть не пишет, а только редактирует. Например, PR-специалист самостоятельно собирает фактуру для колонки, выстраивает причинно-следственные связи, а нейросеть лишь слегка приглаживает финальную версию, заменяя корректора. В таком случае при проверке текста на ИИ можно получить высокий уровень нейроконтента.

Как перепроверить спорный результат

Поскольку нейросеть часто путает человеческий и нейрослог, стоит провести дополнительную проверку:

• Сравните текст с другими материалами автора и проанализируйте, совпадает ли лексика, структура, аргументация и манера изложения. Если новая статья сильно отличается, вероятно, копирайтер использовал ИИ при ее создании.
• Проверьте факты и источники. Нейросеть может выдать убедительный текст с ошибочными цифрами, несуществующими исследованиями или неверно приписанными экспертам цитатами.
• Просмотрите историю версий документа, а также черновики, комментарии редактора, чтобы понять, как материал создавался.
• Обратите внимание на ссылки и UTM-метки. Если нейросеть использовала веб-поиск или сгенерировала ссылку на источник, в URL иногда могут сохраняться служебные параметры, по которым можно понять, откуда пользователь перешел на страницу. Например, встречаются utm_source, utm_medium и другие метки.

Часто задаваемые вопросы про ИИ-детекторы (FAQ)

Может ли детектор определить, какая именно нейросеть написала текст?

Как правило, нет. Детектор может оценить вероятность того, что текст создан ИИ, но не установить, какая именно модель его сгенерировала.

Чем проверка текста на ИИ отличается от проверки на заимствования?

Проверка на заимствования ищет совпадения с уже опубликованными текстами и источниками. ИИ-детектор анализирует характеристики и оценивает вероятность генерации контента.

Безопасно ли загружать неопубликованный материал в общедоступную систему проверки?

Не всегда. Перед загрузкой конфиденциального материала нужно проверить политику сервиса: сохраняет ли он тексты, использует ли их для обучения моделей, передает ли третьим лицам и можно ли удалить загруженные данные. Если условия неясны, неопубликованный материал лучше не загружать.

По каким признакам система определяет нейросетевой текст?

Детектор анализирует совокупность признаков: предсказуемость слов, вариативность текста, структуру предложений, выбор лексики, синтаксис, повторяемость конструкций и другие статистические характеристики. Затем сравнивает их с закономерностями, характерными для человеческих и сгенерированных материалов.

Можно ли доверять ИИ-детекторам: правила для пресс-службы

ИИ-детекторы не способны точно определить авторство текста. Они лишь анализируют его, пытаясь найти признаки сгенерированного контента. Для PR-службы это дополнительный этап проверки качества материала.

Чтобы не делать ложных выводов, пресс-службе стоит придерживаться трех правил:

1. Не судите по одному результату. Если текст вызывает сомнения, проверьте его в нескольких инструментах.
2. Проверяйте не только происхождение, но и качество контента. Посмотрите факты, ссылки, цифры, цитаты и соответствие текста голосу эксперта. Интересная статья, созданная с помощью ИИ, может дать больший медиаэффект, чем посредственная колонка, которую писал копирайтер.
3. Не загружайте конфиденциальные материалы в общедоступные сервисы. Перед использованием детектора убедитесь, что он не сохраняет текст и не применяет его для обучения моделей, если это запрещено вашей политикой работы с данными.

Попробуйте технологии SCAN в деле

Получить тестовый доступ