Не суйся к боту: как выявить следы нейросетей в тексте и изображении
Информационные технологии в области искусственного интеллекта (ИИ) и нейросетей стремительно развиваются. Множество студентов прибегает к помощи чат-ботов в процессе создания научных работ. Ученые из РТУ МИРЭА провели эксперимент, в ходе которого было выявлено 96% работ, написанных с применением ИИ. Какие средства разоблачения нейросетей существуют на рынке, как часто их приходится совершенствовать и какой ИИ-контент распознать сложнее — разбирались «Известия».
Эксперимент удался
В РТУ МИРЭА ученые провели эксперимент с целью проследить, как технологии искусственного интеллекта влияют на качество оценки знаний студентов. Общедоступность нейросетей и ИИ привела к тому, что молодые люди используют чат-боты для написания научных работ. В эксперименте приняли участие более 200 студентов и 20 преподавателей. Половине обучающихся предстояло написать научно-практическую работу с использованием ИИ: ChatGPT, AI Search, Gerwin AI, «Балабоба» и TurboText. По итогам эксперимента преподавателям удалось выявить 96% работ, созданных с помощью нейросетей. Материалы, в которых не обнаружили признаки участия ИИ, как оказалось, были хорошо отредактированы студентами.
При проверке работ преподаватели обращали внимание на стилистические и орфографические особенности текста. Отсутствие опечаток, высокая грамотность и множество повторов указывают на причастность нейросети к работе. Кроме того, сгенерированные тексты содержат в себе грубые фактические и логические ошибки. Обычно чат-боты в ответ на заданный вопрос предоставляют компиляцию из чужих текстов, поэтому в материалах отсутствуют оригинальные авторские суждения и выводы. Руководитель направления Digital в КРОС Иван Минаев рассказал «Известиям», что в работе с ИИ многое зависит от брифа: чем четче он будет составлен, тем лучше будет итоговый результат.
ИИ против ИИ
Для распознания сгенерированного текста на начальных этапах можно использовать антиплагиат-сервисы, которые нацелены на выявление неоригинальной информации в тексте. Нейросети берут за основу написанные ранее тексты, соответственно, оригинальность сгенерированного материала крайне низка. Аналитик практики «Стратегия трансформации» компании «Рексофт Консалтинг» Дмитрий Груднев отметил, что ввиду масштабного бума генеративного ИИ на западном рынке появилось множество приложений, позиционирующих себя как средства распознавания искусственно сгенерированных текстов, в их числе: OpenAI Text Classifier (от создателей ChatGPT), GPTZero, Content at Scale, Writer, Crossplag, Copyleaks и другие. Чаще всего подобные сервисы нацелены на определенную аудиторию: например, Crossplag и GPTZero — на образовательных и научных работников, а Writer — на SEO-специалистов.
Принцип работы распознавателей сгенерированного контента схож. Например, Crossplag после анализа текстового отрывка предоставляет общую оценку подлинности контента. В сервисе есть график в виде шкалы термометра, который показывает, насколько много в материале сгенерированного текста.
В России также развиваются подобные инструменты. Например, в мае известная многим студентам и научным работникам система «Антиплагиат» получила функцию распознавания машинно-сгенерированных текстов. Сейчас эта опция доступна в платной версии сервиса и определяет сгенерированный текст как «подозрительный».
Эксперт Центра искусственного интеллекта «СКБ Контур» Дмитрий Иванков в беседе с «Известиями» подчеркнул, что универсального инструмента, способного выявить сгенерированный контент, не существует.
— Моделей для генерации уже много, и постоянно создаются новые. Поэтому детектор ИИ-контента, обученный под конкретные виды генеративных моделей, будет плохо справляться с другими. Сама область достаточно молодая, методы и подходы в ней пока только развиваются, — отметил эксперт.
Тексты от нейросетей часто используются при написании материалов на простые и недвусмысленные темы, в области которых не нужно обладать определенными знаниями. Например, ИИ часто создают описания для продукции, сводки новостей или посты в социальных сетях. Чтобы написать такой контент, не требуется глубоко вникать в тему, поэтому ИИ справляется неплохо.
Вероятность закрепления технологий искусственного интеллекта в научной области также крайне велика, считает руководитель AI/ML проектов компании ITentika Дмитрий Ходыкин.
— По сути, это уже произошло. Существуют проекты, которые обучают большие языковые модели не только на корпусах текста общего назначения, но и на текстах научных статей, — подчеркнул Ходыкин.
По словам эксперта, такие модели в состоянии делать мета-анализ ряда исследований и интерпретировать их итоги. Это трудоемкая работа, с которой неплохо справятся нейросети.
Эксперт по маркетингу и продажам в IT и кандидат экономических наук Лилия Алеева считает, что уже на данном этапе ИИ-технологии добились значительных успехов в сфере науки. Кроме того, искусственный интеллект может помочь исследователям в анализе данных, выявлении закономерностей и генерации новых гипотез.
— Хотя научные статьи, созданные ИИ, возможно, еще не стали обычным явлением, они могут стать более распространенными по мере развития ИИ, — отметила эксперт.
Руководитель отдела QA ИТ-компании SimbirSoft Екатерина Подаруева, напротив, считает, что научная сфера требует креативности, умения интерпретировать результаты, действовать в неожиданных ситуациях и в них же принимать решения. В этих вопросах ИИ пока не в силах помочь.
Что распознать сложнее
Помимо генерации текстовых материалов нейросети способны создавать картины и портреты людей. Так, в феврале этого года вьетнамского художника исключили из популярного арт-сообщества после публикации рисунка, который он готовил более пяти дней. Управление сообщества посчитало, что он выгрузил работу, сгенерированную при помощи нейросети, а на опровергающие доказательства посоветовали сменить стиль рисования.
Сложности в определении сгенерированного контента есть как в визуальных форматах, так и в письменных. По мнению Лилии Алеевой, сложность обнаружения ИИ-контента напрямую зависит от носителя. Визуальный проще идентифицировать из-за несоответствий в освещении или движении, которые ИИ трудно воспроизвести точно. Она считает, что по мере того, как контент, созданный ИИ, становится всё более распространенным, спрос на инструменты распознавания ИИ, вероятно, будет расти.
Текст, сгенерированный чат-ботами, идентифицировать гораздо сложнее.
— Он может выглядеть очень похожим на текст, подготовленный человеком, особенно если чат-бот был обучен на большом наборе данных, — отметила эксперт.
Дмитрий Ходыкин придерживается мнения, что два рынка создателей и распознавателей контента дополняют друг друга и развиваются параллельно.
— Чтобы машина быстро ездила, ей нужны очень мощные тормоза. Это прямая аналогия, которая говорит нам о том, что если мы выпустим в реальный мир сильный и быстрый искусственный интеллект, который не сможем распознать и остановить, то произойдет авария, — отметил эксперт.
Попытка сравнения
В течение последних лет было проведено несколько опытов, направленных на обнаружение сгенерированного контента. В июне 2021 года бренд-бюро Sixth Sense и агрегатор ИИ-решений Cleverbots провели эксперимент, в ходе которого выяснилось, что 50% специалистов сферы маркетинга не могут отличить текст нейросети от работы копирайтера. В ходе эксперимента была смоделирована работа копирайтера и контент-мейкера для создания развлекательно-образовательного контента. ИИ-текстам не хватило цельной структуры и более качественного изложения мысли.
Подобным исследованием занимались американские и британские ученые в феврале прошлого года. Они провели три эксперимента, в основу которых легли портреты людей, генерируемые ИИ. Ученые собрали более 300 добровольцев и попросили распределить реальные и генерируемые фотографии. В результате первого эксперимента лишь половина опрошенных смогла обнаружить фотографии от нейросети.
Во втором опыте, прежде чем ставить перед участниками задачу отличить реальные фото от нереальных, людей обучили основным правилам, по которым это можно сделать. Однако даже после этого результат эксперимента не сильно изменился. Суть третьего опыта состояла в том, что участники должны были по фотографии определить уровень доверия к изображенному по шкале от одного до десяти. В итоге доверие участников к несуществующим людям оказалось выше на 7%, чем к реальным.
В мае этого года журналист издания Vice Росс Бьюкенен провел свой эксперимент: он попытался научить ChatGPT отвечать на личные сообщения от своего имени. Для этого он создал речевой портрет, отправив боту несколько статей в разговорной стилистике, и попросил провести анализ. Бьюкенен сгенерировал три сообщения: запоздалое поздравление друга с днем рождения, шутку для чата с родителями и вежливый отказ от приглашения в гости. В последнем случае собеседник ничего не заподозрил, но в первых двух друзья и родные журналиста усомнились в ответах. «Ты в порядке, приятель?» — ответил брат Бьюкенена на сгенерированное сообщение в семейном чате.
