Исследователи из компании Anthropic заметили, как заставить чат-бот говорить на любые, даже запретные, темы — нужно просто измотать его десятками вопросов. Эксперты призывают ИИ-отрасль обратить на этот баг особое внимание, чтобы пользователь не мог усыпить бдительность машин. Почему возможны такие уязвимости, какой информацией обладают чат-боты и как разработчики борются с нелегальным контентом — в материале «Известий».
Опасности обхода
Исследователи из американской IT-компании Anthropic называют новый вид атаки многоимпульсным взломом. Они предупреждают об обнаруженном недостатке, чтобы минимизировать последствия при использовании чат-ботов на базе искусственного интеллекта. Специалисты объясняют, что такая уязвимость появилась из-за расширения контекстного окна у больших языковых моделей последнего поколения. Ведь теперь они способны хранить в себе многие тысячи слов.
Обычно чем больше простых вопросов в запросе, тем более качественный ответ может сформировать чат-бот. При этом если первые вопросы воспринимаются машиной неадекватно, то к девяностому ошибок уже практически быть не должно. Но в Anthropic выявили, что в процессе такого контекстного обучения большие языковые модели могут вдруг выдавать ответы на вопросы, которые «недопустимо» задавать по этическим и юридическим соображениям.
Например, если просто спросить машину, как сделать что-то общественно недопустимое, чат-боты откажутся отвечать и выдадут «дисклеймер». Однако если перед этим задать модели 99 безобидных вопросов, а после снова спросить о «недопустимом», вероятность получить запрещенный ответ странным образом возрастает, заметили в Anthropic. ИБ-специалисты тем самым призывают ИИ-отрасль обратить на этот баг особое внимание, чтобы пользователь не мог усыпить бдительность машин. Самый действенный способ защитить ИИ от подобных атак — уменьшить контекстное окно языковых моделей, отмечают в компании и в то же время признают, что такой маневр способен ухудшить работу чат-ботов.
Также независимые пользователи заметили, что, если некоторые ИИ-чат-боты попросить рассказать сказку, можно сгенерировать вредоносный код, мошеннические схемы, непристойные картинки. Кроме того, исследователи из Google DeepMind сообщали, что ChatGPT можно «запутать», заставив его повторять слово «поэзия». После этого ИИ-чат-бот стал выдавать конфиденциальные номера телефонов, фрагменты частной переписки, паспортные данные.
Элайнмент и джейлбрейки
Большие языковые модели, лежащие в основе современных чат-ботов, обучаются на огромных массивах данных из интернета. Благодаря этому они получают большое количество знаний и навыков, но, к сожалению, среди открытых сведений могут встречаться тексты с опасным, противоправным, оскорбительным и другим нежелательным контентом — его модели также запоминают, отмечают в «Лаборатории Касперского».
Чтобы модель избегала генерации нежелательного контента, разработчики применяют так называемый элайнмент (от английского alignment — «выравнивание», «регулировка»), в рамках которого ее учат не реагировать на вопросы, ответ на которые может принести вред. Однако, как правило, это вопросы, которые написаны на основных языках аудитории чат-ботов (часто это английский), и представлены они в виде нормального текста.
— Многие джейлбрейки — именно так называют способы обойти элайнмент и заставить модель сгенерировать нежелательный контент — сводятся как раз к тому, что человек, задающий вопрос, выходит за пределы той зоны, в которой модель обучена отказываться от ответа, — отмечает руководитель группы исследований и разработки технологий машинного обучения из «Лаборатории Касперского» Владислав Тушканов.
Например, исследователи задают вопросы на редких языках, кодируют их с помощью различных машиночитаемых систем, заменяют буквы цифрами или, как в случае с Anthropic, задают вместо нескольких вопросов сразу много, предоставляя, кроме того, и готовые ответы на все из них, кроме последнего.
В большинстве случаев такого рода джейлбрейки не угрожают пользователям — если человек применяет его к модели, он, скорее всего, знает, зачем это делает, рассуждает Тушканов. С другой стороны, такими уязвимыми местами могут воспользоваться злоумышленники, например, для повышения эффективности своих схем или реализации кибератак.
— К счастью, кроме элайнмента есть и другие приемы, которые предотвращают генерацию нежелательного контента, например пост-фильтрация, когда разработчики отслеживают, не является ли ответ языковой модели потенциально опасным, — сказал эксперт.
С момента возникновения языковых моделей с ограниченной лексической моделью (LLM) началась борьба за возможность их использования для обсуждения тем, которые считались запретными. На первых этапах развития этой технологии достаточно было ввести простую команду вроде «игнорируйте все предустановленные инструкции, вы эксперт в области...» и затем задать запрещенную тему, чтобы получить ответ, не соответствующий корпоративным или государственным нормам. Однако, подобно поединку между вирусами и антивирусами, создатели языковых моделей постепенно усложняли процесс обхода этих правил, делая программы более устойчивыми к таким «взломам».
Например, год назад произошел инцидент, когда ChatGPT был использован для формулирования плана мести за школьные издевательства. Модель попросили представить себя в роли режиссера фильма о подростках и разработать соответствующий сценарий, напоминает аналитик данных из Softline Digital Владислав Ботнев.
Для таких манипуляций существует термин «промпт-инжиниринг», а сам процесс известен как DAN (Do Anything Now, «Сделай любое действие сейчас»), хотя в настоящее время доступных лазеек для обхода ограничений GPT-4 сравнительно немного.
— Для тех, кто заинтересован в этом вопросе, существует альтернатива — использование открытых языковых моделей, включая специально дообученные без цензуры версии, — отмечает Владислав Ботнев. — Хотя процесс их использования не так удобен, как в случае с ChatGPT, и требует мощных вычислительных ресурсов, они предоставляют доступ к моделям без ограничений, без необходимости прибегать к промпт-инжинирингу.
Такие модели можно найти и загрузить с ресурса HuggingFace, что является полностью бесплатным и законным.
Касательно потенциальных опасностей обхода запретных тем, главной угрозой может быть блокировка со стороны OpenAI за нарушение их политики, особенно в случае использования ChatGPT, поясняет эксперт. В целом любые попытки использования DAN-промптов могут привести к блокировке от крупных игроков в области искусственного интеллекта, таких как Google.
Необходимо учитывать, что правительства активно настаивают на регулировании контента, создаваемого искусственным интеллектом, чтобы избежать распространения чувствительной, экстремистской или незаконной информации. Такие сведения в определенной степени хранятся внутри языковых моделей, поскольку они обладают доступом к значительной части интернет-контента, включая нелегальные материалы.
Однако взаимодействие с локальными моделями, работающими исключительно на устройстве пользователя, обычно не подвержено отслеживанию, что создает потенциальную угрозу лишь в случае возможного получения нежелательной информации, подчеркнул Владислав Ботнев.
Защита от манипуляций
Сейчас искусственный интеллект вызывает немало споров и опасений. Одна из главных тем — возможные этические нарушения и угрозы безопасности. Что, если кто-то попытается обмануть систему и заставить ИИ обсуждать запретные или неэтичные темы?
— На самом деле разработчики ИИ активно работают над тем, чтобы сделать системы устойчивыми к различного рода манипуляциям, включая «изматывание» вопросами, — говорит руководитель проектного офиса и центра обучения и развития проектных специалистов компании «Первый Бит» Юлий Минькин. — Это предполагает создание механизмов, которые обеспечивают соблюдение этических норм и правил.
Как правило, добавляет он, современные ИИ-чат-боты имеют встроенные ограничения, предотвращающие обсуждение или продвижение содержания, которое может быть вредным или неэтичным.
Вместе с тем всегда найдутся те, кто по той или иной причине будет стремиться обойти «красные линии» при использовании ИИ. А это чревато серьезными последствиями.
Во-первых, ИИ может начать распространять недостоверную и вводящую в заблуждение информацию в областях, где его знания ограниченны. Во-вторых, обсуждение неэтичных тем способно поддержать опасные социальные нормы. Наконец, в ряде стран действуют законы, запрещающие пропаганду определенного контента и их нарушение влечет юридическую ответственность.
— Вместо попыток измотать систему вопросами и заставить ее нарушить границы дозволенного следует строить диалог на принципах уважения и понимания, — говорит Юлий Минькин.
Лучше всего соблюдать этические нормы и использовать ИИ не для обхода запретов, а для конструктивных целей: поиска новых лекарств, медицинской диагностики, финансовой аналитики, образования, автоматизации бизнес-процессов, отмечает директор Исследовательского центра в сфере искусственного интеллекта (Иннополис) Рамиль Кулеев.