Коварство магии: как избежать ошибок при работе с чат-ботами
Общение с чат-ботом, ответы на его вопросы — это сбор данных для обогащения профиля о пользователе. В подведомстве Роскомнадзора напоминают, что необходимо соблюдать осторожность — внимательно изучать соглашения и критично оценивать передачу любой информации о себе. Уникальные запросы к чат-боту могут попадать в его базу знаний. Так появляется риск вскрытия коммерческой тайны или персональных данных. Как обезопасить себя от ошибок — в материале «Известий».
Правдивая ложь
Сегодня ChatGPT доступен в 161 стране мира и поддерживает более 95 языков. Осложняется всё тем, что чат-бот порой выдает неправильные или бессмысленные ответы, которые звучат вполне правдоподобно. Экспертное сообщество в последнее время всё больше критикует ChatGPT за то, что его можно использовать в неэтичных целях (обман, плагиат, мошенничество).
Помимо преимуществ использование таких сервисов сопряжено с серьезными рисками, напоминают эксперты Главного радиочастотного центра (ГРЧЦ, подведомство Роскомнадзора).
— Одна из главных опасностей — возможность распространения ложной информации, — предупреждают в ГРЧЦ. — Ответы чат-бота могут быть некорректны или обманчивы.
В некоторых случаях довольно сложно отделить ложные сведения от реальных данных, акцентируют в организации. Например, можно попросить GPT подтвердить какую-либо точку зрения списком научных публикаций и получить в ответ подробный перечень с указанием авторов, статей, номеров журналов с годами выпуска и даже ссылками на страницы, однако данных статей не будет существовать в реальности.
— Еще одна опасность состоит в том, что в основу работы нейронных сетей, в том числе чат-ботов, заложен вероятностный принцип, — объяснили «Известиям» специалисты ГРЧЦ. Поэтому ответ на один и тот же запрос в одном и том же контексте может различаться.
Старший специалист Positive Technologies по анализу защищенности банковских систем Юрий Ряднина обращает внимание на то, что основной ошибкой при работе пользователей с чат-ботом всё также можно назвать отправку приватной информации в чат — теперь еще и в виде файлов и фотографий.
При пользовании чат-ботами важно излишне не доверять системе, установленной не на ваших ресурсах, не вашими руками и обладающей неочевидным алгоритмом поведения, предупреждает в свою очередь директор по стратегическим альянсам и взаимодействию с органами государственной власти группы компаний «Гарда» Павел Кузнецов.
— Проще говоря, доверять чат-боту в общем случае стоит только те данные, потенциальная утечка которых вам не угрожает, — отмечает эксперт. — Если же вести речь о чат-ботах, применяемых многими компаниями в качестве первой линии поддержки в закрытых каналах связи, то простые вопросы можно решать и с их помощью, а в сложных случаях пользоваться «волшебной» формулировкой «позовите специалиста».
Что главное для безопасного пользования чат-ботами
При работе с чат-ботами следует учитывать, что большие языковые модели имеют склонность к «галлюцинациям»: они могут выдавать фактологически неверный ответ, написанный с использованием очень уверенных профессиональных формулировок, рассказывает руководитель группы исследований и разработки технологий машинного обучения в «Лаборатории Касперского» Владислав Тушканов.
При этом стоит быть осторожным, чтобы не попасться на удочку злоумышленников, которые, пользуясь недоступностью популярных сервисов в некоторых регионах, могут под их видом создавать скам-сайты и даже распространять вредоносное ПО, добавляет специалист.
— Главной ошибкой было бы воспринимать все ответы генеративных моделей как истинные и правильные, не подвергая их критическому осмыслению, — говорит директор департамента контакт-центров и роботизированных систем Naumen Сергей Попов. — К тому же модель может противоречить сама себе.
Этот риск подсвечивают и сами генеративные нейросети, которые в ответе на вопрос о рисках работы с ними предлагают перепроверять их ответы на точность и верность со специалистами.
Плюс ответы GPT основываются на больших данных, взятых напрямую из интернета. Поэтому при использовании GPT есть риск ненамеренного плагиата чужих работ и изречений.
— Чрезмерное использование может привести к репутационным рискам и судебным издержкам, — предупреждает руководитель направления роботизации бизнес-процессов и бизнес-аналитики компании «Первый Бит.NFP» Виктория Бабанкина. — Возможна и такая ситуация: запросы к чат-боту могут попадать в его базу знаний. Тут появляется риск вскрытия коммерческой тайны или персональных данных. Скорее всего, для корпоративного применения модель лучше размещать в изолированном контуре.
К слову, в США недавно прошла забастовка сценаристов, в которой они добивались запрета на использование GPT для написания сценариев. Эта забастовка показывает, что вопрос нейросетей еще недостаточно урегулирован с точки зрения законодательств и морали.
Менеджер департамента технологического консалтинга «Рексофт Консалтинг» Илья Муха сформировал по просьбе «Известий» топ ошибок при работе пользователей с чат-ботами.
1. Ожидание человеческой эмпатии: пользователи иногда забывают, что чат-боты — это, конечно, умные, но всё же машины, им не свойственны эмоции.
2. Непонимание ограничений: чат-боты весьма продвинулись, но их способности всё еще ограничены. Пользователи часто ожидают, что чат-бот сможет ответить на абсолютно любой вопрос, но это не всегда возможно из-за лимитированной области компетенции или доступной информации.
3. Неясная формулировка запросов. Правильная формулировка запроса важна для получения точного и полезного ответа от чат-бота. Отсутствие ключевых деталей или неявно сформулированный запрос может привести к недопониманию или неправильному ответу.
4. Недостаточное обучение: при работе с персонализированными чат-ботами (например, для подбора резюме) необходимо более гибкое обучение языковой модели, заложенной в чат-бот для обучения контексту запросов, а также диалогов пользователей.
5. Ожидание слишком сложной магии. Порой пользователи могут требовать слишком многого от чат-ботов, как будто те способны решать все проблемы в мгновение ока независимо от сложности. Языковые модели предназначены для работы с текстом, и, как бы странно это ни звучало, не стоит ожидать от них решений бизнес-кейсов или анализа сложной информации.
6. Игнорирование безопасности: пользователи могут иногда передавать слишком личные данные в чат-боты без должной осторожности, забывая о важности защиты своей конфиденциальной информации.
Как получить желаемое
Сейчас наработано много приемов, которые помогают добиться от чат-ботов на основе нейросетей максимально полезных и достоверных ответов. Некоторые из них могут даже показаться комичными. Так, исследователи обнаружили, что качество ответов ChatGPT повышается, если в переписке попросить нейросеть «сделать глубокий вдох» или если написать, что от ответа зависит ваша карьера или жизни людей, и даже если предложить ей «денежное вознаграждение за хороший ответ» (платить после, разумеется, не придется).
Из универсальных подходов наиболее интересным является запрос с цепочкой рассуждений (chain-of-thought). Его суть в том, что вы просите нейросеть сначала сгенерировать рассуждения, которые должны привести к правильному ответу, а уже затем сам ответ, объясняют в «Лаборатории Касперского».
— Самый простой совет — формулировать запрос как можно точнее, давать достаточно контекста для получения точного ответа, перепроверять полученный результат перед его использованием, чтобы исключить вероятность галлюцинирования, — отмечает Сергей Попов.
Эксперт напоминает, что последний актуальный тренд — это активное встраивание инструментов на базе генеративного ИИ в привычный софт как в b2c-, так и b2b-сферах. С одной стороны, инструменты на базе генеративных моделей становятся доступны обычным пользователям. Например, можно сделать саммари-видео на YouTube в «Яндекс.Браузере» с помощью «Яндекс GPT», сервис FigJam в Figma использует искусственный интеллект, чтобы резюмировать обсуждения и группировать стикеры на онлайн-досках по содержанию. «МойОфис» интегрировал в свои продукты GigaChat от «Сбера», который помогает обобщать контент в цепочке писем и формировать список задач.
— А теперь в ChatGPT можно загружать файлы, чат-бот сам определит, что с ними делать, — говорит эксперт Positive Technologies Юрий Ряднина. — Модель стала работать намного быстрее, текст генерируется почти мгновенно.
Кроме этого, отмечает эксперт, модель может выполнять простые python-скрипты прямо в чате. С помощью этого можно проводить точные расчеты, строить графики и даже обучать другие нейросети, не выходя из чата.
