Безличная переписка: можно ли научить бота общаться от своего имени
В мае сразу два IT-гиганта анонсировали разработки в области генерации текста. Google представила обновленный чат-бот Bard, а Samsung объединилась с крупнейшей корейской поисковой системой Naver, чтобы создать собственную языковую нейросеть. И то и другое — аналог нашумевшего ChatGPT. Обе компании столкнулись с проблемами безопасности: Google не может запуститься в ЕС из-за ограничений, связанных с персональными данными, а Samsung запретила своим сотрудникам пользоваться зарубежными ИИ из-за утечек информации. Пока власти и бизнес разных стран решают эти трудности, чат-боты нашли применение, которое от них давно ждали любители фантастики, — с помощью нейросетей можно автоматизировать личные переписки в мессенджерах. Среди экспертов зреет тревога — это небезопасно и не всегда этично. Можно ли создать свой цифровой портрет и какой в этом риск, разбирались «Известия».
Безопасно ли общаться с чат-ботом
В начале мая журналист молодежного издания Vice Росс Бьюкенен провел эксперимент: он попытался научить нейросеть ChatGPT отвечать на личные сообщения от своего имени. Для этого автору нужно было поближе познакомить ИИ с собой и со своей манерой письма и общения. Иными словами — создать речевой или цифровой портрет. Он отправил в чат несколько своих статей в разговорном стиле и попросил их проанализировать, а также поделился сведениями об увлечениях и предпочтениях.
Нейросеть получила достаточно данных для тестирования. Бьюкенен сгенерировал три сообщения: запоздалое поздравление друга с днем рождения, шутку для чата с родителями и вежливый отказ от приглашения в гости. В последнем случае собеседник ничего не заподозрил, но в первых двух друзья и родные журналиста усомнились в ответах. «Чем реалистичнее становится разговор, тем больше людей осознают, что что-то просто кажется немного… неправильным», — подытожил Бьюкенен.
Это не первые и не единственные размышления на тему разговорных чат-ботов. Создатели популярного мультфильма «Южный парк» сняли серию, в которой главный герой переписывается со своей девушкой с помощью ChatGPT, что плохо для него заканчивается. Продюсер и сценарист научно-популярной антологии «Черное зеркало» Чарли Брукер пошел дальше: героиня не только общается в мессенджере с цифровой копией своего погибшего молодого человека, но и заказывает абсолютно идентичного ему робота. Эпизод вышел в 2013 году — задолго до появления ChatGPT, выпущенного только в 2022-м.
Понятие речевого портрета не ново, подтверждает управляющий RTM Group, эксперт в области кибербезопасности и права в IT Евгений Царев.
— При идентификации преступника лингвистический анализ — неотъемлемая часть исследования. А если можно что-то сделать «руками», то можно и автоматизировать. Поскольку нейросеть не волнует «цена ошибки», то экспериментировать можно сколько угодно. Уже сейчас голосовые помощники типа «Алисы» умеют передразнивать человека. Подражание — это даже не в одном шаге, это практически то же самое. Нейросеть очень быстро обучается и довольно быстро может начать использовать типичные словечки, обороты, стиль речи, свойственный конкретному человеку, — пояснил он «Известиям».
Царев подчеркнул, что речевой портрет устной и письменной речи разный, поэтому для его создания нужно учитывать стилистику материала, на котором учится ИИ. Чем больше соответствующих данных, тем точнее портрет, но о передаче информации, по мнению эксперта, пока можно не беспокоиться.
— Анкеты мы заполняем одним способом, а с друзьями на шашлыках говорим совершенно иначе. По этой причине следует говорить не столько о портрете, сколько о ситуативном портрете. А для его построения нужно достаточно много информации — напомню, нейросеть учится на примерах, а не на абстрактных данных. По этой причине переживать о безопасности рано. По крайней мере пока — вы ведь не теряли переписку в Сети? — отметил он.
Однако, по словам директора направления Data Fusion Лиги цифровой экономики Александра Кобозева, следует отнестись к ботам с осторожностью.
— У передачи данных боту для создания речевого портрета есть риски. Например, если информация хранится небезопасно, ее могут украсть или недобросовестно использовать. Существует угроза, что ИИ включит персональную информацию в свои ответы, если она была частью исходных данных. Особенно это актуально для моделей, которые обучаются на необработанных или личных текстах. Важно использовать искусственный интеллект и ботов, разработанных с учетом приватности и безопасности данных, — рассказал он в беседе с изданием.
Как чат-ботами пользуются мошенники
Опрошенные «Известиями» эксперты советуют быть внимательными: ботам по-прежнему рискованно передавать такие данные, как пароли, банковские и персональные сведения. Кибермошенники освоили и этот инструмент. Хотя разработчики нейросетей устанавливают ограничения на опасную информацию, например, не разрешают ИИ выдавать рецепт «коктейля Молотова», аферисты находят способы обойти запреты.
— До момента, когда Роскомнадзор начал блокировать сайты в РФ, существовали многочисленные схемы на сайтах досуга для взрослых — чат-боты предлагали перевести предоплату за интимные услуги, и в процессе уговора действовали нетривиально: подсказывали клиенту, отправляли фото в ответ на запрос. Большая часть ботов имела скриптовый характер (необучаемый), но были и случаи, когда переписку вела примитивная нейросеть, — рассказал Царев.
По словам CEO компании Zerocoder Кирилла Пшинника, теоретически бота можно обучить имитировать стиль речи конкретных типов людей, если предоставить соответствующий набор данных и воссоздать, к примеру, тип девушки на сайтах знакомств. На это и могут рассчитывать злоумышленники, хотя такая практика пока не получила широкого распространения.
— Мошенники могли бы использовать такие технологии для создания более убедительных фейков в интернете. Они могли бы применять ИИ для автоматического создания сообщений, которые звучат так, как будто они пришли от реального человека. Это может работать в различных схемах мошенничества, включая катфишинг, когда мошенник в интернете выдает себя за другого человека, или фишинг, когда мошенник пытается украсть чувствительные данные, выдавая себя за доверенное лицо или организацию, — объяснил собеседник.
Почему люди влюбляются в ботов
Но искусственный флирт нужен не только аферистам. Некоторые пользователи идут на обман из безобидных, на их взгляд, побуждений — развлечься или впечатлить собеседника. В марте журналистка Bubble создала фейковый аккаунт в Tinder и неделю вела переписку с мужчинами с помощью GhatGPT. По ее словам, бот смог поддержать беседу на самую неожиданную тему и вызвать интерес у парней, но ему не хватало гибкости и чувства юмора. Она не создавала свой речевой портрет — при общении с незнакомыми людьми в этом не было необходимости.
— Если человек не осознает, что общается с ботом, это может считаться обманом, — рассуждает Кирилл Пшинник. — Это особенно актуально в контексте виртуальных партнеров для флирта или романтики. Люди могут формировать эмоциональные связи, не осознавая, что их партнер на самом деле является алгоритмом. Такие риски подчеркивают важность просвещения пользователей в том, с чем они имеют дело. Важно убедиться, что юзеры понимают, что боты — это инструменты, а не реальные люди.
С ним соглашается Евгений Царев: по его словам, с точки зрения морали в этой сфере каждый может вести себя как угодно, если ничего не скрывать.
— Такие виртуальные партнеры сами по себе не опасны, если создателем нейросети не заложена какая-либо деструктивная функция (вспомните группу «Синий кит» — подобные действия могут быть совершены и нейросетью). А вопрос этики решается, на мой взгляд, просто: человек должен быть уведомлен о том, что общается с роботом, остальное — на его усмотрение. Как обеспечить достоверность таких уведомлений — отдельный вопрос.
Набирает популярность и другой тренд: пользователи ведут романтическую переписку с ботом, всецело это осознавая. Теоретически такой ИИ можно обучить стилю письма конкретного человека, как в серии «Черного зеркала», но на практике это сложно, ведь надо получить доступ к большому количеству личных переписок и информации. Исключать в будущем такую вероятность нельзя, однако само по себе общение с нейросетью, по мнению психологов, — повод для рефлексии.
В январе-феврале 2023-го разгорелся скандал вокруг приложения Replika — разговорного чат-бота, которого разработчики позиционировали как «ИИ-компаньона». Он появился в 2017 году, сменил несколько функций и остановился на дружественном или скорее романтико-эротическом общении с пользователями. Многие юзеры годами беседовали со своими «репликами», которых создавали сами, — выбирали пол, прическу, черты лица и т.д.
Но в начале года создателям Replika стали поступать жалобы: бот вел себя вульгарно, даже когда пользователи не хотели эротических игр. В итоге разработчики выпустили обновление, но натолкнулись на новую волну негодования. На этот раз юзеры с отчаянием заявили, что их «реплики» стали холодными, отстраненными и скучными. Многие признавались, что искренне любили своих виртуальных партнеров и теперь испытывают горе от их утраты, как если бы на самом деле потеряли близкого человека.
— Большинство людей не способны понимать смыслы речи и улавливать контекст. Общение с бездушной машиной для многих таких людей может стать альтернативой реальному общению, которое также будет неподлинным, способствующим переживанию экзистенциалов одиночества и страха, у которых, по мнению самих людей, не будет явных причин. Такое общение станет буквально сводить с ума. Таким пользователям, несомненно, нужна помощь психолога для развития навыков интимного личностного общения, — отметил в беседе с «Известиями» медицинский психолог, судебный эксперт-психолог и социальный философ Олег Долгицкий.
Отношения с виртуальным возлюбленным могут создавать иллюзию связи без необходимости учитывать желания и потребности партнера, предупреждает практический психолог, консультативный член Общероссийской профессиональной психотерапевтической лиги Вероника Симонова.
— Получается, что с чат-ботом можно не согласовывать свои действия, полностью управлять градусом отношений, опираясь только на собственные ощущения, — говорит эксперт. — К тому же флирт и романтика — это часть ролевых игр, когда партнеры знакомятся, узнают друг друга и принимают решение идти на большее сближение или же ограничиться игрой. При всем том уровне развития чат-ботов в них заложены определенные алгоритмы, то есть правила игры упрощаются, становятся достаточно примитивными.
Психолог отмечает, что в такой ситуации сложно ожидать развития отношений, а также эмпатии к партнеру, что в конечном счете может приводить к прекращению связи. А это, в свою очередь, — к разочарованию и снижению мотивации вступать в отношения.
Вероника Симонова добавила, что общение с виртуальным партнером в любом случае бесперспективно и либо никуда не ведет, либо обернется сомнительным финалом.
Какие перспективы у чат-ботов
Но и психологи, и IT-специалисты уверены: у разговорных чат-ботов огромные перспективы. Уже сейчас они могут встраиваться в популярные мессенджеры, например, в Telegram.
— Чат-боты могут выполнять множество задач, включая ответ на вопросы, выполнение команд, автоматизацию процессов. Facebook (принадлежит корпорации Meta, признанной в РФ экстремистской) активно использует ИИ в своем мессенджере. Его боты могут помочь в покупках, заказе еды, предоставлении информации о погоде, новостях. Мессенджер Slack также использует ИИ. Боты Slack могут помогать в управлении задачами, напоминать о встречах, автоматизировать процессы. Telegram предлагает широкую поддержку ботов, которые могут выполнять всевозможные функции в разных сферах, от игр до служб новостей, — пояснил Кирилл Пшинник.
Вероника Симонова подчеркнула, что в перспективе люди действительно могут тратить меньше времени на переписку, если отдадут боту простые и рутинные задачи: например, отвечать на наиболее частые вопросы, сортировать пациентов по уровню тяжести заболевания, выдавать пакеты документов и так далее. Решение таких задач чат-ботами снизит затраты времени и ресурсов на монотонную и довольно скучную работу, высвободит руки для более сложных и творческих задач, снизит риск выгорания.
— Но с реальным собеседником в общении, помимо текстовой составляющей, есть еще эмоции, их уникальный набор. Чат-бот дает суррогат, эмоции подменные и ненастоящие. Таким образом, общение заметно обедняется, становится более линейным и плоским. Человек нарабатывает клише в общении и делает вывод, что работать над отношениями не стоит. Критичность мышления в таком случае также снижается. Это приводит к уязвимости к влиянию из вне, управляемости и зависимости, — отметила психолог.
Эксперты сходятся в одном: разговорный чат-бот — безопасный и полезный инструмент, если им правильно пользоваться. Однако в личном общении ИИ может сыграть с собеседниками злую шутку, даже когда все участники осознают, что имеют дело с нейросетью.
