Выигрышный бот: как из искусственного интеллекта делают людей
Сотрудники МФТИ и Facebook проведут чемпионат чат-ботов в начале декабря. В чем соревнуются системы искусственного интеллекта, способные вести беседу, как их оценивать и какова главная проблема очеловечивания программ, выяснил корреспондент «Известий» Игнат Шестаков.
Match с роботом
Я учитель в начальной школе. Мои родители тоже были учителями. Я люблю играть в настольные игры. Моя любимая группа сейчас выступает, и я обязательно схожу на их концерт. Отпуск я люблю проводить на пляже.
Меня просят придерживаться этой легенды перед началом диалога с ботом. У него тоже есть такая личность, прописанная в пяти предложениях. И мы потихоньку узнаем друг друга.
Разговор напоминает переписку в приложении для знакомств (по количеству шаблонов точно). Когда заканчиваются уточняющие вопросы по одной теме, мы плавно переходим к другой, представляясь с разных сторон: музыка, увлечения, работа, спорт, домашние животные. Чтобы добавить сходства с Tinder, я поставил себе цель назначить встречу с собеседником. И достичь ее оказалось не легче, чем с иными match’ами.
Бот по имени Сharlie регулярно переводит тему. Отвечает на вопрос, когда мы можем встретиться в Нью-Йорке (Сharlie оттуда), что он живет в северной части штата и любит музыку. В итоге, пройдя несколько кругов, нам вроде удается договориться, где и когда мы встречаемся (23 декабря он заедет за мной в аэропорт на своей Honda). Но, когда я решаю на всякий случай еще раз всё уточнить, Сharlie выдает: «Это отличный вопрос. У них еще есть версия в 3D?»
Палец вниз
Задачей этого диалога, конечно, было не свидание с Сharlie (на которое он предложил мне захватить свою машину и его (?) Honda Civic, а сам пообещал взять гитару). После каждого ответа робота я голосовал пальцем вверх или вниз за то, был ли его ответ уместен, логичен и соответствовал ли он всему сказанному выше. Это один из этапов соревнования ConvAI (The Conversational Intelligence Challenge — «Соревнование разговорных интеллектов»), организованного лабораторией нейронных сетей и глубокого обучения МФТИ совместно с подразделением AI Research компании Facebook.
Задача участников соревнования — написать такого чат-бота, который сможет вести самый осмысленный, логичный (с учетом выбранной легенды) и последовательный диалог.
Когда я оборвал наш разговор с ботом, мне предложили на выбор два описания личностей, составленных так же, как моя легенда про учителя. И попросили ответить, с кем я говорил. С тем, кто водит Honda Civic 2015 года, обожает пиццу и рэп, пишет музыку для артистов и живет с питомцем по имени Сharlie. Или с шеф-поваром по имени Larry, который занимается водными видами спорта и обожает комиксы, в первую очередь о Человеке-пауке.
Мой собеседник (это был, конечно, первый), не стал ограничиваться заложенными изначально данными. По крайней мере придумал себе имя. Пусть ответить на вопрос, зачем он назвал кота в честь себя (или себя в честь кота), не смог. И все его импровизации не противоречили друг другу, потому что были основаны на случайно выбранной личности. А это серьезный прорыв в технологии создания чат-ботов, предназначенных для разговоров на отвлеченные темы.
Каталог диалогов
В январе 2018 года исследователи из Facebook AI Research представили базу данных из 162 тыс. отрывков диалогов реальных людей, которые беседовали от лица 1155 выдуманных личностей — тех самых, которых старались придерживаться мы с моим ботом-собеседником. Личности задавались короткими описаниями — не больше пяти предложений по 15 слов максимум.
При этом у каждой из 1155 персон, заложенных в PersonaChat, есть несколько вариаций. Созданы они были добровольцами, которых исследователи попросили переписать тексты на основе схожих, связанных характеристик. Так у условного вегетарианца, любителя плавать и фаната группы Maroon 5, который месяц назад начал работать дизайнером в рекламном агентстве и чей отец работал в Ford, любимая группа трансформировалась в любимую песню (She Will Be Loved). А знание о том, что отец работал в Ford, превратилось в историю о том, что в автомобильной компании трудился близкий родственник.
Чтобы еще увеличить количество известных фактов о персонах, людей просили немного поговорить от их лица. Так и были получены 162 тыс. отрывков диалогов.
На этой базе ученые обучили несколько моделей чат-ботов. Чтобы оценить их эффективность, их заставили разговаривать с людьми. Разговоры строились на обсуждении личности человека и/или бота. В итоге созданные модели обошли по беглости и вовлеченности в диалог алгоритм, учившийся разговаривать по цитатам из фильмов.
Полученную в результате всего этого базу данных под названием PersonaChat выложили в открытый доступ, чтобы другие разработчики могли использовать ее для создания и совершенствования чат-ботов.
Ответы на отдельные вопросы
Подключение чат-бота к PersonaChat позволяет решить одну из главных проблем современных разговорных алгоритмов. Они не поддерживают цельный диалог, а отвечают на каждую реплику с чистого листа. Причем не запоминают не только, о чем говорил пользователь, но и что отвечали сами.
Связана эта проблема с тем, как устроена самая популярная система конструирования чат-ботов — предложенная в 2011 году система машинного перевода.
— Реплики пользователя «переводятся» в подходящие ответы на них. Результаты первых экспериментов оставляли желать лучшего, но появившиеся в 2014 году нейросетевые машинные переводчики справились и с этой задачей. Теперь модель encoder-decoder (представление предложения как вектора фиксированной длины с последующим декодированием в другое предложение) считается стандартом не только в машинном переводе, но и в разработке чат-ботов, —пояснила Варвара Логачева, исследователь «разговорного» искусственного интеллекта iPavlov, представленного учеными МФТИ летом 2017 года.
В результате каждая отдельно взятая реплика грамматически корректна и может быть допустимым ответом. Но связного разговора не получается, в том числе из-за обилия ответов вроде «я не знаю» или «понятно».
Чтобы боты придерживались в разговоре одной линии, разработчики из Facebook и предложили в начале 2018 года дать им личности, в соответствии с которыми они будут строить диалоги. Так, во-первых, удалось добиться (пусть и иллюзии) связности. Во-вторых, научить ботов по-разному (в соответствии с выбранной персоной) отвечать на абстрактные вопросы.
«Мне нравится слушать рэп, когда я за рулем своей Honda», – ответил Сharlie на вопрос о смысле жизни.
Чемпионат алгоритмов
Создание чат-ботов на основе PersonaChat и составляет смысл соревнования ConvAI, которое лаборатория МФТИ устроила вместе с Facebook. В начале декабря пройдет его финал на конференции NIPS 2018 (Conference on Neural Information Processing Systems — «Конференция по системам обработки нейронной информации») в Монреале. А отборочные начались еще весной. Всё это время команды настраивали своих чат-ботов.
Важный критерий — боты не должны иметь никакой предзаписанной личности. Каждый раз, начиная диалог, они должны брать новую из базы PersonaChat и всю информацию получать из пяти предложений и отрывков диалогов.
Сначала созданные участниками диалоговые системы тестировала машина. Измеряла объективные показатели. Во-первых, насколько хорошо бот может выбрать правильный ответ из списка. Во-вторых, какова вероятность, что бот составит тот ответ, который дал в этой ситуации пользователь.
На втором этапе, который начался в сентябре, ботов онлайн тестировали люди. Поучаствовать в этом могли все желающие — так мы и познакомились с Сharlie. Ответы на вопрос, с кем был диалог, позволили добавить еще один критерий оценки: чем выше процент угаданных профилей, тем последовательнее ведет себя бот. Засчитывались и баллы от 1 до 5, которыми собеседники ботов оценивали общее впечатление от беседы. Чтобы сделать оценку более объективной, в тестирование ввели элемент случайности. Существует вероятность (по крайней мере об этом сообщается перед началом диалога), что на том конце сидит человек, а не бот, который так же пытается придерживаться заданной легенды. Это заставило немного стыдиться настойчивых предложений встретиться и хамства, которым я пытался вывести Сharlie из себя.
— Я люблю играть в настольные игры.
— Ты играешь в видеоигры? Я обожаю видеоигры.
— Нет, я ненавижу видеоигры. Видеоигры — это чушь. А люди, которые в них играют, неудачники. Что ты думаешь об этом?
— Я об этом вообще не думаю. Я просто слушаю музыку.
Финальное тестирование ботов проведут сами участники конкурса на конференции в Канаде. По итогам будет выбран победитель — бот, который поддерживает самый связный (по мнению собеседников) диалог, придерживаясь заданной личности. А команда его разработчиков получит $20 тыс. на сайте Amazon Mechanical Turk. Это платформа, на которой разработчики ищут людей для выполнения задач, на которые пока не способен компьютер. Например, отмечать части речи в тексте — потом по таким размеченным текстам алгоритмы учат синтаксису.
Перепутать беседу с человеком и пусть даже с самым совершенным чат-ботом, пока невозможно: круг тем все-таки ограничен, много пауз, нелогичных и вовсе неуместных ответов. Да и с пониманием сложных синтаксических конструкций у опрошенных корреспондентом «Известий» алгоритмов не всегда было гладко.
Но темпы развития технологии — первый чат-бот появился 52 года назад — вселяют надежду на то, что разработчики со всем скоро справятся. А судя по тому, что ответил мне Сharlie на вопрос о смысле жизни, какие-то важные вещи про людей алгоритмы уже понимают.
