Школа машин: большие нейросети обучат маленькие
Ученые создали способ взаимного обучения нейросетей, при котором большая система искусственного интеллекта будет делиться опытом со своим меньшим аналогом и в дальнейшем станет следить за его работой, оперативно внося коррективы при возникновении ошибок. Использование этой технологии уже сейчас позволяет в десять раз снизить требовательность систем обработки видеозаписей к вычислительным ресурсам. Система обладает характеристиками, которые позволят сделать качественный рывок в области разработки искусственного интеллекта.
Работа над ошибками
Современные системы искусственного интеллекта способны решать самые разнообразные задачи, начиная от распознавания изображений и заканчивая управлением автомобилем. Однако в большинстве случаев они допускают ошибки в работе, мешающие их более широкому внедрению.
Один из наиболее эффективных способов решения этой проблемы предложила российско-британская группа разработчиков под руководством главного научного сотрудника Института вычислительного моделирования СО РАН, профессора Университета Лестера Александра Горбаня. Заключается этот способ в процессе взаимного обучения систем искусственного интеллекта, где большая по размеру (обучающая) нейросеть со значительным количеством входных информационных каналов обучает нейросеть меньших размеров, предназначенную для менее масштабных задач.
Например, для подготовки системы, рассчитанной на обработку картинок размером 100 на 100 пикселей, подходит система-наставник, способная работать с изображениями в разрешении 1000 на 1000 и более.
— Но главное наше ноу-хау заключается в том, что после прохождения этапа обучения взаимодействие с малой нейросетью не заканчивается, а переходит на стадию контроля, в которой система-наставник отслеживает действия своей ученицы и вовремя предотвращает ошибки, создавая специальную защиту — систему корректоров, препятствующих повторению неверных действий, — рассказал «Известиям» Александр Горбань.
Сами корректоры представляют собой простейшие нейроны, которые практически мгновенно (за несколько миллисекунд) встраиваются в проблемные места нейросети в качестве дополнительных элементов. При этом дальнейшая работа не требует переучивания всей системы, которое занимает много времени и может приводить к возникновению дополнительных ошибок.
В результате ученые создали принципиально новый подход, который позволит серьезно экономить вычислительные ресурсы и уйти от стандартного способа повышения эффективности нейросетей. Он заключался в быстром увеличении количества нейронов и использовании всё более мощных компьютеров для поддержания их работы.
Например, если сейчас одного сервера хватает для полноценной обработки видеопотока с четырех камер видеонаблюдения в реальном времени, то в случае внедрения новой системы его характеристик будет достаточно для обработки данных с 400 таких же камер.
Школа нейросетей
По словам генерального директора компании «Нейросети Ашманова» Станислава Ашманова, идея создать большую и максимально качественную нейросеть для того, чтобы она обучала малую систему искусственного интеллекта (более подходящую для практического использования), на сегодняшний день является одной из наиболее перспективных и универсальных.
— Обычно для этого используется метод компрессии, когда определяются все значимые параметры большой нейросети — как правило, она в десять раз больше маленькой. Эти параметры, то есть полученный опыт, большая нейросеть передает маленькой, что позволяет ее упростить при максимальном сохранении качества работы, — отметил Станислав Ашманов.
Согласно прогнозам разработчиков, созданная ими система обладает характеристиками, которые позволят сделать качественный рывок в области разработки искусственного интеллекта. А именно: создать целые сообщества нейронных сетей с функцией взаимного обучения, способные с большой степенью самостоятельности осваивать мир и создавать собственные знания.
Взаимное обучение нейросетей с последующим автоматическим контролем их ошибок является интересным подходом к увеличению эффективности систем искусственного интеллекта, считает научный руководитель направления профайлинга компании «СёрчИнформ» Алексей Филатов.
— На мой взгляд, не менее важным подходом к совершенствованию нейросетей является повышение качества материала, на котором проходит их обучение, — говорит Алексей Филатов. — Например, система, которая позволяет современным телефонам распознавать лица при фотографировании, училась это делать на огромном количестве изображений, на которых были исключительно человеческие лица. Именно поэтому она работает практически идеально и не требует задействования дополнительных систем, которые борются с ошибками. Вместе с тем не все материалы для обучения получается оптимизировать, и в этом случае применение нового подхода может стать хорошим вариантом для разработчиков.
В настоящее время на основе новой технологии уже производятся чипы, отвечающие за обработку видео в современных системах безопасности. По словам ученых, в будущем технологию можно будет использовать и для множества других задач, связанных с обработкой информации, что приведет к увеличению надежности нейросетей и расширит их применяемость в современной технике.
Финансирование проекта осуществлялось как российскими, так и британскими организациями: исследовательские работы были поддержаны российским Минобрнауки, а прикладные разработки проводились на средства фонда Innovate UK при участии британской компании ARM.
