Нейросеть «ВКонтакте» научили выявлять суицидальный контент
Соцсеть «ВКонтакте» начала использовать «обученный» алгоритм собственной разработки, который присваивает картинкам специальный рейтинг, определяя, содержится ли в них противоправный или «опасный» контент. Алгоритм распознает на картинках объекты — людей, животных, растения. Выявленный «запрещенный» контент не попадает в поисковую выдачу и «умную» новостную ленту либо полностью блокируется. Технология также способна анализировать текстовые надписи на изображениях.
В компании рассказали, что нейросеть умеет определять предметы и сущности, изображенные на фото. Она понимает не только «человек», «ребенок», «животное», «растение», но и может определить, например, предмет одежды, символ «групп смерти». В целом нейросеть имеет несколько тысяч классов, которые присваиваются фотографиям — от 0 до 1 по нескольким параметрам. Если алгоритм характеризует фото как «опасное», оно отправляется модераторам для проверки. Если же фото признано «умеренно опасным», оно пропадает из поисковой выдачи, а в новостной ленте понижается его приоритет. Механизм помогает остановить распространение спама, мошенничества, детской порнографии, нелегальных услуг и другой противоправной деятельности.
Отдельный сценарий предусмотрен для борьбы с суицидальным контентом. Записи и фото на эту тему удаляются автоматически, а страницы их авторов блокируются.
Если пользователь загружает картинку или упоминает хэштеги, которые ранее использовали в качестве призыва к суициду, «ВКонтакте» блокирует его страницу и предлагает сообщить о причинах публикации. На основании ответов определяется, когда страница будет разблокирована, и дальнейшие действия: пользователю может быть предложена помощь психологов фонда «Твоя Территория» или советы по безопасности страницы.
Алгоритм также помогает формировать «умную» новостную ленту, которая была введена «ВКонтакте» в прошлом году, — записи от друзей и сообществ отображаются не в хронологическом порядке, а по приоритету, максимально интересному конкретному пользователю. Присваивание классов нужно не только для удаления противоправных изображений, но и для формирования ленты пользователя с учетом его интересов. Если человек ставит лайки на фотографиях с кошками, то в персонализированной ленте в приоритете ему будут чаще выводиться записи с кошками. На сегодняшний день, по данным «ВКонтакте», «умной» лентой пользуется 80% активной аудитории соцсети.
Руководитель направления Big Data и Machine Learning «ВКонтакте» Андрей Законов рассказал, что сейчас нейросеть тестируют на анализ текста поверх изображений. По его словам, технология необходима в первую очередь для того, чтобы сделать новостную ленту пользователя «максимально полезной и интересной».
— Нейросеть анализирует только изображения, загружаемые для общего доступа, то есть отправляемые фото в личных сообщениях не анализируются, — пояснил Андрей Законов. — С помощью этой технологии в будущем мы сможем бороться со спамом и мошенничеством. Мы обучили нашу нейросеть на основе жалоб пользователей на разный контент.
Технология нейросетей известна уже много лет, но популярной ее сделали многопользовательские приложения, превращающие фотографии в произведения искусства. Первой была Prisma от выходца из Mail.ru Group, позднее такое же приложение с названием Vinci выпустила «ВКонтакте», а затем и сама Mail.ru Group выпустил приложение Artisto, которое уже редактировало видео.
В отличие от стандартных алгоритмов, запрограммированных выполнять определенные действия, нейросеть работает по принципу человеческого мозга. Ее учат анализировать данные и принимать решения самостоятельно. Например, Google сейчас развивает нейросеть в своем сервисе-переводчике так, чтобы она могла переводить тексты с одного языка на другой, как это сделал бы человек.
Основатель компании «АРБ Диджитал» (работает в сфере анализа данных и машинного обучения, в том числе создания и применения искусственных нейронных сетей в прикладных бизнес задачах) Владислав Арбатов рассказал, что в любой соцсети есть проблема суицидальных проявлений и противоправной деятельности, но все с ней борются по-разному. По его словам, уже существуют нейросети, которые не только умеют распознавать предметы на фото, но и делать осмысленные описания.
— Например, Instagram просто блокирует посты по хэштегу «синий» и предлагает обратиться за квалифицированной помощью, но это не очень эффективно. А вот использование VK более подходящего способа с распознаванием изображений, — большой плюс и будет более эффективным, — заявил Владислав Арбатов. — Текстовый контент и сейчас можно проанализировать, провести поиск, старгетировать рекламу на его основе, а вот изображение нужно сначала распознать. Грубо говоря, это перевод картинки в текстовый вид, пригодный для множества задач. Instagram, Facebook тоже используют технологии машинного обучения, как для выявления контента 18+, так и для более релевантной для пользователя ленты, причем Facebook еще использует алгоритм для людей с ограниченными возможностями — пользователи со слабым зрением могут запустить «читалку», узнать, что изображено на картинке.
Научный сотрудник Университета Иннополис Леонард Йохард рассказал, что классификация изображений — серьезное достижение в области нейронных сетей.
— Нейронные сети справляются с простыми задачами по распознаванию объектов гораздо лучше, чем люди, погрешность при обнаружении однородного объекта, как правило, составляет всего несколько процентов, — заявил Леонард Йохард. — Безусловно, визуальный суицидальный и эротический контент — это субъективные понятия, которые во многом зависят от контекста, поэтому подобный контент сложнее распознать по сравнению с обычными объектами. Анализ cодержания изображения — объект пристального внимания в научной среде с многообещающими результатами. Это интересная, но непростая задача. Конечно, в процессе работы будут ошибки, но по мере увеличения объема собранных данных результаты станут лучше.
Эксперт добавил, что мнения относительно развития тренда в области классификации изображений и видео расходятся. Некоторые представители сообщества специалистов по технологии глубокого обучения заявляют, что нейронные сети могут развить более глубокое восприятие мира просто за счет отслеживания очень больших объемов изображений и видео. Другие считают, что нейронные сети еще долго будут познавать этот мир, так как истинное понимание происходит только в процессе комплексного взаимодействия с ним.
