Куда нейросети глядят: как искусственный интеллект помогает незрячим
С развитием технологий искусственного интеллекта (ИИ) появляется возможность интегрировать их во многие отрасли. Например, некоторые компании создают приложения и устройства, помогающие слабовидящим воспринимать мир. Голландская система Envision была запущена как приложение для идентификации текста на изображениях в 2018 году, спустя три года ее интегрировали в Google Glass. Затем Envision внедрила в устройство OpenAI GPT-4, чтобы нейросеть могла по запросу пользователя описать окружающий мир. Подробнее о том, как ИИ-технологии в приложениях и устройствах помогают слабовидящим, — в материале «Известий».
ИИ в жизни слабовидящих
Искусственный интеллект становится всё более распространенным для скрининга, диагностики и лечения заболеваний глаз. Ведущий специалист по технологиям компьютерного зрения «Аурига» Дмитрий Малышев в беседе с «Известиями» рассказал, что существуют различные ИИ-приложения, которые помогают слабовидящим воспринимать мир и играют важную роль в улучшении качества их жизни. Некоторые могут дать подсказку или совет — например, о ближайших местах, где обслуживают слабовидящих.
— Есть также сложные разработки, которые используют виртуальную и дополненную реальность. Они позволяют интегрировать подсказки и предупреждения, с помощью AR-технологии выделяются зоны и объекты непосредственно на изображении, — рассказал эксперт.
ИИ широко применяется в сборе, анализе и обработке биометрических данных. По мнению Дмитрия Малышева, наиболее перспективны неинвазивные способы получения и интерпретации команд и сигналов мозга с помощью датчиков и нейросетей.
К тренду подключаются многие мировые бренды: осознавая важность инклюзивности, они сотрудничают с разработчиками ассистивных технологий и продуктов для людей с ограниченными возможностями. Так, Gucci начала сотрудничать с приложением Aira для незрячих и слабовидящих. Благодаря этому клиенты модного дома смогут общаться с удаленными визуальными переводчиками, которые расскажут о планировке магазина и о том, какие трудности могут встретиться на пути. Также ассистент подскажет, где и какие товары можно найти в магазине, как пройти к кассе или в примерочную.
Прогрессивные разработки
На основе новейших технологий изготавливают очки с дополненной реальностью, импланты сетчатки глаза, интраокулярные линзы и даже бионические глаза. По оценкам экспертов, около трети населения России — потенциальные пользователи ассистивных продуктов. Их численность вырастет незначительно: в среднем на 5–7% к 2030 году. Наибольшая группа — люди с нарушением зрения.
В 2021 году Microsoft представила приложение Seeing AI, воспроизводящее окружающие предметы через камеру смартфона. В то же время IBM презентовала прототип чемодана со встроенными датчиками и алгоритмами ИИ для навигации слабовидящих людей в аэропорту. В прошлом году Apple выпустила People Detection — систему информирования слепых и слабовидящих о находящихся поблизости людях, объектах. Дмитрий Малышев рассказал, что ИИ-технологии преобладают в голосовых помощниках для слабовидящих.
— Взаимодействие с голосовым помощником обычно начинается с запроса пользователя. Он обрабатывается с помощью модели машинного обучения, известной как Speech-to-Text, которая преобразовывает речь пользователя в текст. Наиболее быстрые и точные ответы дает языковая модель из семейства LLM (Large Language Models). Наконец, модель Text-to-Speech преобразует сгенерированный текстовый ответ в речь, которую и слушает пользователь, — заключил Малышев.
Голосовые помощники могут быть улучшены другими технологиями искусственного интеллекта. Например, благодаря автоматическому распознаванию голоса можно выявлять ситуации, когда пользователю требуется медицинская помощь.
Директор лаборатории «Сенсор-Тех» Денис Кулешов рассказал «Известиям», что в России большой популярностью пользуются приложения, определяющие номинал купюр с помощью ИИ. Такие приложения анализируют изображение купюры через экран смартфона и озвучивают незрячему человеку ее «стоимость». Существуют также приложения и сервисы, которые распознают и озвучивают текст документа.
Технологии на основе нейросетей помогают врачам ставить диагноз и выявлять болезни. Так, система Cybersight Consult умеет обнаруживать и визуализировать глаукому и диабетическую ретинопатию. В августе 2020 года медицинское подразделение Ping An Insurance Group Ping An Smart Healthcare создало автоматизированную систему с ИИ, которая точно выявляет диабетическую ретинопатию и патологическую близорукость — опасные болезни, ведущие к ухудшению зрения и последующей слепоте.
Российские технологии
Лаборатория «Сенсор-Тех» специализируется на разработке ассистивных технологий для людей с нарушениями зрения и слуха. В числе разработок специалистов — умный помощник для незрячих «Робин». Внутри «Робина» содержится специальный микрокомпьютер и алгоритм ИИ, который позволяет распознавать крупные объекты, например автомобили, пояснил «Известиям» Денис Кулешов.
«Робин» также может определять лица людей и давать слепому человеку подсказку о том, кто находится перед ним. Дальность распознания объектов — до 10 м, результат выдается почти мгновенно, за 0,2 секунды. «Робин» идентифицирует 50 различных объектов: от мебели до дорожных знаков. С 1 марта 2023 года дети 7–18 лет могут получить устройство бесплатно.
— Встроенные в «Робина» датчики — лазерный и ультразвуковой — позволяют давать подсказки обо всех препятствиях, которые слепой человек может встретить на пути. «Робин» также используется в дополнение к обычной белой трости, которая привычна для незрячих людей, — рассказал Кулешов.
Помимо устройства для распознавания окружающего мира лаборатория создала специальный электронный мяч для незрячих спортсменов. Главная особенность мяча Soundball — непрерывный звук, который издают специальные датчики и электрические моторы. Как только мяч откатывается и останавливается, они начинают громко шуметь.
Денис Кулешов отметил, что некоторые российские разработчики проявили интерес к социальным проблемам и готовы сотрудничать. Например, для устройства «Робин» разрабатывается специальный сервис «Онлайн-помощь» с использованием технологии TrueConf.
— Это позволит незрячим связываться с call-центром и получать помощь специально обученных волонтеров в режиме реального времени. Приложение «Робин Онлайн» устанавливается на мобильный телефон незрячего пользователя, и волонтер благодаря видеоконференцсвязи TrueConf может оценить обстановку и оперативно координировать действия человека или оказать ему помощь в бытовых вопросах: с выбором маршрута, приобретением товаров и другими ежедневными потребностями, — рассказал Кулешов. По словам эксперта, это направление лаборатория «Сенсор-Тех» развивает уже полтора года.
Инвестиции в ассистивные технологии
Рынок AssistiveTech (ассистивные технологии), объединяющий технологии, товары и сервисы для людей с ограниченными возможностями, может возрасти вдвое к 2030 году. Последние 10 лет среди разработок AssistiveTech преобладают решения на основе традиционных механик (инвалидные коляски или устройства с шрифтом Брайля). Однако в три раза быстрее растет число разработок на основе новейших технологий искусственного интеллекта и виртуальной реальности.
Денис Кулешов ранее отмечал, что венчурные инвесторы не готовы вкладываться в технологии, если разработка занимает более пяти лет:«Инвесторы не всегда готовы играть в venture, когда речь идет про DeepTech инновации на 6–8 лет. Сделать штуку в головной мозг, которая вернет слух, зрение или поможет при неврологии, — сложно. Поэтому венчурные инвестиции в AssistiveTech-сфере для меня лично пока под большим вопросом».
Общий объем рынка ассистивных технологий в России составляет по минимальным оценкам 72,2 млрд рублей, из них только половина приходится на российское производство.
В 2022 году венчурные инвестиции в AssistiveTech сократились значительно сильнее, чем на венчурном рынке в целом, упав до минимума с 2017 года. Сокращение произошло во всех регионах мира, кроме Европы, которая опередила исторического лидера — США. Больше половины сделок стабильно приходится на ранние стадии, что говорит о молодости рынка и дефиците сильных игроков. Доля принципиально новых разработок на рынке AssistiveTech сравнительно невелика: всего 12% мировых патентных заявок.
Эксперт по маркетингу и продажам цифровых систем Лилия Алеева считает, что технологии искусственного интеллекта для слабовидящих набирают обороты во всем мире и Россия не является исключением. Хотя реализация может варьироваться, появляются инновации и партнерские отношения.
— Например, организации из Обнинска и Екатеринбурга разработали ультразвуковое устройство для трости под названием Helfer, используемой слабовидящими и слепыми людьми. Это первая в своем роде разработка в России, она предупреждает о приближении к препятствию вибрацией и оснащена беспроводной зарядкой, — пояснила Алеева.
По мнению эксперта, отрасль в России демонстрирует многообещающие перспективы. Кроме того, технологии готовы интегрировать в системы отечественного здравоохранения, а сотрудничество между заинтересованными сторонами — развивать.
