8 октября 2024 года Нобелевская премия по физике была присвоена Джону Хопфилду и Джеффри Хинтону за открытия и изобретения в области искусственных нейронных сетей для машинного обучения. Сам этот факт означает признание не только заслуг этих двух ученых, но и той роли, которую технологии ИИ играют сегодня во всех сферах науки, индустрии и жизни людей. Включая также и физику, где редкий эксперимент обходится без машинного обучения, а нейросети всё чаще применяются для построения сложных математических моделей по экспериментальным данным.
Большое видится издалека. Как часто случается с нобелевскими премиями, основные результаты были получены довольно давно, и лишь спустя годы стало ясно, что это крупные прорывы и вехи в развитии технологий искусственного интеллекта.
Биологические нейросети позволяют животным и человеку ориентироваться во внешнем мире, обучаться, запоминать, принимать решения, управлять своим поведением. Мозг человека содержит 86 млрд нейронов и около сотни триллионов синапсов — связей между ними. Каждый из них может пропускать через себя электрический сигнал лучше или хуже, причем эта способность может как изменяться, так и надолго сохраняться. Таким образом, синапсы — это элементарные ячейки памяти в мозге.
Искусственные нейросети строятся по схожим принципам, но на совершенно иной элементной базе, в виде программы на компьютере. Там синапс — это одно число, хранящееся в памяти компьютера. Как обучить искусственную нейросеть делать всё то, что делают сети биологические? Для начала, как заставить сеть запоминать и надежно хранить образы? Много различных образов в одной сети — изображения, тексты, сигналы, ситуации.
Искусственная нейросеть, предложенная Джоном Хопфилдом в 1982 году, реализует ассоциативную память для хранения и распознавания образов. В ее основе лежит математическая модель двумерных магнитных материалов, называемых спиновыми стеклами.
В 1985 году Джеффри Хинтон обобщил сеть Хопфилда, назвав новую продвинутую конструкцию машиной Больцмана. В основе этой сети также лежали идеи статистической физики и принцип минимума энергии. Позже они получили развитие в генеративных нейросетях для создания реалистичных изображений и в диалоговых чат-ботах.
Джеффри Хинтон сделал настолько много для теории и приложений нейронных сетей, что по праву носит титул «крестного отца искусственного интеллекта». Он был одним из немногих, кто не поддавался разочарованиям «зим искусственного интеллекта», и оставался верен идеям нейросетевого подхода.
В 1986 году Хинтон стал одним из соавторов метода обратного распространения ошибок, который по сей день является наиболее эффективным способом обучения нейросетей по большим данным. Тогда «идея носилась в воздухе». Годом ранее такой же метод был независимо описан в двух статьях других авторов. Основа была заложена в теории быстрого аналитического дифференцирования еще в 1970-е годы. Профессор МФТИ Александр Галушкин описал процедуру быстрого вычисления градиентов для обучения многослойных нейронных сетей в 1974 году.
В 2012-м Хинтон с двумя своими аспирантами Алексом Крижевски и Ильей Суцкевером опубликовали работу про сверточную AlexNet, она стала прорывом в области компьютерного зрения. Эта работа задала тренды в обучении глубоких нейросетей, которые остаются определяющими и сейчас. Кстати, Илья Суцкевер родился в советском городе Горьком в семье инженера Ефима Суцкевера, но, когда ему было пять лет, переехал с семьей в Израиль. Алекс Крижевски также родился в СССР, на Украине, но вырос и получил образование уже в Канаде.
Сам термин «глубокое обучение» вошел в обиход после публикации Джеффри Хинтона и Руслана Салахутдинова в середине 2000-х годов. При этом общепризнано, что первую глубокую нейросеть построили и описали в своей статье 1965 года Алексей Ивахненко и Валентин Лапа из Института кибернетики АН УССР в Киеве. В последующие десятилетия научная школа Ивахненко развивала метод группового учета аргументов (МГУА), который находил сотни применений в советском народном хозяйстве — от прогнозирования стока паводковых вод до управления технологическими процессами. Важнейший принцип МГУА заключается в комбинаторном переборе огромного числа вариантов структуры модели. Сегодня эти идеи всё чаще находят применение при построении глубоких нейросетей.
Почему они должны быть такими и почему прозорливость Хинтона и его непоколебимая вера в эту научную гипотезу достойны восхищения? Потому что долгое время считалось, что двух слоев достаточно для решения любой задачи приближения функций. Это было доказано многими математиками, в различных вариантах, еще в 1960-е и даже ранее. Андрей Колмогоров и Владимир Арнольд доказали это в работах 1956-го и 1957 годов, закрыв тринадцатую проблему Гильберта.
В конце 1960-х Владимир Вапник и Алексей Червоненкис заложили основы теории статистического обучения как математической основы всего машинного обучения. В 1963-м Вапник и Александр Лернер предложили метод обобщенного портрета, переименованный после небольших модификаций в машину опорных векторов (1992). Знаменитый на весь мир SVM, самый эффективный способ обучения двухслойных нейронных сетей, имевший изящное теоретическое обоснование в теории статистического обучения. Называвшийся убийцей нейронных сетей на протяжении долгих лет «зимы искусственного интеллекта»…
И всё же нет! Одно важное обстоятельство поддерживала веру в идею: глубина биологических нейронных сетей в головном мозге человека, согласно нейрофизиологическим оценкам, составляет от 15 до 30 слоев. Ведь зачем-то природе это нужно.
Сегодня мы обучаем глубокие нейросети из сотен слоев для компьютерного зрения, распознавания и синтеза речи, управления роботами, генерации изображений и текстов на естественном языке. Они имеют десятки и сотни слоев. Самые большие сети пока имеют на два-три порядка меньше синапсов, чем в мозге человека. Но уже способны решать многие задачи не хуже людей.
В мае 2023 года Джеффри Хинтон публично объявил о своем уходе из Google, где он проработал десять лет, чтобы свободно высказываться о рисках, которые несет человечеству слишком быстрый прогресс в области искусственного интеллекта. Благодаря самостоятельному обучению большие нейросетевые модели языка приобрели эмерджентные способности к коммуникации и решению проблем. «Системы ИИ оказались в состоянии ставить перед собой неожиданные подцели, которые не закладывались разработчиками, — считает нобелевский лауреат. — Нам нужно серьезно подумать о том, как контролировать системы ИИ, способные к самосовершенствованию».
Автор — профессор РАН, завкафедрой машинного обучения и цифровой гуманитаристики МФТИ, руководитель лаборатории машинного обучения и семантического анализа Института искусственного интеллекта МГУ
