Бот ученый: как нейросети изменят подход к аттестации студентов
Студент РГГУ написал выпускной диплом с помощью чат-бота ChatGPT и с успехом его защитил, после чего признался в этом. Университет заявил, что ограничит доступ к нейросети, а министр науки и высшего образования РФ Валерий Фальков выступил в защиту студента, заметив, что тот просто проверил систему на прочность. Система, очевидно, проверку не прошла — написанный при помощи ChatGPT диплом спровоцировал новые разговоры о том, что нынешний порядок аттестации студентов необходимо реформировать. При этом опрошенные изданием российские вузы пока не собираются вводить контроль над использованием студентами нейросетей. Подробности — в материале «Известий».
Проверил на прочность
В начале февраля стало известно, что выпускник РГГУ Александр Жадан защитил написанный нейросетью ChatGPT диплом. Притом что часть работы он сделал сам, нейросеть позволила закончить диплом за 23 часа. По данным РГГУ, работа была оценена комиссией на оценку «удовлетворительно».
РГГУ после этого предложил ограничить доступ к чат-боту ChatGPT в образовательных организациях, указав на возможное негативное влияние на обучение. В заявлении говорилось, что необходимо разработать инструменты распознавания использования нейросетей при подготовке письменных работ, а также увеличить число «оригинальных индивидуальных заданий, кейсов, расчетов, которые обучающиеся могут выполнить только самостоятельно».
Между тем глава Минобрнауки Валерий Фальков призвал не наказывать выпускника вуза, а университеты и институты, по его словам, должны подумать об изменении подхода к проверке знаний у студентов. «Он просто проверил систему на прочность, на мой взгляд, — заявил министр. — Такого рода ситуации, случающиеся внезапно, — хотя вроде бы об искусственном интеллекте, о нейросети и о ее возможностях известно давно, — показывают, что университетам надо перестраиваться. Как минимум, наталкивает на мысль, что надо менять подход к заданиям».
По его словам, важно формулировать задания таким образом, чтобы решить их мог только учащийся, либо делать «комбинированное задание, предполагающее прямую проверку знаний».
Минобрнауки не представило «Известиям» более подробную позицию министерства по этому вопросу.
Гонка вооружений
Вузы, ответившие на запрос «Известий», в основном не собираются вводить контроль над использованием студентами нейросетей. Отказались от этого, в частности, представители МИРЭА, Финансового университета, МПГУ, РАНХиГС, Томского политехнического университета, а в НИЯУ МИФИ высказались за формулировку кодекса, касающегося этого вопроса.
Так, доцент департамента логистики и маркетинга Финансового университета при правительстве РФ Ольга Жильцова считает, что контроль качества выпускных работ и их процент авторства лежит «полностью в зоне ответственности научных руководителей». В то же время в МФТИ заявили, что необходим полный запрет нейросети в образовательном процессе. Профессор кафедры интеллектуальных систем МФТИ, профессор РАН Константин Воронцов главной проблемой видит практическую недоказуемость истинности или ложности генерируемого текста.
— Конкретный человек должен нести ответственность за любой созданный им общедоступный контент, — сказал он «Известиям». — В случае автоматической генерации никто не несет ответственность за введение людей в заблуждение, способное негативно повлиять на их здоровье, поступки и благополучие.
Директор по науке и технологиям Агентства искусственного интеллекта, преподаватель курса «Введение в искусственный интеллект и разговорные боты» РАНХиГС Роман Душкин считает, что нейросети будут генерировать тексты всё лучше и лучше, а системы контроля — лучше их выявлять. «Гонка вооружений» в итоге приведет к тому, что системы искусственного интеллекта начнут создавать тексты на том же уровне, что и люди, считает он.
Заведующий лабораторией искусственного интеллекта, нейротехнологий и бизнес-аналитики РЭУ им. Г.В. Плеханова Тимур Садыков призвал не преувеличивать интеллектуальность текущей версии чат-бота.
— Она не включает алгоритмы самостоятельного логического анализа и вывода, а лишь компилирует исходные данные и информацию из открытых источников в грамматически правильный текст, который, однако, может быть логически противоречивым и просто бессмысленным, — заметил собеседник «Известий». — Выполненная автором ручная редакция работы не позволяет считать условия этого эксперимента чистыми, но и полученная на защите положительная оценка свидетельствует о некоторой поверхностности в работе комиссии.
В то же время этот прецедент вряд ли приведет к радикальному изменению системы аттестации студентов и контролю за использованием нейросетей, считает Тимур Садыков.
Заведующий лабораторией ИППИ РАН, технический директор Smart Engines Дмитрий Николаев замечает, что если нейросеть справилась с дипломной работой, это «всего лишь означает, что защита диплома не проводилась по существу».
— Важно уметь действительно проверить конкретного человека, — отметил он. — Наличие беспилотников на дорогах не означает, что человек может получить права, подсунув вместо себя робота. Когда нейросети смогут уничтожить целую профессию, только тогда дипломные работы в соответствующей специальности потеряют экономический смысл.
Директор МВА, Executive MBA и магистерских программ Школы управления «Сколково» Булат Нуреев замечает, что инновациям нужно не сопротивляться, а использовать их в образовательной практике, тем более ChatGPT в этой ситуации выполнил лишь рутинную задачу — составление текста.
— Похожая история произошла в Уортонской школе бизнеса, где ChatGPT смог ответить на вопросы для экзамена MBA, — рассказал Нуреев «Известиям». — Однако и это были шаблонные задачи на логику.
Управляющий партнер коммуникационного агентства B&C Agency Иван Самойленко отмечает, что студенты неизбежно будут использовать технологии для написания диплома, но важно понимать, что это только инструмент для получения знаний и развития науки, которую двигает человеческий ум, а не программа, даже самая совершенная.
Средневековая система
Система государственной итоговой аттестации (ГИА) выпускников вузов нуждается в модернизации, причем это касается обеих известных форм — государственного экзамена и защиты выпускной квалификационной работы (ВКР), сказал «Известиям» профессор, доктор технических наук, автор телеграм-канала «Наука и университеты» Евгений Белый.
Роман Душкин замечает, что нынешняя процедура проверки знаний студентов «зародилась еще в средневековых университетах и в современных условиях выглядит отчасти анахронично». Профессор кафедры психологии образования МПГУ Олег Баксанский указывает, что система государственной итоговой аттестации отражает традиционные для ХХ века принципы оценки квалификации специалиста, заложенные в предыдущей парадигме образования и ориентированные на знания, умения, навыки и качества личности. Но уже почти четверть века парадигма образования иная — компетентностная.
— Поэтому налицо парадокс — требования новые, а система оценки — старая. Конечно, это по определению приводит к противоречиям, — сказал он «Известиям». — Проблемы системы аттестации уже давно очевидны всем специалистам, работающим в системе образования.
Директор по исследованиям и разработкам КРОС Ксения Касьянова замечает, что развитие искусственного интеллекта и нейросетей таит в себе опасности для системы аттестации в частности и привычной нам системы образования в целом, но при этом «совершенно не факт, что это представляет опасность для качества образования или качества кадров в будущем».
— Но это точно несет в себе посыл о необходимости пересмотра подхода к затвердевшим и воспроизводимым формам проверки знаний, — сказала она «Известиям».
На сломе эпох
Ректор НИЯУ МИФИ Владимир Шевченко подчеркнул, что эти вопросы обсуждаются регулярно и на разных площадках и история с чат-ботом дискуссию только активизирует.
Он подчеркивает, что проверка знаний студента — развернутый на всё время обучения процесс, в котором есть три основных элемента: самостоятельная работа, устное общение с преподавателем, подготовка эссе, рефератов, курсовых и т.п. И роль первых двух элементов будет усиливаться, а третьего — падать, считает он.
Евгений Белый полагает, что простой отказ от ВКР не поможет. Подход к квалификационной работе нуждается в дифференциации по ступеням образования (бакалавриат, специалитет, магистратура), группам направлений и специальностям. По его мнению, вполне можно внести различия в ГИА у гуманитариев и технарей.
— Казалось бы, простое решение — отказаться на бакалавриате от ВКР, оставив лишь госэкзамен. Однако все мы хорошо знаем недостатки последнего — формальные ответы, зачастую списанные, на стандартные вопросы, — сказал он.
Поэтому, считает Белый, нужно сохранить ВКР в магистратуре — там это магистерская диссертация, которая поможет в проведении исследовательских работ в аспирантуре. В бакалавриате и специалитете, например, сохранить дипломные работы только для выпускников, проявивших в процессе обучения склонность к исследовательской деятельности, а для остальных ввести госэкзамен в модернизированной форме с индивидуальными заданиями.
Для лучших студентов итоговую аттестацию можно свести к защите портфолио, сформированного за годы учебы, с учетом выполненных проектов, докладов на конференциях, научных статей и т.д., считает Евгений Белый.
Заведующая кафедрой статистики и математических методов в управлении РТУ МИРЭА Екатерина Дарда полагает, что практика защиты дипломных работ необходима, но может быть предложена трансформация процедуры именно подготовки ВКР. Сейчас диплом готовится в сжатые сроки, но можно было бы делать это в процессе обучения.
Ректор Томского политеха Дмитрий Седнев отметил, что дипломная работа никогда не была способом оценки знаний, а лишь подтверждала, что студент «умеет делать определенные вещи». Более того, на диплом уже давно обращается не такое пристальное внимание, как раньше, и мало кого при приеме на работу спрашивают о теме выпускной работы. Куда важнее он считает вопрос, как проверять знания. Так, в инженерной среде дипломы должны включать результаты работы над реальными кейсами или в технологических проектах, говорит Седнев.
А вот в социально-гуманитарном блоке, считает собеседник, можно было бы пойти по аналогии с профессиональными аттестациями, когда студенты не защищают диплом в стандартизованной форме перед комиссией, а ведут диалог с представителями профсообщества на профильные темы.
Олег Баксанский считает, что нужно обратиться к практике бизнес-образования: итоговая квалификация там заключается в защите конкретных проектов по решению актуальных задач и разбору ситуативных кейсов. Булат Нуреев также предлагает пользоваться практикой «стартап как диплом».
А Роман Душкин подчеркивает, что главный навык, который должны давать учебные заведения, — способность преадаптации к любым ситуациям.
— Слова министра науки и высшего образования Фалькова показывают, что на уровне министерства и руководящего состава системы образования есть понимание того, что мы находится на сломе эпох, — заключил Душкин.
