Университет Пенсильвании экспериментально, с участием тысячи старшеклассников, доказал вред использования искусственного интеллекта (ИИ) в школьном образовательном процессе на примере математики.
В учебные программы тестовых классов для закрепления материала в 2023/24 учебном году были внедрены боты-репетиторы. В одном случае популярный базовый ChatGPT, в другом – его специально адаптированная версия Tutor. В обоих случаях классы сначала показывали лучшие по сравнению с обычными программами результаты. Потом учеников лишили «костылей» и тесты показали регресс (как минимум на 17%) по сравнению со стандартной программой без искусственного интеллекта.
На этом основании американцы сделали вывод: «Необходимо проявлять осторожность при развёртывании генеративного искусственного интеллекта [в образовании], чтобы школьники и студенты продолжали осваивать критически важные навыки».
В России чат-боты пока не вошли в школьную программу, но их стихийное распространение уже почти обессмыслило домашние задания по математике. Достаточно отправить ChatGPT сообщение с условием задачи, и через 2-3 секунды в чате появится развёрнутый ответ.
«Форпост» протестировал ChatGPT на знание «царицы наук». Выяснилось, что в пределах школьной программы он работает практически безотказно. Причём ответ генерируется не по принципу интернет-поисковика. Искусственный интеллект «думает» сам. Его возможности намного превышают простое сканирование информационного пространства. Он распознаёт сходства между различными задачами, выполняет сложные логические операции анализа, синтеза, сравнения и обобщения данных, самостоятельно использует математические формулы.
В этом нетрудно убедиться. Для начала возьмем простую задачу по математике для шестиклассников.
«Девять осликов за 3 дня съедают 27 мешков корма. Сколько корма надо пяти осликам на 5 дней?»
«Переоденем» задачу: вместо осликов впишем мотоциклы, а мешки корма станут литрами бензина. ChatGPT даст правильный ответ – 25 литров. И сопроводит его поэтапным разбором решения в четырех действиях. Замена цифр в задаче также не смутит искусственный разум.
Так же легко чат-бот справился и с типовыми задачами для одиннадцатиклассников. Однако вопрос олимпиадного уровня поставил искусственный интеллект в тупик.
«Клетки квадрата 50 × 50 раскрашены в четыре цвета.
Докажите, что существует клетка, с четырех сторон от которой (то есть сверху, снизу, слева и справа) имеются клетки одного с ней цвета».
Как и в каноническом решении, ИИ действовал методом от противного. Он предположил, что искомых клеток не существует. Далее случился конфуз – чат-бот позволил себе совершенно неверное допущение. Он предположил, что если искомой клетки нет, то любая произвольная клетка имеет четырех соседей не совпадающего с ней цвета, тогда как по условиям задачи достаточно только одного.
«Форпост» высказал боту свои сомнения и тут же получил в ответ сообщение о признании поражения:
«Вы абсолютно правы! Я допустил ошибку в своем рассуждении. В условии задачи требуется, чтобы клетка имела одинаковый цвет со всеми четырьмя соседними клетками, а не только с одной. Мое решение не учитывает этот важный нюанс. Я неправильно интерпретировал условие задачи и построил доказательство, основанное на неверном предположении».
ChatGPT называет себя языковой сетью, но в математических задачах ему легче даётся работа с числами, чем с текстовыми логическими конструкциями. Вероятно, именно поэтому в 1997 году суперкомпьютер Deep Blue от IBM фактически получил мировой чемпионский титул в шахматах, а ChatGPT до сих пор показывает весьма заурядный уровень читательской грамотности с точки зрения методологии оценки тестов PISA (международная программа по оценке образовательных достижений учащихся).
Сам чат-бот относит математику к числу учебных предметов, где он наиболее эффективен. Вместе с иностранными языками, литературой (он сообщает, что может предоставить информацию о писателях, их произведениях и помочь с анализом текста), историей (хронология событий и помощь с интерпретацией исторических источников) и географией.
Самокритику ChatGPT позволяет себе только в отношении физкультуры, музыки, рисования и естественнонаучных предметов, да и то лишь потому, что последние предусматривают лабораторную экспериментальную работу. ИИ уверен в себе и легко признаёт ошибки. Как ни парадоксально, но в нестандартных ситуациях с этикой у него лучше, чем с логикой.
