25 ведущих математиков подписали открытое письмо, предупреждающее, что гонка лабораторий искусственного интеллекта за прорывами в решении известных математических задач может нанести ущерб открытой структуре, на которой основаны научные исследования. Все подписавшие являются обладателями медали Филдса, считающейся одной из самых престижных наград в математике.
Письмо появляется в период обострения разногласий между OpenAI и рядом академических исследователей. Tristan Buckmaster, профессор Нью-Йоркского университета (NYU), обвинил компанию в давлении на него с целью не указывать заслуги сотрудничающего с ним исследователя, работающего в Anthropic, после решения важной математической задачи. Он также задался вопросом, не использовала ли OpenAI работы, выполненные с помощью Codex, для создания собственного доказательства в течение длительного периода рассуждений. Согласно материалу, доказательство OpenAI по-прежнему не документировано и не проверено.
В другом развитии событий OpenAI на этой неделе отозвала спонсорство математического мероприятия в Калифорнийском технологическом институте (Caltech) после критики со стороны исследователей института. Источник не приводит дополнительных подробностей о причинах отзыва или характере критики, однако помещает этот шаг в контекст растущей напряжённости между лабораториями и университетами.
Проблема не только в решении задачи
В письме признаётся, что способность моделей решать открытые математические задачи может быть полезна человечеству, однако эта польза связывается со способностью математического сообщества понимать решения, объяснять их и встраивать в существующее знание. Подписавшие предупреждают, что быстрое объявление результатов может оставить недостаточно времени для подготовки математического изложения, пригодного для рецензирования, отделения новых методов и идей, а также указания на предшествующие работы.
Согласно письму, это поднимает острые вопросы об атрибуции заслуг и возможности плагиата, особенно когда результат, созданный с помощью искусственного интеллекта, представляется до того, как другие исследователи смогут его проверить или определить его связь с предыдущими работами. В письме также подчёркивается, что математика состоит не только из доказательств: существует более широкий процесс, включающий обучение студентов, постановку новых вопросов, развитие идей и их передачу между поколениями.
Почему эта новость важна?
Практическая проблема, выявляемая этим конфликтом, заключается в нарушении стимулов. Лаборатории искусственного интеллекта, способные тратить десятки миллионов долларов на запуск моделей, могут получить полезное направление решения некоторой задачи раньше исследователей, которые начали над ней работать. Если правила атрибуции, документирования и взаимного использования инструментов не будут ясными, это может побудить исследователей меньше делиться своими работами или избегать использования инструментов искусственного интеллекта, опасаясь, что их результаты попадут в последующие модели или будут приписаны другой стороне.
Письмо появилось после «Лейденской декларации», опубликованной группой математиков в июне; в ней также рассматривалось влияние доказательств языковых моделей на профессию и предлагались рекомендации математикам, учреждениям и политикам. Это указывает на то, что дискуссия уже не связана с единичным инцидентом, а представляет собой раннюю попытку установить стандарты прозрачности, рецензирования и атрибуции заслуг.
Открытыми остаются фундаментальные вопросы, в том числе о том, как доказать источник идей, использованных в доказательстве, созданном с помощью модели, кто несёт ответственность за его проверку и как защитить культуру открытых исследований, не препятствуя использованию новых инструментов. По мнению сайта, эти вопросы касаются не только математики: напряжённость между скоростью систем искусственного интеллекта и требованиями к документируемой творческой работе может аналогичным образом проявиться и в других научных и профессиональных областях.