Компания в сфере искусственного интеллекта "Антропик" (Anthropic) раскрыла примечательную деталь в подробностях своих скорректированных финансовых раскрытий (S-1/A), предупредив, что она близка к разработке модели, обладающей возможностями ускоренного самосовершенствования (RSI) — точки, в которой искусственный интеллект становится способным обучать и развивать себя таким образом, что это приводит к огромному ускорению его технических возможностей.
Концепция обратного самосовершенствования среди разработчиков и исследователей рассматривается как палка о двух концах: с точки зрения оптимистов, этот прогресс представляет собой многообещающий инструмент для повышения производительности исследований и ускорения беспрецедентных научных открытий, в то время как исследователи и специалисты по безопасности технологий выражают опасения по поводу возможности потери контроля человека над системами искусственного интеллекта, способными создавать продвинутые версии самих себя в обход контроля.
Что изменилось на практике согласно раскрытиям?
Компания пояснила в разделе факторов риска своей нормативной документации, что она уже использовала системы искусственного интеллекта для ускорения исследований и разработок, что иногда приводило к скачкам возможностей, которые компания не могла точно отследить до некоторого времени спустя. "Антропик" указала, что ее внутренние оценки предполагают вероятность достижения порога "драматически ускоренного прогресса, связанного с искусственным интеллектом", определенного в ее Политике ответственного масштабирования (Responsible Scaling Policy).
Несмотря на эти предупреждения, компания подтвердила, что ни одна из ее текущих моделей еще не преодолела этот порог, подчеркнув свою приверженность сохранению человеческого фактора в основе исследований и разработок в обозримом будущем. Она пояснила, что рассматривает возможность обновления своей политики для предотвращения любого полностью автономного использования модели "Клод" (Claude) в проектировании и создании следующих поколений передовых моделей без надзора человека и реального понимания.
Почему эта новость важна?
Это предупреждение появляется в то время, когда возможности моделей "Клод" в областях программирования, математики и кибербезопасности демонстрируют заметное и быстрое развитие. Это раскрытие также приобретает особую важность, поскольку оно исходит от одной из ведущих компаний в сфере генеративного искусственного интеллекта, проливая свет на потенциальный разрыв между скоростью развития моделей и способностью регулирующих и человеческих институтов идти в ногу со временем и обеспечивать меры безопасности и защиты.