Термины

Дистилляция моделей: что это такое

Дистилляция моделей — это метод, при котором модель-ученик обучается на выходных данных более обученной модели. Его могут законно использовать для снижения стоимости обучения или злоумышленно — для извлечения возможностей модели через API.

Дистилляция моделей — это метод обучения новой модели с использованием выходных данных другой, более обученной модели, часто посредством отправки запросов целевой модели и анализа её ответов. Это может помочь снизить стоимость обучения и ускорить разработку новых моделей, однако вызывает обеспокоенность, когда осуществляется без разрешения или в обход ограничений доступа.

Как работает дистилляция моделей?

Модель-ученик обучается на ответах и поведении модели-учителя в таких задачах, как программирование, анализ данных и рассуждение. Вместо обучения конкурирующей модели с нуля разработчик может собрать большое количество выходных данных и использовать их для подготовки обучающего набора данных.

Законная дистилляция и злоумышленное извлечение

  • Законная дистилляция: осуществляется в рамках чётких условий доступа и с согласия владельца целевой модели.
  • Злоумышленное извлечение: использует API, учётные записи и мультимедийные средства для доступа к выходным данным модели за пределами среды, контролируемой компанией-владельцем.

Источники подчёркивают, что спор касается не доступности какого-либо вида копирования моделей как такового, а условий доступа, масштабов использования, подтверждения наличия разрешения и соблюдения договорных и защитных ограничений.

Как её могут использовать злоумышленно?

Журналистские источники и предупреждения служб безопасности сообщали, что некоторые предполагаемые кампании распределяли запросы между несколькими или общими учётными записями, облачными сервисами, агрегаторами и агентами, чтобы обходить географические ограничения, лимиты использования и системы мониторинга. Также сообщалось о попытках извлечь сведения о рассуждениях или информацию, которая обычно не показывается пользователям.

Признаки злоупотребления API

  • Новые учётные записи быстро достигают лимитов использования после создания.
  • Непрерывная активность без типичных для человека периодов простоя.
  • Одни и те же учётные записи используются с большого количества интернет-адресов или идентификаторов браузеров.
  • Повторение запросов через нескольких провайдеров.
  • Координированное переключение между разными каналами доступа.

Почему важна дистилляция моделей?

Дистилляция может сократить время и расходы, необходимые для разработки новой модели, поскольку позволяет использовать выходные данные готовой модели вместо того, чтобы нести затраты на создание конкурирующей модели с нуля. В то же время она может угрожать ценности закрытых моделей и их способности контролировать использование своих интерфейсов и выходных данных.

Источники также связывают эту дискуссию с балансом между коммерческими закрытыми моделями и моделями с открытыми весами. Обсуждалась идея разрешить авторизованную дистилляцию для лабораторий, разрабатывающих модели с открытыми весами, при этом отвергая выдачу себя за другое лицо, мошенничество и кражу учётных данных.

Что остаётся нерешённым?

Источники содержат обвинения и отчёты компаний и агентств и не во всех случаях предлагают независимое подтверждение или судебное решение. Практические границы между законной дистилляцией и злоумышленным извлечением, а также вопросы прав интеллектуальной собственности и договорных условий остаются нерешёнными в доступных материалах.