Термины
Дистилляция моделей: что это такое
Дистилляция моделей — это метод, при котором модель-ученик обучается на выходных данных более обученной модели. Его могут законно использовать для снижения стоимости обучения или злоумышленно — для извлечения возможностей модели через API.
Дистилляция моделей — это метод обучения новой модели с использованием выходных данных другой, более обученной модели, часто посредством отправки запросов целевой модели и анализа её ответов. Это может помочь снизить стоимость обучения и ускорить разработку новых моделей, однако вызывает обеспокоенность, когда осуществляется без разрешения или в обход ограничений доступа.
Как работает дистилляция моделей?
Модель-ученик обучается на ответах и поведении модели-учителя в таких задачах, как программирование, анализ данных и рассуждение. Вместо обучения конкурирующей модели с нуля разработчик может собрать большое количество выходных данных и использовать их для подготовки обучающего набора данных.
Законная дистилляция и злоумышленное извлечение
- Законная дистилляция: осуществляется в рамках чётких условий доступа и с согласия владельца целевой модели.
- Злоумышленное извлечение: использует API, учётные записи и мультимедийные средства для доступа к выходным данным модели за пределами среды, контролируемой компанией-владельцем.
Источники подчёркивают, что спор касается не доступности какого-либо вида копирования моделей как такового, а условий доступа, масштабов использования, подтверждения наличия разрешения и соблюдения договорных и защитных ограничений.
Как её могут использовать злоумышленно?
Журналистские источники и предупреждения служб безопасности сообщали, что некоторые предполагаемые кампании распределяли запросы между несколькими или общими учётными записями, облачными сервисами, агрегаторами и агентами, чтобы обходить географические ограничения, лимиты использования и системы мониторинга. Также сообщалось о попытках извлечь сведения о рассуждениях или информацию, которая обычно не показывается пользователям.
Признаки злоупотребления API
- Новые учётные записи быстро достигают лимитов использования после создания.
- Непрерывная активность без типичных для человека периодов простоя.
- Одни и те же учётные записи используются с большого количества интернет-адресов или идентификаторов браузеров.
- Повторение запросов через нескольких провайдеров.
- Координированное переключение между разными каналами доступа.
Почему важна дистилляция моделей?
Дистилляция может сократить время и расходы, необходимые для разработки новой модели, поскольку позволяет использовать выходные данные готовой модели вместо того, чтобы нести затраты на создание конкурирующей модели с нуля. В то же время она может угрожать ценности закрытых моделей и их способности контролировать использование своих интерфейсов и выходных данных.
Источники также связывают эту дискуссию с балансом между коммерческими закрытыми моделями и моделями с открытыми весами. Обсуждалась идея разрешить авторизованную дистилляцию для лабораторий, разрабатывающих модели с открытыми весами, при этом отвергая выдачу себя за другое лицо, мошенничество и кражу учётных данных.
Что остаётся нерешённым?
Источники содержат обвинения и отчёты компаний и агентств и не во всех случаях предлагают независимое подтверждение или судебное решение. Практические границы между законной дистилляцией и злоумышленным извлечением, а также вопросы прав интеллектуальной собственности и договорных условий остаются нерешёнными в доступных материалах.