Termes

Distillation des modèles : qu’est-ce que c’est ?

La distillation des modèles est une technique dans laquelle un modèle étudiant apprend à partir des sorties d’un modèle davantage entraîné. Elle peut être utilisée légitimement pour réduire les coûts d’entraînement, ou de manière abusive pour extraire les capacités d’un modèle via des interfaces de programmation.

La distillation des modèles est une méthode consistant à entraîner un nouveau modèle à partir des sorties d’un autre modèle davantage entraîné, généralement en envoyant des requêtes au modèle ciblé et en analysant ses réponses. Cela peut contribuer à réduire les coûts d’entraînement et à accélérer le développement de nouveaux modèles, mais soulève des inquiétudes lorsque cela est effectué sans autorisation ou en contournant les restrictions d’accès.

Comment fonctionne la distillation des modèles ?

Le modèle étudiant apprend des réponses et du comportement du modèle enseignant dans des tâches telles que la programmation, l’analyse de données et le raisonnement. Plutôt que d’entraîner un modèle concurrent à partir de zéro, l’équipe de développement peut recueillir un grand nombre de sorties et les utiliser pour constituer des données d’entraînement.

Distillation légitime et extraction abusive

  • Distillation légitime : elle est réalisée dans le cadre de conditions d’accès claires et avec l’autorisation du propriétaire du modèle ciblé.
  • Extraction abusive : elle exploite des interfaces de programmation ou des comptes et des moyens multiples pour accéder aux sorties du modèle en dehors de l’environnement contrôlé par l’entreprise propriétaire.

Les sources précisent que le désaccord ne porte pas sur la possibilité de copier n’importe quel type de modèle, mais sur les conditions d’accès, la portée de l’utilisation, la preuve de l’autorisation et le respect des restrictions contractuelles et de sécurité.

Comment peut-elle être utilisée de manière abusive ?

Des sources journalistiques et des avertissements de sécurité ont indiqué que certaines campagnes présumées distribuaient les requêtes entre plusieurs comptes, partagés ou non, ainsi qu’entre des services cloud, des agrégateurs et des agents, afin de contourner les restrictions géographiques, les limites d’utilisation et les systèmes de surveillance. Des tentatives visant à extraire des inférences ou des informations habituellement non présentées aux utilisateurs ont également été signalées.

Indicateurs d’une utilisation abusive des interfaces de programmation

  • Les nouveaux comptes atteignent rapidement les limites d’utilisation après leur création.
  • Une activité continue, dépourvue des périodes d’inactivité habituellement observées chez les humains.
  • L’utilisation des mêmes comptes depuis de nombreuses adresses Internet ou identifiants de navigateur.
  • La répétition des invites auprès de plusieurs fournisseurs.
  • Le basculement coordonné entre différents modes d’accès.

Pourquoi la distillation des modèles est-elle importante ?

La distillation peut réduire le temps et les dépenses nécessaires au développement d’un nouveau modèle, car elle permet de tirer parti des sorties d’un modèle existant au lieu d’assumer le coût de la construction d’un modèle concurrent à partir de zéro. En revanche, elle peut menacer la valeur des modèles fermés et leur capacité à contrôler l’utilisation de leurs interfaces et de leurs sorties.

Les sources relient également ce débat à l’équilibre entre les modèles commerciaux fermés et les modèles à poids ouverts. L’idée de permettre une distillation autorisée pour les laboratoires développant des modèles à poids ouverts a été avancée, tout en rejetant l’usurpation d’identité, la fraude ou le vol d’identifiants.

Quels éléments restent indéterminés ?

Les sources comprennent des accusations et des rapports émanant d’entreprises et d’agences, sans fournir dans tous les cas de vérification indépendante ni de décision judiciaire. Les limites pratiques entre la distillation légitime et l’extraction abusive, ainsi que les questions relatives aux droits de propriété intellectuelle et aux conditions contractuelles, restent également non tranchées dans les éléments disponibles.