Términos

Destilación de modelos: destilación de modelos

La destilación de modelos es una técnica en la que un modelo estudiante aprende de las salidas de un modelo más entrenado. Puede utilizarse legítimamente para reducir los costes de entrenamiento o de forma adversaria para extraer las capacidades del modelo mediante interfaces de programación de aplicaciones.

La destilación de modelos es un método para entrenar un modelo nuevo aprovechando las salidas de otro modelo más entrenado, normalmente mediante el envío de solicitudes al modelo objetivo y el análisis de sus respuestas. Esto puede ayudar a reducir los costes de entrenamiento y acelerar el desarrollo de nuevos modelos, pero suscita preocupaciones cuando se realiza sin autorización o eludiendo las restricciones de acceso.

¿Cómo funciona la destilación de modelos?

El modelo estudiante aprende de las respuestas y el comportamiento del modelo profesor en tareas como programación, análisis de datos y razonamiento. En lugar de entrenar un modelo competidor desde cero, el desarrollador puede recopilar un gran número de salidas y utilizarlas para preparar datos de entrenamiento.

Destilación legítima y extracción adversaria

  • Destilación legítima: se realiza conforme a condiciones de acceso claras y con la autorización del propietario del modelo objetivo.
  • Extracción adversaria: aprovecha interfaces de programación de aplicaciones, cuentas y medios alternativos para acceder a las salidas del modelo fuera del entorno controlado por la empresa propietaria.

Las fuentes señalan que la disputa no se refiere a permitir cualquier tipo de copia de modelos, sino a las condiciones de acceso, el alcance del uso, la demostración de la autorización y el respeto de las restricciones contractuales y de seguridad.

¿Cómo puede utilizarse de forma adversaria?

Fuentes periodísticas y advertencias de seguridad han señalado que algunas campañas presuntas distribuyeron las solicitudes entre varias cuentas o cuentas compartidas, servicios en la nube, agregadores y agentes, con el objetivo de eludir las restricciones geográficas, los límites de uso y los sistemas de supervisión. También se han comunicado intentos de extraer inferencias o información que normalmente no se muestra a los usuarios.

Indicadores de uso indebido de interfaces de programación

  • Las cuentas nuevas alcanzan rápidamente los límites de uso después de su creación.
  • Actividad continua que carece de los periodos de inactividad habituales de una persona.
  • Uso de las mismas cuentas desde muchas direcciones de Internet o identificadores de navegador.
  • Repetición de solicitudes a través de varios proveedores.
  • Cambio coordinado entre distintas vías de acceso.

¿Por qué es importante la destilación de modelos?

La destilación puede reducir el tiempo y los gastos necesarios para desarrollar un modelo nuevo, ya que permite aprovechar las salidas de un modelo existente en lugar de asumir el coste de construir un modelo competidor desde cero. Al mismo tiempo, puede amenazar el valor de los modelos cerrados y su capacidad para controlar el uso de sus interfaces y salidas.

Las fuentes también relacionan este debate con el equilibrio entre los modelos comerciales cerrados y los modelos con pesos abiertos. Se ha planteado la idea de permitir la destilación autorizada para laboratorios que desarrollan modelos con pesos abiertos, rechazando la suplantación de identidad, el fraude o el robo de credenciales.

¿Qué aspectos siguen sin resolverse?

Las fuentes incluyen acusaciones e informes de empresas y organismos, y no ofrecen en todos los casos una verificación independiente ni una resolución judicial. Asimismo, siguen sin estar resueltos en las pruebas disponibles los límites prácticos entre la destilación legítima y la extracción adversaria, así como las cuestiones relativas a los derechos de propiedad intelectual y las condiciones contractuales.