Guías
Cómo entender el uso de modelos de lenguaje de gran escala en el software y los flujos de trabajo
Una guía conceptual basada en la evidencia disponible que explica cómo se utilizan los modelos de lenguaje de gran escala para extraer datos, analizar documentos y apoyar la ciberseguridad y el diseño de chips, además de señalar sus límites de fiabilidad y la necesidad de revisión humana.
Los modelos de lenguaje de gran escala se utilizan en múltiples ámbitos, pero la evidencia disponible no respalda tratarlos como sustitutos independientes de los expertos. Los casos citados muestran que su uso práctico suele estar relacionado con acelerar el análisis, extraer información y apoyar las pruebas, mientras la verificación humana sigue siendo necesaria.
1. Define la tarea que realizará el modelo
Empieza por determinar si el uso tiene como objetivo extraer datos de documentos, revisar materiales, apoyar las pruebas o acelerar la búsqueda de errores. Homeward utiliza modelos de lenguaje de gran escala para extraer datos de documentos y ayudar a los equipos de suscripción a revisar fragmentos de vídeo, imágenes e informes de inspección, incluidos detalles sobre superficies, sistemas de calefacción y refrigeración y el estado general del inmueble.
En el diseño de chips, Moores Lab AI se centra en la verificación del diseño, la corrección de errores y la cobertura de las pruebas, en lugar de presentar el modelo como un sustituto autosuficiente de los ingenieros de chips.
2. Prepara las entradas y define los límites de la tarea
Antes de incorporarlo al flujo de trabajo, hay que determinar qué tipo de materiales analizará el modelo y cuál será el resultado esperado. La evidencia indica que proporcionar una especificación a un modelo de lenguaje de gran escala o a un agente de inteligencia artificial puede provocar la pérdida de entre el 20 % y el 30 % de sus detalles precisos, por lo que redactar la solicitud no basta para garantizar la conservación de todos los requisitos.
3. Utiliza los resultados para acelerar el trabajo, no para eliminar la revisión
Los resultados iniciales pueden utilizarse para reducir el trabajo manual o llegar antes a un ciclo de pruebas útil. Moores Lab AI afirma que los usuarios de su plataforma llegan al primer error en 48 horas, en lugar de un periodo que normalmente podría prolongarse durante tres o cuatro meses, pero el material no ofrece una verificación independiente de estos resultados.
En contabilidad, MAVI describe al profesional competente en inteligencia artificial como alguien que combina conocimientos contables, orientación de las herramientas, revisión de sus errores e integración de modelos de lenguaje de gran escala en el flujo de trabajo.
4. Incluye a un experto para revisar los resultados
La revisión humana es importante porque los modelos pueden perder detalles de las especificaciones o producir resultados similares a código publicado. Además, la resolución judicial mencionada mantuvo abierta la posibilidad de demandas por derechos de autor cuando el modelo reproduce código protegido de forma ilícita, y no resolvió todas las controversias relacionadas con el entrenamiento o los resultados.
En el diseño de chips, un solo error puede causar un problema costoso, ya que corregir el chip después de su fabricación puede requerir reconstruir todo el conjunto de chips. Por ello, la revisión especializada y la verificación exhaustiva siguen formando parte del proceso.
5. Prueba el sistema con casos reales antes de ampliarlo
El material de Moores Lab AI indica que la empresa ofrece ejecutar un único proyecto para el cliente y comparar los resultados con el trabajo realizado por sus ingenieros en ese mismo proyecto antes de pasar a otras tareas. Esta práctica proporciona un marco conceptual de evaluación, pero por sí sola no demuestra un rendimiento general o independiente del sistema.
En ciberseguridad, Microsoft afirma que la inteligencia artificial acelera la detección de vulnerabilidades, el desarrollo de malware y algunas actividades posteriores a la intrusión, mientras que la mayoría de las campañas observadas todavía dependen de personas para seleccionar objetivos, tomar decisiones y gestionar las partes complejas.
6. Supervisa los riesgos legales y de seguridad
- Derechos de autor: los modelos pueden producir código similar al código original, y la ausencia de información sobre derechos de autor en el nuevo resultado no determina por sí sola que exista una infracción.
- Precisión: los materiales disponibles no ofrecen mediciones independientes para todos los usos, por lo que los resultados publicados deben considerarse vinculados a la entidad que los comunicó, salvo que exista evidencia adicional.
- Seguridad: los atacantes pueden utilizar modelos de inteligencia artificial para acelerar la detección de vulnerabilidades, la extracción de datos y secretos y el movimiento lateral, lo que hace insuficiente depender únicamente de una corrección manual lenta, según la evaluación de Microsoft.
- Dependencia de las personas: la evidencia no respalda considerar los modelos completamente independientes; la experiencia profesional y las decisiones humanas siguen presentes en los casos mencionados.
7. Amplía el uso gradualmente
Después de definir la tarea, revisar los resultados y probarlos con un caso comparable, puede considerarse ampliar el uso a otras tareas. La evidencia disponible no ofrece una receta operativa uniforme ni métricas suficientes para determinar cuándo es apropiada la ampliación para cada organización, por lo que la decisión sigue dependiendo de la naturaleza de la tarea, el nivel de riesgo y la capacidad del equipo para verificar los resultados.
¿Qué no puede afirmarse con certeza a partir de la evidencia disponible?
- No existen suficientes mediciones independientes que demuestren la precisión de todas las aplicaciones de los modelos de lenguaje de gran escala mencionadas.
- No puede inferirse que los modelos produzcan código o diseños completos sin intervención humana.
- La resolución judicial no resuelve todas las cuestiones relativas al entrenamiento de modelos con código ni al uso de sus resultados.
- Los resultados publicados por una empresa no demuestran un rendimiento general para todos los modelos o sectores.