Anthropic anunció el 25 de agosto de 2026 el lanzamiento de un programa de subvenciones por valor de 5 millones de dólares para financiar investigaciones independientes sobre el impacto de la inteligencia artificial en el bienestar de los usuarios. El programa proporcionará financiación directa, acceso a los modelos de la empresa y apoyo técnico a los investigadores que desarrollen herramientas de evaluación de código abierto que cualquier desarrollador pueda utilizar.
La empresa afirma que los sistemas inteligentes se han convertido en parte del trabajo, el aprendizaje y la resolución de problemas, y que algunas personas también los utilizan como compañeros de conversación o como fuente de apoyo emocional durante momentos difíciles. Sin embargo, el sector todavía carece de normas claras que determinen cómo deben comportarse los modelos cuando un usuario busca compañía o intenta afrontar una crisis de salud mental.
¿Por qué es difícil medir el bienestar de los usuarios?
Anthropic considera que la evaluación de este aspecto no puede reducirse al examen de una respuesta aislada. Es posible que el usuario no revele pensamientos de autolesión al principio de la conversación, mientras que la necesidad de una respuesta más cautelosa puede aparecer después de varios mensajes. Del mismo modo, un consejo adecuado en un contexto puede resultar perjudicial en otro.
La empresa pone como ejemplo un consejo sobre alimentación equilibrada o ejercicio dirigido a un usuario que pregunta cómo perder peso; ese consejo podría volverse inapropiado o realmente perjudicial si el usuario revelara antecedentes de trastornos alimentarios. Anthropic afirma que trabaja en el desarrollo de medidas de protección para detectar estos patrones y que publica investigaciones sobre los tipos de conversaciones que los usuarios mantienen con Claude con el fin de mejorar esas medidas y sus métodos de evaluación.
¿Qué investigarán las subvenciones?
La división de Safeguards de Anthropic publicó directrices para las evaluaciones y los criterios de referencia que considera susceptibles de servir como base. Entre los criterios principales se incluyen:
- Definir claramente qué se está midiendo, qué representa el éxito o el fracaso y por qué es importante.
- Involucrar a expertos clínicos y especialistas en el diseño de la evaluación y la verificación de su validez.
- Evaluar conjuntamente las precauciones y los daños, incluidos los riesgos del cumplimiento excesivo y del rechazo excesivo.
- Simular la forma en que las personas utilizan la inteligencia artificial, especialmente mediante conversaciones de varias rondas en las que el contexto cambia y el riesgo puede aumentar.
- Verificar la precisión de las herramientas de evaluación automatizada comparándolas con las opiniones de expertos reales.
¿Qué cambia en la práctica?
Anthropic no anuncia un estándar único ya preparado, sino que financia la creación de evaluaciones independientes y abiertas que puedan ayudar al sector a desarrollar una base de ese tipo. La importancia de la medida radica en trasladar el debate de la comprobación de la seguridad de respuestas individuales al examen del comportamiento del modelo a lo largo de una conversación completa, teniendo en cuenta las diferencias de contexto y la posibilidad de daños indirectos.
Los beneficiarios trabajarán con plena independencia y publicarán sus trabajos como proyectos de código abierto. La convocatoria está dirigida a especialistas, entre ellos médicos, profesionales de la salud mental, expertos en metodologías y otros. La fecha límite para presentar solicitudes es el 21 de septiembre, mientras que las entidades invitadas a presentar propuestas completas serán notificadas antes del 5 de octubre.
La eficacia del programa seguirá estando vinculada a la capacidad de los investigadores para convertir conceptos complejos como el bienestar y el daño psicológico en criterios medibles y verificables. Además, la financiación de las evaluaciones no determina por sí sola cómo se utilizarán sus resultados en el diseño de barreras preventivas o en la gestión de casos delicados.