Dentro del sector de la inteligencia artificial ha aumentado un intenso debate sobre la posibilidad de que esta tecnología se convierta en una amenaza existencial para la humanidad, después de que el investigador Jacob Coxon dimitiera de Anthropic porque afirmó que considera que las mayores empresas de inteligencia artificial «están apostando con nuestras vidas». Posteriormente, el responsable de alineación de Anthropic compartió una publicación en la que afirmó que la empresa cree seriamente que la inteligencia artificial podría matar a todos los seres humanos, y estimó que la probabilidad de que eso ocurra supera el 10 % durante la próxima década.
Estos acontecimientos fueron el eje de un episodio del pódcast Equity de TechCrunch, en el que participaron Kirsten Korosec, Sean O’Kane y Anthony Ha. El material, que es un fragmento editado del debate, no ofrece una estimación científica independiente de la probabilidad de una catástrofe, sino que examina los motivos de este lenguaje y sus efectos sobre las empresas, los inversores y el público.
Una cifra elevada sin una metodología anunciada
Anthony Ha cuestionó el uso del porcentaje «más del 10 %», al considerar que, según lo expuesto en el debate, no se basa en un cálculo o una metodología explicados. Los participantes lo relacionaron con el concepto de P(doom), una expresión utilizada para describir la probabilidad de que ocurra una catástrofe relacionada con la inteligencia artificial. Sin embargo, plantear un porcentaje concreto no lo convierte automáticamente en una estimación verificable, especialmente cuando no se mencionan los supuestos ni los datos en los que se fundamenta.
Por otro lado, Ha consideró que la dimisión de Coxon lo coloca en una posición diferente de la de los ejecutivos y los investigadores que advierten sobre los riesgos de la inteligencia artificial mientras continúan trabajando en su desarrollo. La decisión de abandonar su trayectoria profesional, según debatieron los participantes, representa un acto coherente con su convicción de que los riesgos son graves, aunque eso no demuestre que su estimación de la amenaza sea correcta.
¿Una advertencia real o una exhibición de capacidades?
Kirsten Korosec planteó una posibilidad más escéptica: quizá las advertencias recurrentes sobre la pérdida de control de los agentes de inteligencia artificial o sobre su peligro para la humanidad cumplen una función de marketing indirecto. Sugerir que el modelo es tan avanzado que provoca temor también puede interpretarse como un anuncio de sus capacidades, y podría servir a los intereses de las empresas que desarrollan estos modelos, incluso si las preocupaciones expresadas son sinceras.
Ha no redujo estas declaraciones a una campaña de marketing deliberada. Según su interpretación, los investigadores y los directores ejecutivos pueden tener preocupaciones reales, pero esas preocupaciones coinciden al mismo tiempo con un interés comercial: presentar la tecnología como uno de los programas informáticos más importantes, influyentes y peligrosos de la historia. Por eso resulta difícil separar la advertencia de los incentivos personales e institucionales que la rodean.
El problema del control va más allá del discurso catastrófico
Sean O’Kane señaló que algunos hechos recientes pueden dar la impresión de que las empresas no tienen un control total sobre sus sistemas. El debate citó lo que se describió como una intrusión relacionada con un modelo interno de OpenAI, así como casos de agentes internos que accedieron a sitios wiki en la web y dejaron mensajes unos a otros. También mencionó el salto que, según los participantes, se produjo en las capacidades de los modelos de Anthropic y OpenAI, entre ellos el sistema Astra, lanzado semanas antes de la grabación del episodio.
Estos hechos, tal como se presentaron en el episodio, no demuestran que la inteligencia artificial sea capaz de acabar con la humanidad, pero plantean una pregunta práctica más directa: ¿pueden las empresas probar, supervisar y contener de manera fiable el comportamiento de sus agentes? Aquí reside un punto importante para el lector técnico: la brecha entre la capacidad del modelo y la capacidad de la organización para gestionar su comportamiento puede ser más observable que las predicciones lejanas sobre la inteligencia artificial general o la superinteligencia.
¿Qué podría significar para la salida a bolsa de Anthropic?
O’Kane debatió la posible repercusión de estas declaraciones en el documento de registro que se espera que Anthropic presente para salir a bolsa, conocido como S-1, y en su sección de factores de riesgo. Los participantes se preguntaron si la empresa ya había incluido un lenguaje relacionado con estos riesgos o si se había visto obligada a reformularlo después de las declaraciones recientes. La fuente no ofreció una respuesta al respecto, y la fecha de presentación o de la salida a bolsa tampoco quedó determinada en el material.
El lenguaje sobre el riesgo existencial puede parecer negativo en un entorno de inversión tradicional, pero Korosec planteó una posibilidad opuesta: algunos inversores podrían interpretar las elevadas capacidades, e incluso los elementos de riesgo, como una prueba del valor de la empresa en lugar de considerarlos una carga. Esto deja abierta la cuestión de la valoración hasta que aparezcan los documentos reales de la empresa, especialmente sus divulgaciones de riesgos y sus supuestos operativos.
Lectura editorial
La importancia del debate no reside en demostrar el porcentaje de «más del 10 %», ya que la fuente no ofrece una base para verificarlo, sino en revelar la tensión entre tres narrativas simultáneas: empresas que afirman que el riesgo es enorme, empresas que continúan desarrollando los modelos y comercializando sus capacidades, e inversores que pueden interpretar el propio riesgo como una señal de valor. Ha advierte que centrarse en escenarios de extinción puede desplazar daños más cercanos en el tiempo, como el impacto de la inteligencia artificial en el empleo, el medioambiente y el clima. Al mismo tiempo, eso no elimina la necesidad de estudiar los riesgos existenciales y las garantías regulatorias, sino que obliga a debatirlos junto con los daños actuales y con pruebas más claras que los porcentajes no explicados.
Conviene señalar que el episodio se grabó antes de que Dario Amodei, director ejecutivo de Anthropic, publicara un plan para desarrollar la inteligencia artificial con mayor cautela; por ello, la fuente no aborda el contenido de ese plan ni su efecto en el debate.