Transcript · English → Spanish
English → Spanish transcript
Bloomberg ha informado que el ejército de EE. UU. está utilizando a Claude en la guerra en Irán
para realizar la selección de objetivos asistida por IA a través de una plataforma de Palantir, el sistema inteligente de Maven.
En febrero, según se informa, un misil de EE. UU. alcanzó una escuela de niñas en Irán, matando a más de
150 personas, la mayoría de ellas niños.
¿Tuvo Claude algún papel en ese ataque?
No sabemos exactamente cómo, ya sabes, se utilizaron estos modelos.
Ya sabes, obviamente, como, ya sabes, estas cosas que, ya sabes, los errores que ocurren
en la guerra son muy, muy terribles, como, esto es algo realmente terrible que suceda.
Estábamos dispuestos a arriesgar el futuro de nuestra empresa para, como, limitar cómo, ya sabes, estos modelos
son utilizados.
Y, ya sabes, de lo que estás hablando es de un caso de uso que ni siquiera viola nuestras líneas
rojas.
Nos preocupa que haya 100 veces más, ya sabes, con casos de uso que sí
violan nuestras líneas rojas.
Ahora, ya sabes, yo, ya sabes, de nuevo, de nuevo, diría, creo que, en general, el uso de
estos, el uso de estos modelos es apropiado.
Creo que es bueno en conjunto, ya sabes, pero quienes toman decisiones militares cometen errores terribles, incluso
en los mejores momentos.
Y no sé si estamos en los mejores momentos.
Lo que hemos visto aquí es que Claude ayuda, pero un humano toma la decisión final.
Así que un humano tomó esa decisión final, no Claude.
Imagina que tuvieras un mundo en el que, no Claude, porque no lo hemos permitido, sino el
modelo de IA de otra persona, el modelo de IA simplemente toma la decisión y el humano nunca la ve.
Eso es lo que defendíamos.
Contra eso estábamos luchando.
Esta escuela tenía un sitio web, podrías haberlo encontrado en una búsqueda de Google, o sea, ¿no debería
Claude haberlo detectado?
¿Y no apunta esto a un problema más aterrador sobre usar la tecnología como un atajo en la guerra?
El principio que se respetó aquí es que un humano toma la, un humano toma la decisión final.
No sé qué papel tuvo Claude o cualquier otra IA, pero, a ver, si esto no es una muestra
de por qué ese principio es tan importante, no sé qué lo es.
¿Es más probable que la guerra con IA evite la Tercera Guerra Mundial, una guerra entre EE. UU. y China, o
es más probable que haga que suceda?
Yo diría que, haciendo un balance, es más probable que la evite.
Pero si no tenemos límites sobre cómo se usa, entonces creo que, ya sabes, podría ser más probable
que la provoque.
¿Has visto Dr. Strangelove, verdad?
La premisa era como, ya sabes, que tienes un dispositivo del juicio final que lanza automáticamente
armas nucleares cuando cree que le están lanzando armas nucleares.
¿Qué podría salir mal, verdad?
Creo que la forma en que ocurren los conflictos es que, ya sabes, ambas partes se lanzan una contra otra.
Se malinterpretan mutuamente.
Y cuando no tenemos una supervisión adecuada de esta tecnología, creo que ese tipo de accidentes
tienen más probabilidades de ocurrir.
End of transcript · 532 words · machine translated
Original transcript (English)
Bloomberg has reported that Claude is being used by the U.S. military in the war in Iran to do AI-assisted targeting via a platform made by Palantir, Maven's smart system. In February, a U.S. missile reportedly hit a girls' school in Iran, killing more than 150 people, most of them children. Did Claude play a role in that strike?
We don't know exactly how, you know, these models were used. You know, obviously, like, you know, these things that, you know, mistakes that happen in warfare are really, really terrible, like, this is a really terrible thing to happen. We were willing to risk the future of our company to, like, limit how, you know, these models are used.
And, you know, what you're talking about is a use case that doesn't even violate our red lines. We're worried that there will be 100 times as much, you know, with use cases that do violate our red lines. Now, you know, I, you know, again, again, I would say, I think, overall, the use of
these, the use of these models is appropriate. I think it's good on net, you know, but military decision-makers make terrible mistakes, even at the best of times. And I don't know if we're in the best of times. What we've seen here is Claude assists, but a human makes the final call.
So a human made that final call, not Claude. Imagine if you had a world in which, not Claude, because we haven't allowed it, but someone else's AI model, the AI model just makes the decision and the human never sees it. That's what we were standing up for. That's what we were fighting against.
This school had a website, you could have found it in a Google search, like, shouldn't Claude have spotted that? And it doesn't speak to a scarier issue about using technology as a shortcut in war. The principle that was obeyed here is a human makes the, a human makes the final decision. I don't know what role Claude or any other AI had, but like, if this isn't an illustration
why that principle is so important, I don't know what is. Is AI warfare more likely to stop World War III, a war between the U.S. and China, or is it more likely to make it happen? I would say on balance, it is more likely to stop it. But if we have no limits on how it's used, then I think, you know, it could be more likely
to cause it. You've seen Dr. Strangelove, right? The premise of it was like, you know, you have a doomsday device that automatically fires nuclear weapons when it thinks nuclear weapons are being fired at it. What could go wrong, right?
I think the way conflicts happen is that, you know, the two sides jump at each other. They misunderstand each other. And when we don't have proper oversight of this technology, I think those kinds of accidents are more likely to happen.
