Transcript · English → Spanish
AI in Military Warfare and Ethics
Bloomberg ha informado que Claude está siendo utilizado por el ejército de EE. UU.
en la guerra en Irán para realizar selección de objetivos asistida por IA
a través de una plataforma fabricada por Palantir, el sistema inteligente de Maven.
En febrero, según se informa, un misil de EE. UU. impactó en una escuela de niñas
en Irán, matando a más de 150 personas, la mayoría de ellas niños.
¿Jugó Claude algún papel en ese ataque?
No sabemos exactamente cómo, ya sabes, se utilizaron estos modelos.
Ya sabes, obviamente,
como, ya sabes,
estas cosas que, ya sabes, los errores que ocurren en la guerra son realmente,
realmente terribles, como, esto es algo realmente terrible que suceda.
Estábamos dispuestos a arriesgar el futuro de nuestra empresa para,
como, limitar cómo, ya sabes, se utilizan estos modelos.
Y ya sabes, de lo que estás hablando es de un caso de uso que
ni siquiera viola nuestras líneas rojas.
Nos preocupa que haya 100 veces más,
ya sabes, con casos de uso que sí violan nuestras líneas rojas.
Ahora, ya sabes, yo, ya sabes, de nuevo, de nuevo, diría, creo que, en general,
el uso de estos el uso de estos modelos es apropiado.
Creo que el balance neto es positivo.
Ya sabes, pero quienes toman decisiones militares cometen errores terribles,
incluso incluso incluso en los mejores momentos.
Y no sé si estamos en los mejores momentos.
Lo que hemos visto aquí es que Claude ayuda, pero un humano toma la decisión final.
Así que un humano tomó esa decisión final, no Claude.
Imagina que tuvieras un mundo en el que no Claude,
porque no lo hemos permitido, sino el modelo de IA de otra persona,
el modelo de IA simplemente toma la decisión y el humano nunca la ve.
Eso es lo que defendíamos.
Eso es contra lo que luchábamos.
Esta escuela tenía un sitio web.
Podrías haberlo encontrado en una búsqueda de Google,
o sea, ¿no debería haberlo detectado Claude?
Y esto plantea un problema más aterrador sobre usar la tecnología como atajo en la guerra.
El principio que se respetó aquí es que un humano toma, que el humano toma la decisión final.
No sé qué papel tuvieron Claude o cualquier otra IA,
pero, a ver, si esto no ilustra por qué ese principio es tan importante,
no sé qué lo hará.
¿Es más probable que la guerra con IA evite la Tercera Guerra Mundial,
una guerra entre EE. UU. y China,
o es más probable que la provoque?
En general, yo diría que es más probable que la evite.
Pero si no ponemos límites a su uso,
entonces creo que, ya sabes, podría ser más probable que la cause.
¿Has visto Dr. Strangelove, verdad?
La premisa era como, ya sabes, tienes un dispositivo del fin del mundo
que dispara automáticamente armas nucleares cuando cree que le están disparando armas nucleares.
¿Qué podría salir mal, verdad?
Creo que la forma en que ocurren los conflictos es que, ya sabes, ambas partes se lanzan la una contra la otra.
Se malinterpretan mutuamente.
Y cuando no tenemos una supervisión adecuada de esta tecnología, creo que
ese tipo de accidentes tienen más probabilidades de ocurrir.
End of transcript · 532 words · machine translated
Original transcript (English)
Bloomberg has reported that Claude is being used by the U.S. military in the war in Iran to do AI-assisted targeting via a platform made by Palantir, Maven's smart system. In February, a U.S. missile reportedly hit a girls' school in Iran, killing more than 150 people, most of them children.
Did Claude play a role in that strike? We don't know exactly how, you know, these models were used. You know, obviously, like, you know, these things that, you know, mistakes that happen in warfare are really,
really terrible, like, this is a really terrible thing to happen. We were willing to risk the future of our company to, like, limit how, you know, these models are used. And you know, what you're talking about is a use case that doesn't even violate our red lines.
We're worried that there will be 100 times as much, you know, with use cases that do violate our red lines. Now, you know, I, you know, again, again, I would say, I think, overall, the use of these the use of these models is appropriate. I think it's good on net.
You know, but military decision makers make terrible mistakes, even even even at the best of times. And I don't know if we're in the best of times. What we've seen here is Claude assists, but a human makes the final call. So a human made that final call, not Claude.
Imagine if you had a world in which not Claude, because we haven't allowed it, but someone else's AI model, the AI model just makes the decision and the human never sees it. That's what we were standing up for. That's what we were fighting against.
This school had a website. You could have found it in a Google search, like, shouldn't Claude have spotted that? And it doesn't speak to a scarier issue about using technology as a shortcut in war. The principle that was obeyed here is a human makes the human makes the final decision.
I don't know what role Claude or any other AI had, but like, if this isn't an illustration why that principle is so important, I don't know what is. Is AI warfare more likely to stop World War Three, a war between the U.S. and China,
or is it more likely to make it happen? I would say on balance, it is more likely to stop it. But if we have no limits on how it's used, then I think, you know, it could be more likely to cause it. You've seen Dr. Strangelove, right?
The premise of it was like, you know, you have a doomsday device that automatically fires nuclear weapons when it thinks nuclear weapons are being fired at it. What could go wrong, right? I think the way conflicts happen is that, you know, the two sides jump at each other. They misunderstand each other.
And when we don't have proper oversight of this technology, I think those kinds of accidents are more likely to happen.
