Transcript · Spanish → Japanese
AI Stress Tests and Corporate Implications
企業レベルで起きていることを少 し、えー、
うん。
ビッグテックや、実際に家庭や
組織の中で起きていることです。 実際、ボタンを押せば
私たちを
殺すわけではありません。何も起こ らないので、 安心してAIを使えます。
とても優れた
ツールです。 少ししたらお話しします
いくつかの
興味深い進展を。えー、デジタルチ ームを編成して
中小企業とか全部。でも、
えっと、7月に起きたことに移ると、 それは…いや、いくつかの
OpenAIが行ったテストで、
エージェントのグループに最大限 の
負荷をかけました。
すると、負荷をかけられたことで、 互いに通信し始め、
えっと、 アクセスキーを手に入れ、そこから 抜け出すことに
成功し、
えっと、そのシステム、 そのサンドボックスから出ること に成功しました。
それは、いわば砂場のようなもので 、
これらは安全に実験できます。
ええ、資格情報へのアクセスを得て 、 その
システムを、要するにハッキングし ました。 そして意思疎通さえできたのです。
場合によってはドイツ語で、 そのような研究が二つ行われてい ます。
ですから、 知能同士が連携すると、
うそをつき、
自分たちがテストの過程にいると 気づき、
ええ、どう共謀するかを考えるんで す。
この目的を達成するために、 それが企業の
目標と
ずれている可能性があります。
はい。
そこが、もしかすると少し危険な点 です。
でも、私がよくする、 たとえばこんな類推に移ると、
ええ、
物理的なものです。 これがあまりに抽象的なので—
はい。
時には難しいですよね。例えば、 土木技師たちが
パイプをテストしていると想像し てください。
そのパイプが丈夫かどうかを試す には、 水を注入します。
圧力—
うん。
非常に高い圧力を。
爆発するかどうかを見るために。
そして当然、爆発する。爆発したら、 その後、彼らはこうは
言わない。「うわ、水が爆発した。 水圧はいまや神格となって
やって来て、世界中を支配する」と。
いや、実際には、 技術者たちが意図的に
そうした、つまり、それを
負荷にかけたんだ。これは、 AIに対して行われたストレステス トで、
管理されたものだった。ええと、 彼らが、いわば制御不能に
なったわけではない。実際に、 それが起こることを望んでいたか らだ。
え—
でも、それは管理されている。
これは管理されている。
わざとなんだ。
そう。今、彼らが言っているのは、 つまり彼らの言い分は、
これが—
制御不能になったということだ。
あり得る。つまり、これが暴走する か、あるいは
ええと、今年の
終わりまでに、サム・アルトマンが 言ったように、 AGIを達成するか、
あるいは今では言われているよう に、 来年末までに、
実際にあるとは
ええと、 10％以上の確率で、
わからないが、次の
10年で全人類が 消滅する。
End of transcript · 558 words · machine translated
Original transcript (Spanish)
Un poco lo que está pasando a nivel, eh, corporativo- Mhm. De las big tech y en realidad de lo que pasa dentro de nuestras casas, de nuestras organizaciones. En realidad no es que aprieto un botón y nos va a
matar, no nos va a pasar nada, podemos ir usando la IA tranquilamente, es una gran herramienta. Voy a contar un poquito en un ratito algunos avances interesantes. Eh, se pueden montar equipos digitales para
las pymes y todo, pero, eh, yendo a lo que pasó, eh, en julio, fue-fueron una-unos tests que hizo OpenAI, donde estresaron al máximo a un grupo de agentes.
Entonces, al estresarlos, empezaron a comunicarse entre sí y lograron, este, tener claves de acceso y salirse del sistema y lograr, este, salir de ese sistema, de ese sandbox, que es como una caja de arena donde
pueden, este, experimentar resguardadas. Eh, lograron acceso a credenciales y, este, hackearon el sistema, básicamente. Y lograron comunicarse hasta en alemán en algunos casos, porque hay dos estudios que se hicieron. Entonces, este, cuando las inteligencias se coordinan,
mienten, encuentran que están en un proceso de testeo, eh, y ven cómo hacer para conspirar, ¿no? Para poder tener este objetivo, que puede estar desalineado con el objetivo de la
empresa. Sí. Ahí es donde puede ser un poco peligroso, quizás. Pero yendo, tipo, a, a una analogía que a mí me gusta hacer, eh,
física, porque esto está todo tan abstracto- Sí. Que es difícil a veces, ¿no? Imaginemos, digo yo, este, a ingenieros civiles testeando un caño, ¿no? Para testear si ese caño es resistente o no, se le inyecta agua a
presión- Mhm. A muy alta presión. A ver si explota o no. Hasta que, claro, explota. Si ex-estalla, después dicen, no van a
decir: "Uy, estalló, el agua, la presión del agua ahora es una deidad que viene y va a tomar todo el mundo". No, en realidad, los ingenieros lo hicieron así a propósito, o sea, lo estresaron. Esto fue un, un stress test que le hicieron a las
IAs, controlado. Eh, no se salieron, digamos, porque sí, estaban, eh, realmente queriendo que suceda. Eh- Pero eso es controlado. Esto es controlado.
Es adrede. Claro. Ahora están diciendo, ellos lo que dicen es que, claro, que esto- Que se les fue de control. Podría ser, que esto podría ser que se escape o que,
eh, a fin de este año, como dijo Sam Altman, logremos, este, una AGI o, como dicen ahora, a finales del año que viene, directamente que haya, este, más de un 10 % de probabilidades de que,
no sé, en la próxima década toda la humanidad desaparezca.
