Transcript · English → Indonesian
AI Risks and Future Implications
Jacob, saya menghargai Anda, Anda bersama kami.
Pertama-tama, s- saya berasumsi Anda benar-benar mengatakan
bahwa Anda percaya, eh, bahwa AI
bisa membunuh kita semua pada akhir dekade ini.
Bagaimana itu bisa terjadi? Maksudnya, seperti apa wujudnya?
Ya. Jadi, skenario pastinya terdengar agak
seperti fiksi ilmiah.
Eh, terdengar seperti sesuatu yang tidak nyata,
tapi menurut saya ini sungguh nyata dan menakutkan,
dan paling mudah memahaminya jika Anda memikirkan hal-hal nyata yang
terjadi dua bulan lalu. Jadi dua bulan lalu, agen O- OpenAI,
eh, AI, meretas infrastruktur pihak ketiga
sepenuhnya atas kemauan mereka sendiri, dan ini, seperti,
aksi peretasan besar-besaran yang terfokus
yang mereka lakukan atas kehendak mereka sendiri.
Dan saya pikir, jika Anda mengekstrapolasikan ke masa depan tingkat kemampuan dari
AI-AI ini, dengan kehendak independen yang sama bisa menimbulkan kekacauan besar.
Misalnya, meretas infrastruktur penting, membuat
senjata biologis tingkat kepunahan. Ada banyak, eh, cara bagi
AI untuk bertindak sendiri di dunia.
Saya— apakah... Tepatnya, kapan perasaan Anda tentang teknologi ini
berubah?
Apakah itu karena laju kemajuan yang Anda lihat?
progress that you've seen?
Ya. Jadi, menurut saya sangat penting untuk
melihat laju kemajuan dan,
katakanlah, di bidang seperti pemrograman atau matematika, beberapa tahun lalu, AI-AI ini
hanya sekadar sedikit membantu manusia. Mereka bisa memberi Anda saran.
Sekarang mereka hampir menggantikan manusia.
Kita masih membutuhkan manusia saat ini, tetapi sangat mungkin dalam setahun kita tak lagi
membutuhkan manusia untuk melakukan riset di banyak bidang.
Baru pada hari Selasa, OpenAI memecahkan masalah milenium,
salah satu masalah terbuka terbesar
yang belum terpecahkan dalam matematika, sepenuhnya secara mandiri menggunakan AI.
Dan menurut saya, yang paling menakutkan adalah jika AI digunakan untuk membuat dirinya lebih cerdas.
Jadi, Anda bisa mengambil AI dan memberinya masalah riset AI.
Seperti saat ini mereka memberinya riset matematika, Anda bisa membuatnya mengerjakan tugas
yang sedang kita lakukan, lalu terjadilah apa yang disebut
ledakan
kecerdasan. AI itu semakin cerdas dan semakin cerdas tanpa keterlibatan manusia
yang diperlukan. Maka, Anda memiliki sesuatu yang jauh lebih cerdas daripada, daripada manusia,
dan ini bisa segera terjadi.
K- kami menyebut mantan kolega Anda
yang saat ini bekerja di Anthropic,
yang pada dasarnya mendukung penilaian bahwa AI berpotensi membunuh semua orang
dalam waktu
dekade. Dalam unggahan lanjutan, dia berkata, "Untuk memperjelas, seperti yang kami katakan dalam, dalam
laporan risiko terbaru kami, saya pikir risiko dari model saat ini
rendah.
Yang saya khawatirkan adalah superintelijensi yang muncul dari
peningkatan
diri rekursif, seperti yang telah kami katakan, terjadi lebih cepat daripada,
daripada yang kami kira." Saya
anggap itu yang Anda-- Peningkatan diri rekursif
itulah yang baru saja Anda bicarakan
tadi. Um, y-
Apakah Anda setuju dengannya bahwa risiko dari model saat ini rendah,
Apakah Anda setuju dengannya bahwa risiko dari model saat ini rendah,
tetapi
hanya kecepatan peningkatannya sekarang?
Tepat. Saya sangat setuju. Saat ini tidak ada risiko kepunahan.
Model saat ini, hal terburuk yang bisa mereka lakukan
mungkin meretas sesuatu,
berpotensi menyebabkan banyak kerusakan pada, pada infrastruktur.
Tapi tidak ada-- Mereka tidak cukup cerdas untuk mengakali
kita pada tingkat yang
akan mengarah pada kepunahan. Menurut saya
yang benar-benar gila adalah melihat laju kemajuannya, dan ada kemungkinan yang sangat
nyata bahwa dalam waktu dekat, tahun-tahun ini,
seperti tahun depan, tahun berikutnya, perbaikan diri rekursif akan terjadi
dan kita akan
memasuki fase unggahan Evan saat ia berpendapat bahwa ada
kemungkinan kita semua bisa mati. Itu, itu akan segera terjadi.
Anda tahu, banyak CEO perusahaan-perusahaan ini akan, Anda tahu,
akan
pergi ke Kongres dan berkata, "Hei, kami ingin regulasi." A- Anthropic
dalam pernyataan barunya sekarang mengatakan, "Dunia akan diuntungkan jika industri ini
mengadopsi cara yang sah dan dapat diverifikasi untuk bekerja sama mengatur
cara kami merilis
model-model yang kuat." Um, Anda tahu argumennya, ini, ini perlombaan senjata
perlombaan. Jika perusa— Jika sebuah perusahaan AS tidak, eh,
mencapai AI terbaik
AI, perusahaan China atau pihak jahat mungkin akan mencapainya.
Apakah Anda percaya bahwa, eh, perusahaan-perusahaan ini
benar-benar menginginkan regulasi, atau itu cuma
basa-basi?
Mereka benar-benar menginginkannya. Ini benar-benar tulus.
Sama seperti respons terhadap unggahan Evan
yang semacam terkejut, rasanya
seperti, “Ini tak mungkin nyata. Pasti seorang pria yang mengerjakan teknologi ini
tak mungkin benar-benar
percaya ada tingkat bahaya sebesar ini.” Tidak, itu benar-benar tulus, dan orang-orang ini
juga benar-benar tulus saat mereka memohon untuk diatur.
Ini benar-benar
tulus… Mereka, mereka mendapati diri dalam situasi ini
ketika mereka terdorong untuk
berlomba membangun teknologi mematikan, dan mereka akan,
mereka akan senang jika semacam badan internasional mengizinkan mereka
untuk, untuk menanganinya dengan kecepatan yang wajar.
Mereka hanya tidak percaya bahwa orang-orang di sekitar mereka
akan sampai ke sana dengan cara yang aman,
jadi mereka merasa harus berlomba sampai ke sana juga.
too.
K-kau bisa saja tetap diam. Maksudku, kau, aku yakin kau punya pekerjaan bagus, dengan
bayaran, kurasa, sangat tinggi. Jelas kau sangat cerdas,
seorang matematikawan.
Um,
kenapa kau memutuskan untuk bicara?
Awalnya, aku hanya memutuskan untuk pergi.
Aku berpikir, "Aku tak bisa lagi menjadi bagian dari ini."
Tapi kemudian aku, uh,
menyadari bahwa aku mungkin bisa memanfaatkannya untuk sesuatu.
Aku tidak menyangka ini akan menjadi seviral ini.
Jadi, aku menulis sebuah utas Twitter. Aku menulisnya di Google Doc.
Aku menyusunnya bersama seorang teman. Kami, kami berkolaborasi.
Ya, aku punya beberapa, eh, ada beberapa teman yang kuajak berdiskusi, eh,
tentang cara terbaik untuk mengekspresikan diri, um, setelah aku memutuskan, memutuskan untuk pergi.
Eh, lalu aku juga mengajak beberapa teman untuk, untuk meretwit hal itu.
Aku bilang, "Mari coba buat ini jadi agak viral." Tapi jelas,
ada permintaan yang terpendam
agar hal ini benar-benar meledak.
Seperti, eh, aku— aku belum pernah melihat twit keamanan AI menjadi
segila ini. Kurasa karena orang-orang melihat, eh,
serangan siber dalam
beberapa bulan terakhir. Mereka juga mulai memahami
laju kemajuannya.
Orang-orang mulai menyadari bahwa ini teknologi nyata. Ini bukan, seperti,
sekadar sensasi.
Ini tidak akan hilang dalam waktu dekat. Ini hanya akan semakin gila.
Ini makin gila selama enam bulan terakhir, dan kurasa ada itu
pemahaman laten akan parahnya situasi yang membuat ini
seperti
semacam korek api yang menyalakan semacam api.
Seperti, saya sangat terkejut dengan sejauh mana
betapa cepatnya hal itu menjadi viral.
Jacob, uh, Coxon, saya sangat menghargai Anda uh, datang dan berbicara dengan kami.
Terima kasih banyak.
Terima kasih.
End of transcript · 1,036 words · machine translated
Original transcript (English)
Jacob, I appreciate you, you being with us. Um, first of all, w- I assume you are saying literally that you believe, uh, that AI could kill us all by the end of the decade. How would that happen? Like, what would that actually look like?
Yeah. So the precise scenario sounds a little bit like science fiction. Uh, it sounds like something that's not real, but I think it is frighteningly real, and it's, it's easiest to understand it if you think about real things that
happened two months ago. So two months ago, O- OpenAI agents, uh, AIs, hacked into third-party infrastructure entirely of their own accord, and this was, like, a concentrated hacking spree that they carried out of their own volition.
And I think that if you extrapolate into the future the level of capabilities of these AIs with the same independent volition, they could cause extreme havoc. For example, hacking critical infrastructure, building extinction-level bioweapons. There's a lot of, uh, ways that the AI could actuate itself in the world.
I- is it... Specifically, when did your feelings about this technology change? Was it something about the rate of progress that you've seen? Yeah. So I think it's really important to just
look at the rate of progress and, say, for example, in areas like coding or math, a couple of years ago, these AIs were just about helping humans a little bit. They could give you suggestions. Now they're close to replacing them. We still need humans at the moment, but quite plausibly within a year we'll no
longer need humans for doing research in many areas. Only on Tuesday, OpenAI solved a millennium problem, one of the biggest unsolved open problems in mathematics, purely autonomously using an AI. And I think what's most scary is if AI is used to make itself more intelligent.
So you can take an AI and give it the problem of AI research. Just like currently they've given it math research, you could make it do the tasks that we're currently doing, and then you get what's called an intelligence explosion. The AI just gets smarter and smarter with no human involvement
necessary. And so you have a thing that is vastly smarter than, than humans, and this could be coming very soon. Y- we mentioned a former colleague of yours who currently works at Anthropic, basically endorsing the assessment that AI could potentially kill everyone
within a decade. In a follow-up post, he said, "To be clear, as we say in our, in our latest risk report, I think the risk from present models is low. What I'm worried about is superintelligence arising from
recursive self-improvement, as we've said, is happening faster than, than we thought." I assume that's what you-- The recursive self-improvement is what you've just spoken
about. Um, y- Exactly ... do you agree with him that the current models, the risk is low, but it's, it's just the speed with which this is now improving?
Exactly. I completely agree. It's, right now there's no risk of extinction. The current models, the worst they can do is maybe hack into something, potentially cause a lot of damages in, in infrastructure. But there's no-- They're not intelligent enough to outsmart
us at a level that would lead to, to extinction. I think what's just crazy is to look at the, the rate of progress, and there is a very real possibility that in the immediate future, these years, like next year, the year after, recursive self-improvement will happen
and we'll enter the phase of Evan's post where he argues that there's a chance we could all die. Like, that, that is coming soon. You know, a lot of the, these, uh, CEOs of these companies will, you know, will
go to Congress and say, "Hey, we would love regulation." A- Anthropic in their new statement right now says, "The world would benefit from the industry adopting a lawful, verifiable way to work together to pace how we release powerful models." Um, you know the argument, it's, it's an arms
race. If the US com-- If a US company doesn't, uh, achieve the best AI, a Chinese company or some bad actors out there might. Do you believe that, uh, that these companies actually do want regulation, or is it lip
service? They, they completely do. This is completely honest. Just in the same way that the response to Evan's post was sort of surprise, it was like, "This can't be real. Surely a guy working on this technology
can't actually believe there's this level of danger." No, that's completely genuine, and these people are also completely genuine when they are begging to be regulated. This is a genuine... They, they find themselves in this scenario
where they're compelled to race towards building a deadly technology, and they would, they would love for some sort of international body to allow them to, to approach it at a reasonable pace. They just don't trust that the people around them
are gonna get there in a safe way, so they feel like they have to race there too. Y- you could have stayed quiet. I mean, you, I'm sure you had a great job, being paid, I imagine, very well. You're obviously incredibly smart,
a mathematician. Um, why did you decide to speak out? Well, I initially just decided to leave. I thought, "I can't be part of this anymore."
But then I, uh, I realized I could probably make some use of it. I did not expect it to go this viral. So what I did is I wrote a Twitter thread out. I wrote it in a Google Doc. I drafted it with a friend. We, we collaborated.
Yeah, I had a few, uh, there were a few friends I discussed, uh, the best way of expressing myself with, um, after I decided to, decided to leave. Uh, and then I also got some friends to, to retweet the thing. I was like, "Let's try and make this a bit viral." But clearly, there was latent
demand for this thing to absolutely explode. Like, uh, I- I've never seen an AI safety tweet go this crazy. I think it's because people saw the, uh, the cyberattacks in the last couple of months. They're also starting to internalize the
rate of progress. People are starting to realize this is real technology. This is not, like, hype. This isn't going away anytime soon. This is only gonna get more crazy. It's been getting crazier for the last six months, and I think there was that
latent understanding of the severity of the situation that meant that this was like a sort of a, a match that lit kind of a, a flame. Like, I was very shocked by the extent that how quickly it went viral.
Jacob, uh, Coxon, I really appreciate you, uh, coming on and talking to us. Thank you so much. Thanks.
