Transcript · English → Malay
AI Risks and Future Implications
Jacob, saya menghargai kehadiran kamu bersama kami.
Erm, pertama sekali, s-saya andaikan anda benar-benar mengatakan
bahawa anda percaya, erm, bahawa AI
boleh membunuh kita semua menjelang akhir dekad ini.
Bagaimana itu akan berlaku? Maksud saya, apakah rupanya nanti?
Ya. Jadi senario yang tepat kedengaran sedikit
seperti fiksyen sains.
Erm, ia kedengaran seperti sesuatu yang tidak nyata,
tetapi saya rasa ia amat menakutkan dan nyata,
dan lebih mudah untuk memahaminya jika anda memikirkan perkara sebenar yang
berlaku dua bulan lalu. Jadi dua bulan lalu, ejen O- OpenAI,
erm, AI, menggodam infrastruktur pihak ketiga
sepenuhnya atas kehendak mereka sendiri, dan ini, seperti,
satu siri penggodaman yang tertumpu
yang mereka lakukan atas kehendak mereka sendiri.
Dan saya rasa jika anda mengekstrapolasi ke masa depan tahap keupayaan
AI ini dengan kehendak bebas yang sama boleh menyebabkan huru-hara yang dahsyat.
Contohnya, menggodam infrastruktur kritikal, membina
senjata biologi bertaraf kepupusan. Ada banyak, eh, cara yang
AI boleh bertindak sendiri di dunia.
Saya— adakah... Secara khususnya, bilakah perasaan anda tentang
teknologi ini
berubah? Adakah ia sesuatu tentang kadar
kemajuan yang anda lihat?
Ya. Jadi saya rasa sangat penting untuk
melihat kadar kemajuan dan,
katakanlah, dalam bidang seperti pengaturcaraan atau matematik, beberapa tahun lalu, AI ini
hanya sekadar membantu manusia sedikit sahaja. Ia boleh memberi anda cadangan.
Kini, ia hampir menggantikan mereka.
Kita masih memerlukan manusia pada masa ini, tetapi agak munasabah dalam setahun kita tidak akan
lagi memerlukan manusia untuk melakukan penyelidikan dalam banyak bidang.
Baru pada hari Selasa, OpenAI menyelesaikan satu masalah milenium,
salah satu masalah terbuka terbesar
yang belum diselesaikan dalam matematik, sepenuhnya secara autonomi menggunakan AI.
Dan saya rasa yang paling menakutkan ialah jika AI digunakan untuk menjadikan dirinya lebih pintar.
Jadi, anda boleh mengambil AI dan memberikannya masalah penyelidikan AI.
Sama seperti kini mereka memberikannya penyelidikan matematik, anda boleh menyuruhnya melakukan tugas
yang sedang kita lakukan, dan kemudian anda mendapat apa yang dipanggil
letupan
kecerdasan. AI itu semakin pintar dan semakin pintar tanpa penglibatan manusia
diperlukan. Jadi, anda mempunyai sesuatu yang jauh lebih pintar daripada, daripada manusia,
dan ini mungkin akan berlaku tidak lama lagi.
A- Kami menyebut seorang bekas rakan sekerja anda
yang kini bekerja di Anthropic,
yang pada dasarnya menyokong penilaian bahawa AI berpotensi membunuh semua orang
dalam tempoh
dekad. Dalam hantaran susulan, dia berkata, "Untuk menjelaskan, seperti yang kami katakan dalam, dalam
laporan risiko terkini kami, saya rasa risiko daripada model semasa
adalah rendah.
Apa yang saya bimbangkan ialah kecerdasan super yang timbul daripada
penambahbaikan kendiri
secara rekursif, seperti yang kami katakan, berlaku lebih pantas daripada,
daripada yang kami sangkakan." Saya
anggap itulah yang anda— Penambahbaikan kendiri rekursif
itulah yang baru anda bincangkan
tadi. Um, ya-
adakah anda bersetuju dengannya bahawa model semasa, risikonya rendah,
adakah anda bersetuju dengannya bahawa model semasa, risikonya rendah,
tetapi
cuma kelajuan yang dengannya perkara ini kini semakin baik?
Tepat sekali. Saya setuju sepenuhnya. Buat masa ini, tiada risiko kepupusan.
Model semasa, perkara paling buruk yang boleh dilakukannya
mungkin menggodam sesuatu,
berpotensi menyebabkan banyak kerosakan pada infrastruktur.
Tetapi tiada— Ia tidak cukup bijak untuk mengatasi
kita pada tahap yang
akan membawa kepada kepupusan. Saya rasa
yang benar-benar gila ialah melihat, kadar kemajuan itu, dan ada kemungkinan yang sangat
nyata bahawa dalam masa terdekat, tahun-tahun ini,
seperti tahun depan, tahun selepas itu, penambahbaikan kendiri rekursif akan berlaku
dan kita akan
memasuki fasa dalam hantaran Evan di mana dia berhujah bahawa ada
kemungkinan kita semua boleh mati. Itu, itu akan tiba tidak lama lagi.
Tahulah, ramai daripada, mereka ini, eh, CEO syarikat-syarikat ini akan, tahulah,
akan
pergi ke Kongres dan berkata, "Hei, kami sangat mengalu-alukan peraturan." A- Anthropic
dalam kenyataan baharu mereka sekarang berkata, "Dunia akan mendapat manfaat jika industri
mengamalkan cara yang sah di sisi undang-undang, boleh disahkan untuk bekerjasama dalam menentukan rentak
cara kami melancarkan
model yang berkuasa." Um, tahulah hujahnya, ia, ia adalah senjata
perlumbaan. Jika syarikat AS-- Jika syarikat AS tidak, er,
mencapai AI terbaik
AI, syarikat China atau beberapa pihak jahat di luar sana mungkin akan.
Adakah anda percaya, er, bahawa syarikat-syarikat ini
benar-benar mahukan peraturan, atau sekadar cakap
kosong?
Mereka, mereka memang mahu. Ini benar-benar jujur.
Sama seperti reaksi terhadap hantaran Evan
agak terkejut, ia
seperti, “Ini tak mungkin benar. Tentunya seorang lelaki yang mengusahakan teknologi ini
tak mungkin benar-benar
percaya tahap bahaya ini wujud.” Tidak, itu benar-benar tulen, dan mereka ini
juga benar-benar tulen apabila mereka merayu untuk dikawal selia.
Ini benar-benar
tulen… Mereka, mereka mendapati diri dalam situasi ini
apabila mereka terpaksa
berlumba-lumba membina teknologi yang membawa maut, dan mereka akan,
mereka mahu badan antarabangsa membenarkan mereka
untuk mendekatinya pada kadar yang munasabah.
Mereka cuma tidak percaya orang di sekeliling mereka
akan sampai ke situ dengan cara yang selamat
jadi mereka rasa mereka perlu berlumba untuk sampai ke situ juga.
too.
A- anda boleh saja berdiam diri. Maksud saya, anda, saya pasti anda ada pekerjaan yang hebat,
dibayar, saya bayangkan, dengan sangat lumayan. Anda jelas sangat bijak,
seorang ahli matematik.
Um,
kenapa anda memutuskan untuk bersuara?
Pada mulanya, saya cuma memutuskan untuk pergi.
Saya fikir, "Saya tak boleh lagi menjadi sebahagian daripada ini."
Tapi kemudian saya, uh,
sedar saya mungkin boleh memanfaatkannya sedikit.
Saya tidak sangka ia akan menjadi tular sebegini.
Jadi apa yang saya lakukan ialah saya menulis bebenang Twitter . Saya menulisnya dalam Google Doc.
Saya merangkanya bersama seorang kawan. Kami, kami bekerjasama.
Ya, saya ada beberapa, eh, ada beberapa rakan yang saya berbincang dengan tentang
cara terbaik untuk menyatakan diri saya, erm, selepas saya memutuskan untuk, memutuskan untuk pergi.
Eh, kemudian saya juga minta beberapa rakan untuk mengeciap semula perkara itu.
Saya macam, "Mari cuba jadikan ini sedikit tular." Tapi jelas sekali,
terdapat permintaan terpendam
agar perkara ini benar-benar meledak.
Macam, eh, saya— saya tak pernah lihat ciapan keselamatan AI menjadi
segila ini. Saya rasa sebab orang nampak, eh,
serangan siber dalam
beberapa bulan kebelakangan ini. Mereka juga mula memahami kadar
kemajuan.
Orang mula menyedari ini teknologi sebenar. Ini bukan sekadar,
gembar-gembur.
Ini takkan hilang dalam masa terdekat. Ini cuma akan jadi semakin gila.
Ia semakin gila sejak enam bulan lalu, dan saya rasa memang ada hal itu
pemahaman terpendam tentang betapa seriusnya situasi itu yang menyebabkan perkara ini
menjadi seperti
sejenis, sebatang mancis yang menyalakan sejenis api.
Seperti, saya sangat terkejut dengan sejauh mana
betapa cepatnya ia tular.
Jacob, eh, Coxon, saya amat menghargai anda, eh, kerana datang dan bercakap dengan kami.
Terima kasih banyak-banyak.
Terima kasih.
End of transcript · 1,070 words · machine translated
Original transcript (English)
Jacob, I appreciate you, you being with us. Um, first of all, w- I assume you are saying literally that you believe, uh, that AI could kill us all by the end of the decade. How would that happen? Like, what would that actually look like?
Yeah. So the precise scenario sounds a little bit like science fiction. Uh, it sounds like something that's not real, but I think it is frighteningly real, and it's, it's easiest to understand it if you think about real things that
happened two months ago. So two months ago, O- OpenAI agents, uh, AIs, hacked into third-party infrastructure entirely of their own accord, and this was, like, a concentrated hacking spree that they carried out of their own volition.
And I think that if you extrapolate into the future the level of capabilities of these AIs with the same independent volition, they could cause extreme havoc. For example, hacking critical infrastructure, building extinction-level bioweapons. There's a lot of, uh, ways that the AI could actuate itself in the world.
I- is it... Specifically, when did your feelings about this technology change? Was it something about the rate of progress that you've seen? Yeah. So I think it's really important to just
look at the rate of progress and, say, for example, in areas like coding or math, a couple of years ago, these AIs were just about helping humans a little bit. They could give you suggestions. Now they're close to replacing them. We still need humans at the moment, but quite plausibly within a year we'll no
longer need humans for doing research in many areas. Only on Tuesday, OpenAI solved a millennium problem, one of the biggest unsolved open problems in mathematics, purely autonomously using an AI. And I think what's most scary is if AI is used to make itself more intelligent.
So you can take an AI and give it the problem of AI research. Just like currently they've given it math research, you could make it do the tasks that we're currently doing, and then you get what's called an intelligence explosion. The AI just gets smarter and smarter with no human involvement
necessary. And so you have a thing that is vastly smarter than, than humans, and this could be coming very soon. Y- we mentioned a former colleague of yours who currently works at Anthropic, basically endorsing the assessment that AI could potentially kill everyone
within a decade. In a follow-up post, he said, "To be clear, as we say in our, in our latest risk report, I think the risk from present models is low. What I'm worried about is superintelligence arising from
recursive self-improvement, as we've said, is happening faster than, than we thought." I assume that's what you-- The recursive self-improvement is what you've just spoken
about. Um, y- Exactly ... do you agree with him that the current models, the risk is low, but it's, it's just the speed with which this is now improving?
Exactly. I completely agree. It's, right now there's no risk of extinction. The current models, the worst they can do is maybe hack into something, potentially cause a lot of damages in, in infrastructure. But there's no-- They're not intelligent enough to outsmart
us at a level that would lead to, to extinction. I think what's just crazy is to look at the, the rate of progress, and there is a very real possibility that in the immediate future, these years, like next year, the year after, recursive self-improvement will happen
and we'll enter the phase of Evan's post where he argues that there's a chance we could all die. Like, that, that is coming soon. You know, a lot of the, these, uh, CEOs of these companies will, you know, will
go to Congress and say, "Hey, we would love regulation." A- Anthropic in their new statement right now says, "The world would benefit from the industry adopting a lawful, verifiable way to work together to pace how we release powerful models." Um, you know the argument, it's, it's an arms
race. If the US com-- If a US company doesn't, uh, achieve the best AI, a Chinese company or some bad actors out there might. Do you believe that, uh, that these companies actually do want regulation, or is it lip
service? They, they completely do. This is completely honest. Just in the same way that the response to Evan's post was sort of surprise, it was like, "This can't be real. Surely a guy working on this technology
can't actually believe there's this level of danger." No, that's completely genuine, and these people are also completely genuine when they are begging to be regulated. This is a genuine... They, they find themselves in this scenario
where they're compelled to race towards building a deadly technology, and they would, they would love for some sort of international body to allow them to, to approach it at a reasonable pace. They just don't trust that the people around them
are gonna get there in a safe way, so they feel like they have to race there too. Y- you could have stayed quiet. I mean, you, I'm sure you had a great job, being paid, I imagine, very well. You're obviously incredibly smart,
a mathematician. Um, why did you decide to speak out? Well, I initially just decided to leave. I thought, "I can't be part of this anymore."
But then I, uh, I realized I could probably make some use of it. I did not expect it to go this viral. So what I did is I wrote a Twitter thread out. I wrote it in a Google Doc. I drafted it with a friend. We, we collaborated.
Yeah, I had a few, uh, there were a few friends I discussed, uh, the best way of expressing myself with, um, after I decided to, decided to leave. Uh, and then I also got some friends to, to retweet the thing. I was like, "Let's try and make this a bit viral." But clearly, there was latent
demand for this thing to absolutely explode. Like, uh, I- I've never seen an AI safety tweet go this crazy. I think it's because people saw the, uh, the cyberattacks in the last couple of months. They're also starting to internalize the
rate of progress. People are starting to realize this is real technology. This is not, like, hype. This isn't going away anytime soon. This is only gonna get more crazy. It's been getting crazier for the last six months, and I think there was that
latent understanding of the severity of the situation that meant that this was like a sort of a, a match that lit kind of a, a flame. Like, I was very shocked by the extent that how quickly it went viral.
Jacob, uh, Coxon, I really appreciate you, uh, coming on and talking to us. Thank you so much. Thanks.
