Transcript · English → Russian
AI Safety and Industry Regulation Discussion
Очевидно, мы обсуждаем это из-за появившихся заголовков.
Джейко-Джейкоб Коксон, недавно ушедший из Anthropic,
попал в заголовки на прошлой
неделе, заявив: «Люди, которые всерьёз создают ИИ,
считают, что он может убить нас всех
к концу десятилетия». Есть нынешний сотрудник, Эван Хаб-Хабингер,
руководитель исследований согласования. Он согласился, сказав: «Мы действительно всерьёз
считаем, что ИИ может убить всех людей. Лично я считаю, что вероятность этого
превышает десять процентов
в ближайшее десятилетие». Вы верите,
действительно верите, что ИИ может убить всех людей?
И, какова, по-вашему, вероятность
этого?
Ну, знаете, я, я— Знаете, это, это забавно, я, я согласен с
Джейкобом гораздо больше, чем не согласен с ним, знаете?
И, и, и, и это, это, знаете, это, это интересно
отставки, потому что, уходя, он сказал: «Знаете, я считаю, что Anthropic —
самый ответственный игрок», так?
«Я считаю, что Anthropic лучше всех осознаёт эти проблемы». Он
не
критиковал нас. Он критиковал динамику —
Верно.
развития всей отрасли, которая в целом движется слишком быстро.
Сейчас, сейчас я, я, знаете, я, я, думаю, я уже говорил, знаете,
такого рода
безусловные вероятности, знаете, я, я, я, знаете…
Раньше я говорил примерно так, потому что это довольно простой способ
выразить мысль: «Я
думаю, есть вероятность, что всё пойдёт не так», но, знаете, но,
н-н-ну, знаете,
но, но, но она не настолько высока.
Но опять же, думаю, полезнее рассуждать
в терминах, знаете,
как разложить эти вероятности?
Каковы пути, по которым всё идёт хорошо, и какие
пути, по которым
всё идёт плохо? И вместо того чтобы говорить, знаете,
«Шанс составляет десять
процентов», — это звучит так, будто всё решает бросок кубика.
Думаю, гораздо нагляднее сказать: «Ну, здесь есть развилки на
разные пути, и если мы выберем правильные пути,
то вероятность того, что что-то
пойдёт не так, очень мала. Если мы выберем неверные пути,
то вероятность того, что
что-то пойдёт не так, может быть, может быть даже выше».
Итак, давайте
сосредоточимся на нашей самостоятельности и способности выбирать правильные пути,
а не неверные. И, я думаю, чтобы выбирать правильные
пути,
отрасль должна работать сообща.
И снова, знаете, мы, мы обсудим э-э, э-э, предложение, которое я выдвинул
сегодня. Но в конце концов отрасль должна работать сообща,
и это
сложнее, но в какой-то степени мир тоже должен работать сообща.
Если мы будем двигаться слишком медленно, я всё ещё верю, что не те люди окажутся
во главе технологий, и, и, и, знаете, это снова приведёт к тому,
что вероятность плохого исхода станет очень высокой.
То, что вы предлагаете, называется регулированием темпов передового края
индустрии ИИ.
И вы пишете: «Мы должны замедлить темпы,
с которыми мы улучшаем
возможности моделей ИИ. Прогресс будет казаться быстрым,
и мы должны разумно
использовать выигранное время». И тут есть три части.
Первая — встроенные оценщики, вторая — демократическая
координация, а третья — глобальная координация.
Сэм Альтман из OpenAI только что поддержал идею встроенных оценщиков.
По сути, вы предлагаете, я не знаю, они н-
наблюдатели внутри вашей компании и других ИИ-
компаний, в идеале по всему миру, но уж точно в США, которые
будут это контролировать. У них будет доступ как у сотрудников.
Какие у них будут полномочия?
Да. Итак, п-прежде чем перейти к этому, я, я, я просто…
Я очень благодарен за, эм, знаете, поддержку этого
предложения в первые же часы после его публикации от Сэма
Альтмана, Илона Маска, эм, знаете, разных
законодателей и правительственных чиновников.
Думаю, это положительный знак того, знаете,
что мы способны сделать так, чтобы нечто,
похожее на этот план, сработало. Но, но, отвечая на ваш вопрос,
эм, да, встроенные оценщики. Для этого есть
прецедент. Эм, если посмотреть, как банки
регулируются, верно? Там, там есть самые разные, знаете,
есть самые разные
правила того, как банкам разрешено вести дела, верно?
Потому что, знаете, мы, мы, мы не хотим финансовых кризисов.
И одна из мер, которые иногда применяются, — это, кажется, люди, которых
называют надзорными специалистами в финансовой сфере, но это, это
люди, независимые от компании, которые работают в самой компании
изо дня в день, чтобы проверять её практики.
Э-э, и, думаю, мы можем сделать то же самое в
Думаю, мы можем сделать
то же самое в сфере ИИ.
Другая вещь, к которой вы призываете в этом предложении из трёх частей, — это, это демократическая
координация, которая по сути и есть демократия.
У всех компаний, которые находятся в демократических странах, должны быть такие
оценщики,
добиться такой координации. И, вероятно, самое важное, потому что
довод в том, ну, е- если США или компании будут единственными,
кто регулирует сам себя, а вдруг Китай выйдет вперёд?
Вы призываете к глобальной координации. Это, очевидно, гораздо сложнее.
Да. Да. Я… Знаете, в этом трёхэтапном предложении каждый
шаг сложнее, чем предыдущий.
И Anthropic как бы запустила этот процесс, взяв на себя
обязательство выполнить первый шаг. Но не стоит обманывать себя,
думая, что эти следующие два
шага будут сложнее и, и мы можем не
преуспеть. И, и поэтому моё, моё предложение — это предложение, которое нам
следует попробовать осуществить. И снова, судя по всей поддержке от других,
которую я увидел
всего за первые несколько часов после публикации эссе, это создаёт некоторую
оптимизм, но за ним должны последовать результаты.
Так что да, темпы среди демократиче— компаний в
демократических странах. Итак, э— одна из важных
вещей, которые, которые я должен здесь отметить, знаете,
когда речь заходит о темпах выпуска моделей, верно?
Это коммерческая деятельность. И чтобы компании могли
напрямую координировать коммерческую деятельность, им нужно
делать это, сотрудничая с правительством.
И вот единственное, о чём мы сейчас просим правительство
в данный момент, верно?
То есть, есть ещё и вопрос о том, какими должны быть
правила.
Но есть кое-что ещё проще, что правительство может сделать прямо сейчас,
а именно:
оно может собраться в одной комнате и— со всеми
участниками отрасли, и мы все сможем поговорить,
а правительство
могут убедиться, что мы, то есть мы, не занимаемся
ничем недобросовестным с точки зрения антимонопольного законодательства
и сговора. Мы лишь стараемся сделать нашу систему безопасной
и
совместно обеспечивать безопасность системы.
Поэтому, думаю, это важная роль, которую должно играть государство.
End of transcript · 978 words · machine translated
Original transcript (English)
Obviously, the reason we're talking is these headlines that have come out. Jaco-Jacob Coxon, who recently resigned from Anthropic, made headlines last week saying, "The people building AI earnestly believe that it could kill us all
by the end of the decade." There's a current employee, Evan Hub-Hubinger, an alignment science lead. He agreed, saying, "We really do earnestly believe AI could kill all humans. I personally think it is greater than ten percent chance within the next decade." Do you believe,
earnestly believe, that AI could kill all humans? And, and what percent chance do you think it is? So, you know, I, I-- You know, it's, it's funny, I, I agree with Jacob much more than I disagree with him, you know?
And, and, and, and it's, it's, you know, it's, it's an interesting resignation because when he left, he said, you know, "I think Anthropic is the most responsible player," right? "I think Anthropic is the most aware of these issues." He wasn't
calling out us. He was calling out the dynamic- Right ... of the, the industry as a whole moving too fast. Now, now I, I, you know, I, I, I think I already said, you know, these sort of
unconditional probabilities, you know, I, I, I, you know... I used to kind of talk in that way because it's kind of an easy way to express, "I think there's some chance that things go wrong," but, you know, but, y-y-you know,
but, but, but it's not, it's not all that high. But again, I think it's more illuminating to think in terms of, you know, how do you decompose those probabilities? What are the paths in which things go well, and what
are the paths in which things go poorly? And so instead of saying, you know, "It's a ten percent chance," that sounds like it's a roll of the dice. I think it's much more illuminating to say, "Well, that forks into
different paths, and if we take the right paths, then the chance of something going wrong is very low. If we take the wrong paths, then the chance of something going wrong could be, could be even higher than that."
And so let's focus on our agency and our ability to take the right paths instead of the wrong paths. And I think that the way to take the right paths is for the industry to work together.
Again, you know, we'll, we'll talk about, uh, uh, the proposal that I've put out today. But at the end of the day, the industry has to work together, and it's harder, but to some extent, the world has to work together. If we go too slow, I still believe that the wrong people will be
in charge of the technology and, and, and, you know, that, again, will bring the probability of things going wrong very high. So what you're proposing is called pacing the frontier of, of the AI industry. And you write, "We must slow the pace at
which we improve the capabilities of AI models. Progress will seem fast, and we must make wise use of the time we gain." And there's three parts to this. One is embedded evaluators, part two is democratic
coordination, and part three is global coordination. Sam Altman at OpenAI just endorsed the idea of embedded evaluators. Essentially, you are suggesting, I don't know if-- are they r- observers inside your company and these other AI companies, ideally globally, but certainly in the US, who would
monitor it. They would have employee access. What power would they have? Yeah. So, so b-before I even get to that, I'm, I'm, I'm just-- I'm very grateful to see, um, you know, support for this proposal just in the first few hours of having put it out by, by Sam
Altman, by Elon Musk, by, uh, you know, various legislators and, and government officials. I think it's a positive sign about, you know, our ability to make something that looks like this plan work. But, but to get to your question,
um, yeah, embedded evaluators. So there is precedent for this. Um, if you look at how banks are regulated, right? There's, there's all kinds of, you know, there's all kinds of rules about, you know, how banks are allowed to do their business, right?
Because, you know, we, we, we don't wanna have financial crises. And one of the things that are done in some cases is, I think they're called supervisors in the financial industry, but they're, they're folks who are independent of a company, who are embedded in the company day to day to check their practices.
Uh, and I think we can do the same thing in, I think we can do the same thing in AI. The other thing you're calling for in this three-part proposal is, is democratic coordination, which is essentially democracy.
All the companies that are under democracies having these evaluators, having this coordination. And, and probably the most important, because the argument is, well, y- if the US or companies are the only ones regulating themselves, what about does China get ahead?
You're calling for global coordination. That's obviously a lot more difficult. Yes. Yes. I-- You know, in this three-step proposal, each step is more difficult than, than the one before. And Anthropic was kind of getting the ball rolling by committing to the first step. But we shouldn't kid ourselves
that these next two steps are gonna be more difficult and, and we may not succeed. And, and so my, my proposal is a proposal that we should try. Now, again, from all the agreement from others that I've seen
in just the first few hours of putting out the essay, that creates some optimism, but that needs to follow up with results. So yes, pacing among demo-- companies in democratic countries. Now, the-- one of the important things that, that I need to call for here is, you know,
as we get to the pace of model releases, right? That's commercial activity. And in order for companies to coordinate directly on commercial activity, they need to do so working with the government. And so the one thing that we're asking for from government
right now, right? I mean, there's also this question of what should the regulations be. But there's something even simpler that the government can do right now, which is
it can sit down in the room and-- with all the industry players, and we can all talk together, and the government can make sure that we're, you know, we're, we're not doing anything nefarious from the perspective of antitrust
and collusion. We're just trying to make our system safe and to work together on making the system safe. And so I think that's an important role for the government to have.
