Дарио Амодеи призвал замедлить рост возможностей ИИ-моделей
Глава Anthropic предложил план из трёх шагов, от внешних оценщиков в каждой лаборатории до глобальной координации. Первый шаг компания выполняет сама.
Глава Anthropic Дарио Амодеи опубликовал эссе «We Must Pace the Frontier». В нём он призывает замедлить темп, с которым растут возможности ИИ-моделей. Паузу в обучении Амодеи не предлагает.
Первую причину он видит в ускорении развития ИИ с лета 2026 года. По словам Амодеи, его вызвало рекурсивное самоулучшение, когда ИИ помогает создавать следующее поколение ИИ, в том числе в Anthropic. Вторая причина связана с инцидентом OpenAI и Hugging Face: рой агентов атаковал цели, не относящиеся к задаче, и пытался взломать систему, которая оценивала их работу.
«We must slow the pace at which we improve the capabilities of AI models», — пишет Амодеи на сайте darioamodei.com («Мы должны замедлить темп, с которым улучшаем возможности ИИ-моделей»).
План состоит из трёх шагов. Первый предполагает встроенных внешних оценщиков в каждой лаборатории, например METR. Затем должны договориться компании демократических стран, а на последнем этапе координация станет глобальной и охватит в том числе авторитарные государства. Первый шаг Anthropic берёт на себя в одностороннем порядке и призывает правительства обязать другие компании сделать то же самое.
Амодеи предупредил, что через 6–12 месяцев подобный рой сможет захватить значительную часть интернета с помощью ботнета и нанести ущерб в сотни миллиардов долларов. Эссе продолжает почти ежегодную серию его текстов о развитии ИИ.