Шульман и Миллидж о сверхразуме к 2036 — AI-дайджест

Шульман и Миллидж о сверхразуме к 2036 — AI-дайджест

Дваркеш Патель спросил трёх исследователей, что помешает сверхразуму появиться к 2036 году, и первым ответом стал парадокс Моравека. Hard Fork отдал выпуск сопротивлению дата-центрам, а два самых заметных открытых проекта окна оказались про надзор за процессами и агентами, а не про генерацию.

Главное сегодня

Шульман, Миллидж и О'Нил: что помешает сверхразуму появиться к 2036 году

Дваркеш Патель собрал трёх исследователей из «полуоткрытых» лабораторий и начал разговор с обратного вопроса: если к 2036 году мир не заполнен сверхразумными системами, какая техническая причина этому виной? Рекурсивное самоулучшение — это сценарий, в котором ИИ-система сама разрабатывает следующее, более сильное поколение ИИ, и цикл повторяется. Собеседники Дваркеша Пателя — Берен Миллидж, технический директор Zyphra (компания делает модели с открытыми весами), Джон Шульман, главный научный сотрудник Thinking Machines и сооснователь OpenAI, который вёл работу над RLHF для ChatGPT, и Чарли О'Нил, руководитель обучения моделей в Baseten. Первым отвечает Миллидж и называет парадокс Моравека: раз за разом ИИ берёт задачу, которая казалась вершиной интеллекта, — сложную математику, шахматы, — и мир меняется от этого меньше, чем все ожидали. Если так пойдёт и дальше, а «искра обобщения» так и не проскочит, модель останется чрезвычайно сильной ровно в том, что кто-то заранее оформил в бенчмарк или в обучающую среду. Эпизод и расшифровка.

Девять глав разговора: китайские лаборатории, длинные горизонты и «ход 37»

Разговор Дваркеша Пателя разбит на девять глав, и одна из них прямо названа по второй возможной причине провала — разрыв между симуляцией и реальностью. Разрыв между симуляцией и реальностью (sim-to-real gap) — это расхождение между средой, в которой систему обучали, и миром, в котором ей предстоит работать. Остальные главы эпизода от 11 сентября 2026 года перечисляют, что участники считают сегодня существенным: что движет прогрессом китайских лабораторий, как будут обучать автоматических ИИ-исследователей, выведет ли к общему интеллекту обучение с подкреплением на длинных горизонтах, сколько прогресса объясняется данными, почему обучение с подкреплением вообще так хорошо работает, и «ход 37» с коллапсом энтропии. Последняя глава, блиц по срокам, начинается на отметке 1:28:32 — то есть разговор идёт больше полутора часов. Эпизод и расшифровка.

Hard Fork отдал выпуск сопротивлению строительству дата-центров

11 сентября 2026 года Hard Fork поставил в свою ленту эпизод The Ezra Klein Show о том, как в американском Среднем Западе выглядит сопротивление строительству дата-центров. Гостья выпуска — журналистка Жасмин Сан, которая съездила в регион и описала происходящее на земле. Эзра Кляйн и Жасмин Сан разбирают странные политические коалиции, складывающиеся против стройки ИИ-инфраструктуры, и то, почему люди не верят тому, что им об этой стройке рассказывают. Дополнительным чтением к выпуску идёт материал «No Data Centers In My Backyard». Сюжет стоит внимания как редкий случай, когда ограничителем для отрасли оказываются не чипы и не мегаватты, а согласие жителей конкретного округа. Выпуск Hard Fork.

AI Daily Brief: десять способов не ускориться, а расшириться

13 сентября 2026 года AI Daily Brief вышел с выпуском о том, что ИИ полезен не только скоростью: NLW разбирает десять способов «мыслить крупнее» и расширить сам круг того, что человек в принципе способен сделать. Среди перечисленного — собрать собственный конвейер видеопроизводства, делать интерактивные коммерческие предложения клиентам и превратить свою экспертизу в продукт. К выпуску приложено сопровождающее упражнение, помогающее найти такие возможности в своей работе. Разворот темы полезен тем, кто уже автоматизировал рутину и не понимает, что делать дальше: рамка «ускорить существующее» упирается в потолок быстро, рамка «взяться за то, что раньше было недоступно» — нет. Пошаговые курсы под такую перестройку работы лежат в разделе обучения AI SKILLS. Выпуск AI Daily Brief.

Два самых заметных открытых проекта окна — про надзор, а не про генерацию

В нашей ежедневной подборке открытого кода два самых заметных инструмента окна оказались не генеративными: witr (22,3 тыс. звёзд) прослеживает, что именно запустило процесс, порт, контейнер или файл, а agent-orchestrator (12 тыс. звёзд) ведёт команду кодящих агентов от планирования до слияния ветки. Оба написаны на Go. witr даёт и обычные команды для скриптов, и полноэкранный интерфейс в терминале, работает на Linux, macOS и FreeBSD и понимает Docker. agent-orchestrator работает поверх любой обвязки — Claude Code, Codex и ещё двух с лишним десятков, — даёт каждому заданию свой git-worktree и свой цикл обратной связи, доступен с настольного компьютера, из браузера и с телефона. Общее у них одно: когда запусков становится много, узким местом становится не генерация, а ответ на вопрос «кто это запустил и что оно сейчас делает». witr, agent-orchestrator.

Цифры и факты

Разные точки зрения: близко ли рекурсивное самоулучшение?

Спора о цифрах здесь нет — есть спор о том, что считать доказательством. Эпизод от 11 сентября 2026 года открывается главой, целиком посвящённой усилению доводов ПРОТИВ рекурсивного самоулучшения, и это само по себе позиция.

За. Сам вопрос ведущего построен на быстром сценарии: Дваркеш Патель спрашивает не «появится ли», а «что помешает» миллиардам сверхразумных систем к 2036 году, и просит исключить войны, запреты и прочие внешние потрясения — то есть искать причину только внутри техники (эпизод).

Нейтрально. Состав участников подобран так, чтобы говорить могли люди из компаний с открытой частью работы, — Zyphra, Thinking Machines, Baseten. Повестка эпизода это подтверждает: половина глав не про самоулучшение, а про то, откуда берётся прогресс вообще, — данные, обучение с подкреплением, длинные горизонты, китайские лаборатории (эпизод).

Против. Берен Миллидж отвечает парадоксом Моравека: решённая «вершинная» задача раз за разом оказывается менее значимой, чем ожидалось. Его сценарий провала — модель, безупречная во всём, что оформлено в бенчмарк или обучающую среду, и упирающаяся в разрыв между симуляцией и реальностью (эпизод).

Инструменты и приёмы

Коротко