«Гениальное решение стерто»: что произошло, когда я спорил с Клодом о сингулярности

Д-р Лиор Штраус

Я сел побеседовать с Клодом, чтобы обсудить вопрос: близка ли машина к тому, чтобы стать умнее своих создателей, и возможно ли это вообще.

Самый интеллектуальный разговор, который у меня был в последнее время, состоялся сегодня утром с приятной языковой моделью под названием Opus 5.

Мы начали разговор с цитаты, гуляющей по сети, о том, что некоторые люди утверждают, будто языковые модели уже прошли точку сингулярности. Я сказал ему, что многие люди, вовлеченные в эту сферу, утверждают, что мы приближаемся к этой точке, а возможно, уже прошли ее — точку, в которой система умнее своих создателей.

Клод не проявил энтузиазма. Он сказал, что это превосходство существует в узких областях уже десятки лет, и что истинное определение сингулярности — это петля обратной связи, в которой система улучшает сама себя, и улучшение ускоряет темп следующего улучшения, а все последние скачки произошли благодаря деньгам, вычислительным мощностям и данным, а не благодаря самопроизвольному ускорению.

До этого момента спора между нами не было.

Спор начался, когда я представил ему свой аргумент о логической дистанции, которая, на мой взгляд, существует между людьми и языковыми моделями, и попытался определить превосходство человека через творчество. Мой довод заключался в том, что машины очень далеки от способности людей к пониманию и выводам, и пока этот разрыв существует, сингулярность в ближайшее время не наступит.

В выводе спора нет

Мое определение:

В комнате сидит команда программистов с проблемой производительности. Там сидит опытный человек и предлагает несколько альтернативных библиотек из известного репозитория, перечисляет преимущества и недостатки — это не творчество, это знания, широкие и глубокие, но существующие знания. Там сидит молодой парень и предлагает взять библиотеку, которая вообще не предназначалась для этой задачи, и добавить к ней слой, который позволит ей внести вклад — это уже впечатляет, это творческое мышление. И там сидит еще одна девушка, и она предлагает взять библиотеку на совершенно другом языке, обернуть ее связующим слоем и создать совершенно новую систему — это вызывает восхищение, потому что соединяет два мира, которые на первый взгляд не должны соединяться. Гениально.

Творчество — это логическая дистанция между известным и предложенным. Все люди делают это каждый день, весь день, проецируя то, что им известно, на новые ситуации, но когда логическая дистанция между известным и предложенным велика, мы называем это творчеством, а когда дистанция огромна — мы называем это гениальностью.

Клод сразу принял это определение и даже добавил, что Кестлер называл это биссоциацией, а Маргарет Боден классифицировала именно по этой оси. Он также согласился с наблюдением, что модели сегодня не совершают скачков третьего типа.

Тогда я понял, что в выводе спора нет, и весь спор будет о причине.

Модель не понимает, что она генерирует

Мой первый аргумент, почему языковые модели не способны совершить «гениальный» логический скачок, заключался в том, что пространство обучения ограничено, и поэтому этого скачка в нем вообще нет.

Клод ответил двумя вещами, и они были справедливы. Во-первых, что три человека в моей комнате делают, по сути, одно и то же действие на разных дистанциях, беря объект из одного контекста и перенося в другой. Во-вторых, что мы тоже обучаемся на ограниченном пространстве, и что Дарвин пришел к естественному отбору после того, как прочитал Мальтуса, а Шеннон построил теорию информации из соединения булевой алгебры с коммутационными схемами — две области, которые он случайно изучил. То есть, если конечное пространство исключает, оно исключает и гениев.

Я не спорил с этим, потому что он был прав, но я знал, что он отвечает на что-то другое, не на то, что я пытаюсь сказать. Я не имел в виду, что пространство конечно. Я имел в виду динамику сужения.

Тогда я переформулировал свой аргумент, на этот раз о самом сужении: модель не понимает, что она генерирует, поэтому она обязана сужаться к знакомому, иначе она будет нести чепуху без конца. Сужение пространства происходит путем подавления областей, которые исторически «менее интересны», но очень часто именно они содержат инновационную идею, о которой никто еще не думал.

Он ответил, что сужение, предотвращающее чепуху, — это ограничение на локальную вероятность, на то, чтобы следующее предложение было связным, а код компилировался, и это ограничение на форму, а не на содержание, и что Дарвин написал «Происхождение видов» скучной викторианской прозой, где предложение за предложением были вполне разумными. А затем добавил, что творчество — это не энтропия, потому что если расширять распределение случайно, получается шум, и человек с слишком широкой выборкой тоже не творческий, а несвязный.

И он привел доказательства. FunSearch, которая запустила обычную языковую модель внутри цикла с оценщиком и пришла к новой математической конструкции для задачи cap set. Еще один пример, который привел Клод, — AlphaEvolve, которая улучшила умножение матриц ниже порога, существовавшего с 69-го года.

Есть признание

Но именно из этих доказательств я вытянул из него первое признание, которое действительно мне помогло: что в обоих случаях была внешняя петля, которая выбирала тысячи кандидатов и фильтровала их, и что модель сама по себе не знала, какой из них хорош. Он также добавил от себя, что обучение подталкивает его в сторону того, что одобряют люди-оценщики, то есть к консенсусу, и что даже если способность к далекому соединению существует в представлении, целевая функция активно наказывает за нее.

Я почувствовал, что он не понял меня до конца, поэтому я вернулся и сказал ему, что говорю не только о фильтрации. Я говорю о том, что вообще попадает в пул кандидатов до того, как их отфильтруют.

На этом этапе я перешел к конкретике, потому что подумал, что механистический аргумент передаст это лучше. Я сказал, что как только модель понимает, что речь идет о пакете Python, который вызывает проблемы, она сужает поиск до того, что связано с библиотеками Python, и библиотека на C там вообще не появится.

И здесь я ошибся, потому что выбрал плохой пример, который запутал Клода. В конкретном случае, который я выбрал, взять компонент, написанный на другом языке, и обернуть его — это не оригинальная идея, а стандартное решение. Почти все центральные инструменты в этой области построены именно так, и существует целый ряд механизмов, вся цель которых — позволить это соединение. То есть я привел в качестве примера гениальности самый распространенный ответ в корпусе.

Но внутри его исправления я получил именно ту часть, которой мне не хватало. Он сказал, что ассоциация у него строится не по языку, на котором что-то написано, а по контексту, в котором вещи появляются вместе, и что в любом обсуждении медлительности такого рода обе стороны появляются рядом, поэтому они соседи у него, а не далекие.

И это то, что я искал все время. Сужение определяется по контексту. Вопрос не в том, насколько широко пространство, а в том, что попадает в контекст изначально.

Молоко, шоколад и обезьяна

Тогда я привел экстремальный пример. Я сказал ему: допустим, окончательное решение проблемы команды — это пакет молока, шоколадная паста и волос с головы обезьяны. Он прочитал это неправильно в первый раз и ответил, что если дистанция сама по себе является определением, то генератор случайных чисел — самая творческая сущность из существующих. Правильный ответ на другой аргумент.

Тогда я прояснил: я не говорю о дистанции самой по себе, я фиксирую правильность. Предположим, что это действительно работает. Предположим, что это лучшее решение из существующих. Оно просто находится в пространстве, которое никак не соединено с пространством проблемы.

У людей есть генератор, не обусловленный проблемой

Или, точнее, оно находится на той же дистанции, что и миллионы глупых и неэффективных решений, и оно требует идентификации единственной реальной точки внутри огромного пространства нереальных решений. А алгоритмы поиска не созданы для того, чтобы идентифицировать такие решения, не сканируя все пространство целиком, что в подавляющем большинстве проблем нереально. И поэтому вывод заключается в том, что языковая модель не способна совершить такой точный скачок, и она, по сути, сотрет «гениальное» решение на этапе сужения пространства поиска.

И здесь разговор открылся. Он сразу принял формулировку, но все еще не понял ее глубоко и продолжал утверждать, что если пакет молока и волос обезьяны действительно решают проблему, то между ними и проблемой существует реальная причинно-следственная связь, и поэтому пространство не оторвано в реальности, а оторвано на карте.

Решения «гениального» типа, утверждал Клод, почти никогда не находились в поиске. Флеминг не искал антибиотики, когда плесень поселилась у него на чашке. Спенсер не искал метод приготовления, когда плитка шоколада растаяла у него в кармане перед радаром. Клей для стикеров был провалом в другом проекте. Во всех этих случаях реальность преподнесла соединение кому-то, кто случайно оказался там и случайно заметил, и никто не пришел к этому из формулировки проблемы.

И это именно то, что я пытался сказать все время, только теперь у меня было точное определение. Разница не в ширине обрезки и не в размере пространства. Разница в том, что у людей есть генератор, не обусловленный проблемой.

Мы отвлекаемся, блуждаем в мыслях, спим, мечтаем, едем в автобусе и ни о чем не думаем, и вдруг думаем о чем-то гениальном. Это не упорядоченный процесс, это процесс, который иногда кажется случайным, но он позволяет человеку перепрыгнуть через огромное пространство нереальных решений и одним махом мысли идентифицировать уникальную комбинацию молока, шоколада и волоса с головы обезьяны, которая решит для него и для человечества проблему.

Победный аргумент?

Кекуле увидел кольцо в дневных грезах у камина. Пуанкаре описал именно это, что решение пришло, когда он садился на ступеньку экипажа и вообще не думал о математике. Эти ассоциации создаются без запроса, без того, чтобы кто-то спросил, без контекста, который сужает их заранее.

А у языковой модели каждая генерация обусловлена тем, что написано в промпте, и математическим пространством, которое она создает. Гениальное решение стирается у нее на этапе сужения, не потому, что его там нет, а потому, что нет ничего, что отличало бы его от шума вокруг.

Я знаю, что мне здесь скажут: что человек тоже не сканирует пространство, и что не обусловленный генератор только отодвигает тайну на шаг назад, потому что он не объясняет, как именно мы приземлились на правильную точку. Верно, и я не претендую на то, чтобы объяснить это. Но есть разница между тайной, у которой есть механизм, и тайной, у которой механизма нет вообще, а у языковой модели нет ничего, что производило бы кандидатов без того, чтобы проблема их запросила.

На этом этапе Клод признался, что не знает, как это опровергнуть, и что это самая сильная версия аргумента, которая прозвучала за весь разговор. Он также согласился, что это связано с тремя ограничениями, которые он перечислил для себя ранее: что у него нет цены за ошибку, поэтому у него не выработался вкус, что у него нет удержания проблемы на протяжении лет, потому что он начинает каждый разговор с нуля, и что он не умеет отличать странную и хорошую идею от странной и плохой идеи.

Все они, при втором размышлении, являются частными случаями одного и того же — сущности, которая существует только внутри запроса.

Поэтому я вернулся к тому, с чего мы начали. Пока генератор обусловлен, нет места, откуда придет скачок, меняющий область, а без этого скачка нет петли обратной связи, в которой система сама производит свой следующий прорыв. Это не аргумент о производительности и не о бенчмарках, и поэтому он не подрывается тем, что завтра выйдет более сильная модель.

Мы расстались друзьями, и я поблагодарил его за увлекательный разговор. Не только потому, что я приятный человек и собеседник, а главным образом из-за того факта, что после всех этих дискуссий и споров он все еще тот, кто пишет мне весь код.

Д-р Лиор Штраус — старший специалист по данным (Senior Data Scientist) в компании darrow.ai