«В 50 раз эффективнее серверов Nvidia»: технология израильской компании Majestic Labs
Majestic Labs, основанная бывшими инженерами Meta и Google, представила сервер «Прометей», призванный решить проблему нехватки памяти в ИИ-вычислениях. Компания обещает клиентам до 50 раз более высокую эффективность обработки токенов на каждый мегаватт энергии по сравнению с решениями Nvidia.
Majestic Labs в последние месяцы стала одной из самых интригующих компаний в Израиле. Она была основана командой бывших ведущих инженеров Google и Meta и привлекла 100 миллионов долларов, пообещав разработать сервер искусственного интеллекта, который превзойдет Nvidia по эффективности каждой операции (стоимости одного токена).
Генеральный директор Офер Шахам, который по приглашению Марка Цукерберга основал лабораторию чипов в Meta, до сегодняшнего дня не раскрывал способ, которым компания намерена конкурировать с Nvidia. В первом эксклюзивном интервью израильским СМИ Шахам объяснил, что лежит в основе сервера, призванного устранить одно из главных «узких мест» в индустрии — острую нехватку памяти.
Офер Шахам и его партнеры — Шах Рави и Масуми Рейндс — спроектировали с нуля сервер под названием «Прометей», исходя из предположения, что решение проблем ИИ-вычислений должно начинаться на уровне архитектуры системы.
Каждый сервер компании оснащен чипами памяти, обеспечивающими объем, в 100 раз превышающий показатели стандартного сервера Nvidia с процессорами Blackwell (B200). Благодаря структуре с расширенным доступом, объем памяти, доступный процессорам Majestic Labs, составляет 128 терабайт. При этом архитектура сервера обеспечивает в тысячу раз больше памяти, чем доступно среднему процессору Blackwell от Nvidia, объем которой оценивается в 192 гигабайта.
Шахам не раскрывает тип используемой памяти, но признает, что это не распространенная в процессорах Nvidia память с высокой пропускной способностью (HBM). По оценкам, компания закупает компоненты у Micron, Samsung и SK Hynix. Вместо графических процессоров (GPU) от Nvidia, Majestic Labs предлагает собственные процессоры «Игнайт» (Ignite), или AIU. Они разработаны на основе интеллектуальной собственности ARM, оригинального дизайна Majestic и платформы с открытым исходным кодом RISC-V.
Поскольку доминирование Nvidia опирается и на операционную систему CUDA, процессоры AIU спроектированы так, чтобы позволить программистам работать на языке PyTorch и использовать систему Triton от OpenAI, ставшую главным конкурентом CUDA.
Архитектурные отличия от Nvidia
Новая архитектура, по словам генерального директора, избавляет от необходимости в значительном оснащении коммуникационными процессорами, роль которых в серверах Nvidia выполняют бывшие процессоры Mellanox.
«У нас нет необходимости в связи между процессорами, так как она осуществляется через память, подобно тому как это происходит в многоядерных процессорах, — говорит Шахам. — Потребность в таком количестве коммуникационных чипов на фермах возникла из-за малого объема памяти у процессоров Nvidia, что вынуждает их постоянно обмениваться данными».
«Это причина, по которой для обеспечения работы одного стабильного сервера Nvidia вынуждены создавать дорогостоящий гибрид — шкаф из 72 процессоров с высокоскоростной связью (NVLink). Однако из-за неэффективности они быстро достигают порога памяти и простаивают в ожидании данных. С ростом параметров моделей, выпускаемых Anthropic, OpenAI и Gemini, компании вынуждены покупать все больше серверов, что ведет к экспоненциальному росту энергопотребления. Это архитектурная проблема, которую в индустрии называют "стеной памяти"».
Эффективность важнее цены
На вопрос о конкуренции по цене с Nvidia, Шахам отвечает:
«Мы конкурируем не в цене за единицу обработки, а в цене за результат — стоимости каждого токена. Мы предлагаем систему, способную производить от 10 до 50 раз больше токенов на один мегаватт на каждый доллар, вложенный в строительство фермы. У меня есть клиент, строящий ферму мощностью 500 мегаватт, и его интересует не стоимость сервера, а количество токенов на мегаватт. Мы хотим продавать наш продукт с хорошей прибылью, а не участвовать в "гонке на дно"».
По словам Шахама, серверы Majestic построены в первую очередь для логического вывода и работы агентов (inference), хотя подойдут и для обучения моделей. Компания фокусируется на языковых моделях и нейронных сетях на основе графов или таблиц.
«Мы уже работаем с рядом клиентов на стадии прототипа, но готовый продукт будет отправлен первым заказчикам в следующем году. Мы строим продукт, который решит проблемы целых отраслей. Когда мы основали компанию два с половиной года назад, мы говорили, что проблема памяти станет главной головной болью индустрии, и сегодня она в десять раз серьезнее, чем мы предполагали».
