Модели искусственного интеллекта протестировали на раввинских экзаменах

Искусственный интеллект впервые столкнулся со сложнейшими задачами религиозного законодательства в рамках нового проекта HalachaBench, который проверяет передовые языковые модели на реальных вопросах с экзаменов на звание раввина при Главном раввинате Израиля. Эксперимент оценивал способность алгоритмов анализировать запутанные галахические казусы в условиях «закрытых книг» без доступа к интернету и внешним источникам.

Тестирование охватило 60 вопросов из пяти официальных экзаменационных бланков по ключевым дисциплинам, включая законы семейной чистоты, брачное право, заповеди, связанные с землей Израиля, правила ритуальных бассейнов и повседневную молитву. Каждая модель отвечала на вопросы трижды для проверки стабильности и точности результатов.

Коммерческие модели против систем с открытым кодом

Результаты продемонстрировали существенный разрыв между передовыми коммерческими разработками и бесплатными моделями с открытым исходным кодом. Первое место заняла модель Claude Fable 5.1 от компании Anthropic с результатом 79,7 балла из 100 возможных. За ней расположились GPT-6 Astra (73,3 балла), GPT-6.1 Sol (72,8), Claude Opus 5.5 (69,1) и Gemini 3.8 Flash (64,4). При этом модели с возможностью свободного скачивания набрали менее 11 баллов. Тем не менее даже лидер рейтинга упустил примерно пятую часть требований, необходимых для полноценного галахического ответа.

Поскольку официальных ключей ответов к раввинским экзаменам не существует, создатели проекта разработали сложную методологию оценки. Подробные критерии проверки, включающие мнения классических авторитетов ришоним и необходимые источники, были составлены с помощью Claude Fable 5.1, прошли перекрестную проверку другими моделями и были сверены примерно с 2 000 первоисточников через цифровую библиотеку Sefaria. Оценку ответов производила модель GPT-6 Astra, выступившая в роли независимого судьи.

Оценки раввинов и перспективы

Комментируя результаты эксперимента, раввин Авраам Став охарактеризовал их одним словом: «Увлекательно». При этом он указал на дискуссионный характер условий тестирования: в отличие от человека, сдающего экзамен на память и усвоение материала, искусственный интеллект раскрывает свой потенциал именно при работе с широкими базами данных и интернетом.

Создатели HalachaBench надеются продолжить исследования и привлечь раввинов к экспертной оценке ответов, чтобы выяснить, сможет ли искусственный интеллект в будущем стать эффективным вспомогательным инструментом в мире еврейского закона.