📌 RWE-bench: бенчмарк на решение инженерных задач
Стартап Xplore собрал набор из 20 задач по механике, электронике и авиационной технике, где модель должна выдать работающую конструкцию.
Каждую задачу составил инженер команды, специалист в своей области, и к каждой приложено образцовое решение, удовлетворяющее всем требованиям.
Задачи устроены так, что в них приходится увязывать несовместимое.
В одной нужно спроектировать в системе автоматизированного проектирования цельный стальной коленчатый вал для трёхцилиндрового дизеля с масляными каналами, уложившись в пределы по напряжениям, жёсткости и нагрузке на подшипники при полной нагрузке на 2400 оборотах и выдержав миллионы циклов до усталостного разрушения.
В другой требуется развести на восьмислойной плате 32-разрядную шину памяти DDR3L от процессора Zynq-7000 к двум микросхемам, т. е. 71 цепь от корпуса с 484 выводами при почти 300 установленных компонентах, не выходя за допуски по рассинхронизации сигналов и сопротивлению.
В третьей надо построить расчётную сетку и досчитать до сходимости обтекание лопатки турбины, чтобы выдать коэффициент теплоотдачи по поверхности и общий тепловой поток.
Проверяемая модель работает в своей обычной обвязке на максимальном уровне рассуждений и получает песочницу с инженерными инструментами, среди которых CadQuery, Gmsh, CalculiX и Python.
Перед сдачей она может сама проверить результат. Готовую работу принимает специальная программа, которую Xplore не раскрывает.
Она пересчитывает каждое требование и для этого запускает физические решатели, а ошибка хотя бы по одному пункту означает незачёт. Человек и модель-судья в проверке не участвуют.
🟡Тесты
Лучший средний результат у GPT-6 Astra, 37%, за ней - Claude Opus 5.5 с 29% и GPT-6.1 Sol с 25%.
У Gemini 4 Argon 12%, у Claude Fable 5.1 7%, у Kimi K3.1 Pro 1%, а пять моделей не решили ни одной задачи, это DeepSeek V4.1 Flash, Qwen3.8 Max, GLM-5.3, Muse и Grok 4.7.
Sol обходится в 10,28 доллара, Astra стоит 58,83, а Opus 5.5 - 57,52. Самой дорогой оказалась Fable 5.1, 97,57 доллара за попытку при 7% решённых задач.
Дешевле всех работает DeepSeek V4.1 Flash, 1,03 доллара, но без единой решённой задачи.
Xplore продаёт тренировочные среды на основе этих задач отдельной услугой, а сами задачи никогда не передаются для обучения моделей.
Отдать модель на проверку можно только по договорённости с командой, и результат попадает в таблицу лишь с согласия заказчика.
Выкладывать тесты в открытый доступ стартап не обещает, а в планах у неё более сложные задания и новые области, биомеханика, строительство и материаловедение.
Похожий тест с инженерными задачами есть у коллектива китайских университетов во главе с Университетом Цинхуа.
Их EngiWorld открыт - выложены код, данные задач и статья с методикой.
@ai_machinelearning_big_data
#news #ai #ml