Найуспішніша LLM-модель змогла самостійно впоратися лише з 26,4% завдань. Група дослідників з Alibaba та кількох університетів Азії розробила новий бенчмарк під назвою Co-Design Bench, який оцінює ШІ-агентів не на зручних лабораторних завданнях, а на реальних сценаріях, з якими такі системи раніше мали труднощі. Результати показали, що навіть найкраща модель у більшості випадків залишає хоча б одну недоробку, яку потрібно виправляти людині. Про це повідомляє The Decoder.
Що таке Co-Design Bench і як відбувається тестування ШІ-агентів у сфері програмування?
Автори взяли за основу справжні сесії програмування, а точніше ті, де користувачам доводилося переформульовувати запит або відкочувати зміни. Агент отримує готовий вебзастосунок і має його переробити. Іноді вхідними даними слугують не лише текст, а й зображення, аудіо, відео чи документи.
Різноманітність завдань може бути значною: від незначних корекцій до кардинальної переробки проєкту. Наприклад, на базовому рівні можна взяти суму з чека і оновити всі пов'язані підсумкові значення в додатку.
Процес оцінювання виконання роботи відбувається в два етапи:
Детальний опис методики та відповідні дані можна знайти на веб-сайті бенчмарку, а також у науковій статті, опублікованій на arXiv.
Результати бенчмарку: хто лідирує серед моделей
Серед десяти протестованих моделей найвищі результати показала GPT-6 Astra: вона в середньому відповідала приблизно 70% вимог, але лише 26,4% завдань виконала безпомилково. У більшості випадків невдачі були зумовлені відсутністю хоча б однієї ключової деталі.
Наступними в списку є Claude Opus 5 та Qwen3.8-Max, тоді як останню позицію зайняла Grok 4.6. Варто зазначити, що під час великих переробок друге місце дісталося значно меншій моделі Qwen3.8-27B.
Для порівняння: у застарілих тестах на кшталт WebCompass-edit моделі набирають понад 99%, а Co-Design Bench показує розрив понад 35 процентних пунктів. Тобто старі бенчмарки просто "насичені" й більше не розрізняють сильні системи та слабші.
Чому складні задачі стають надто важкими для агентів штучного інтелекту?
Результати знижується у всіх моделей, коли завдання об'єднує три-чотири різновиди змін одночасно: оформлення, дизайн, інтерактивність та контент.
Окремо вчені провели порівняння витрат ресурсів. На незначних змінах GLM-5.2 витратила практично в шість разів більше токенів у порівнянні з GPT-6 Astra, при цьому результат був суттєво гірший. Отже, більша кількість обчислень не завжди забезпечує кращу якість коду.
Відзначається також різниця в треках: GPT-6 Astra успішно справилася з приблизно 41% мультимодальних завдань, тоді як у випадку завдань, пов'язаних із репозиторіями, цей показник становить трохи менше 18%.
Навколишнє середовище має таку ж вагу на результат, як і сама модель.
Один із найбільш захоплюючих висновків стосується умов роботи. Qwen3.8-27B продемонструвала 75% результатів в одній з тестових обстановок, тоді як в іншій – лише 56%. Крім того, оцінки моделей також варіювалися в залежності від середовища. Тому автори настійно рекомендують завжди публікувати результати разом із інформацією про умови, в яких вони були отримані.
Це узгоджується з іншими даними:
Обмеження вивчення
Автори самостійно визначають свої недоліки. Кожне завдання містить лише один чіткий запит, тому уточнюючі запитання та зміни під час виконання не підлягають перевірці. До того ж, штучні інтелектуальні судді також можуть допускати помилки.
Практичний висновок: Штучні інтелекти вже демонструють добрі результати в розумінні складних запитів, проте до впевненого автономного виконання ще існує значна відстань. Найбільші ризики виникають у ситуаціях, де відбуваються численні зміни, які впливають на різні рівні застосунку. Саме тому код, створений агентом, варто перевіряти з такою ж ретельністю, як і результати роботи молодшого спеціаліста.
#
