ReviewBench
Исследовательский бенчмарк GitHub для сравнения ИИ-агентов проверки кода на репрезентативных pull request. Позволяет оценивать точность и полноту замечаний.
- Компания
- Microsoft
- Задачи
- Оценка ИИ-агентов
- Тип
- Бенчмарк ИИ-проверки кода
- Запрещенная организация
- Нет
- Статус страны
- Недружественная страна
GitHub открыла ReviewBench для сравнения ИИ-проверок кода
Research Preview бенчмарка позволяет сравнивать агентов ревью и проверять собственные решения на 219 публичных pull request в 19 языках. Замечания размечены по важности и категории, а метрики учитывают точность и полноту найденных проблем. Это даёт разработчикам способ оценивать полезность ревьюеров помимо числа замечаний.