Материалов: 4
Пять ступеней проверки ответов модели: точное совпадение, правила и схемы, смысловая близость, LLM-судья с идеей G-Eval и ручная разметка. Когда какой ступени достаточно, как выбирать пороги и с чего начинать метрики RAG.
Три известных смещения судьи (позиция, длина, самопредпочтение), как проверить каждое экспериментом, как посчитать согласие с людьми через accuracy и Cohen's kappa и какие решения принимать по результату.
Фреймворк оценки LLM-приложений: метрики для RAG и агентов, запуск как обычные pytest-тесты.
Классический набор метрик для RAG, но репозиторий переехал, а коммитов с февраля 2026 нет.