Карта навыков AI QA-инженера и план на 3 месяца
Восемь блоков навыков и понедельный план на 12 недель для тестировщика, который работает полный день: 5–7 часов в неделю, артефакт в конце каждой недели, список того, что можно смело отложить.
#метрики
Материалов: 8
Разборы
Кто такой AI QA-инженер и чем он отличается от обычного тестировщика
Что меняется, когда объект тестирования отвечает текстом и каждый раз по-разному: проблема оракула, недетерминизм, доли вместо pass/fail, новые классы дефектов. И что из вашего опыта тестировщика переносится без потерь.
Как оценивать ответы LLM: от assert до LLM-судьи
Пять ступеней проверки ответов модели: точное совпадение, правила и схемы, смысловая близость, LLM-судья с идеей G-Eval и ручная разметка. Когда какой ступени достаточно, как выбирать пороги и с чего начинать метрики RAG.
Можно ли доверять LLM-судье: перекосы, калибровка на ручной разметке и kappa
Три известных смещения судьи (позиция, длина, самопредпочтение), как проверить каждое экспериментом, как посчитать согласие с людьми через accuracy и Cohen's kappa и какие решения принимать по результату.
Метрики поиска в RAG: Recall@K, MRR и NDCG на практике, плюс как выбирать чанкинг
Как отделить ошибки retriever от ошибок генерации: формулы Recall@K, Precision@K, MRR и NDCG, реализация на 30 строках Python, эксперимент с размером чанков и честные ограничения метрик.
Golden-датасет для RAG: как собрать 60 вопросов, которые ловят регрессии
Схема датасета, восемь типов вопросов, откуда их брать, как размечать эталоны и согласие разметчиков, как версионировать и не загрязнить датасет. С примером CSV и проверкой покрытия на Python.
Как понять, что RAG-ассистент не выдумывает: 4 метрики и диагностика
Faithfulness, Answer Relevancy, Contextual Precision и Contextual Recall: что измеряет каждая метрика, какие пороги брать за точку старта и как по сочетанию значений понять, что чинить — retriever или промпт.
GitHub-радар
НаблюдатьPython
vibrantlabsai/ragas
Классический набор метрик для RAG, но репозиторий переехал, а коммитов с февраля 2026 нет.