Карта навыков AI QA-инженера и план на 3 месяца
Восемь блоков навыков и понедельный план на 12 недель для тестировщика, который работает полный день: 5–7 часов в неделю, артефакт в конце каждой недели, список того, что можно смело отложить.
Тема
Оценка качества
Как измерять качество LLM-систем вместо проверки «на глаз»: наборы вопросов, метрики, судья-LLM и его перекосы, пороги и quality gate в CI. Инструменты: DeepEval, RAGAS, promptfoo, Langfuse.
14 разборов · 4 в радаре
Главное по теме
Разборы
13Весь блог →
Кто такой AI QA-инженер и чем он отличается от обычного тестировщика
Что меняется, когда объект тестирования отвечает текстом и каждый раз по-разному: проблема оракула, недетерминизм, доли вместо pass/fail, новые классы дефектов. И что из вашего опыта тестировщика переносится без потерь.
Как оценивать ответы LLM: от assert до LLM-судьи
Пять ступеней проверки ответов модели: точное совпадение, правила и схемы, смысловая близость, LLM-судья с идеей G-Eval и ручная разметка. Когда какой ступени достаточно, как выбирать пороги и с чего начинать метрики RAG.
LLM за 20 минут: что тестировщику нужно понимать
Токены, контекст, эмбеддинги, temperature и случайность, галлюцинации, RAG и агенты. Каждое понятие объясняю коротко и сразу перевожу на язык тестов: какой дефект из него следует и как его проверить.
Первый автотест для LLM за вечер: pytest + Ollama
Пошагово: ставим Ollama и маленькую модель, вызываем её через OpenAI-совместимый API и пишем на pytest семь проверок: формат JSON, обязательные факты, длину, стабильность на 10 прогонах и простую проверку через LLM-судью. Всё локально и бесплатно.
Quality gate для LLM в CI: pytest, DeepEval, плавающие тесты и бюджет прогона
Как сделать так, чтобы плохой промпт или смена модели останавливали релиз: структура тестов, пороги по доле, повторные прогоны для борьбы с флаками, двухуровневый CI с дешёвым судьёй на PR и конфиг GitHub Actions.
Как тестировать AI-агента и MCP-серверы: task success, tool correctness и траектория
Чем проверка агента отличается от проверки RAG, какие метрики брать (успех задачи, корректность инструментов и аргументов, траектория, шаги и стоимость), как строить песочницу и проверять MCP-контракты. С кодом на pytest.
Можно ли доверять LLM-судье: перекосы, калибровка на ручной разметке и kappa
Три известных смещения судьи (позиция, длина, самопредпочтение), как проверить каждое экспериментом, как посчитать согласие с людьми через accuracy и Cohen's kappa и какие решения принимать по результату.
Red teaming LLM по OWASP: ASR, Security Score и что с ними делать
Как устроен автоматический red teaming LLM-системы: техники атак, проверяемые категории, метрики ASR и Security Score, цикл «базовый скан — усиление — повторный скан» и честные границы подхода.
Метрики поиска в RAG: Recall@K, MRR и NDCG на практике, плюс как выбирать чанкинг
Как отделить ошибки retriever от ошибок генерации: формулы Recall@K, Precision@K, MRR и NDCG, реализация на 30 строках Python, эксперимент с размером чанков и честные ограничения метрик.
Golden-датасет для RAG: как собрать 60 вопросов, которые ловят регрессии
Схема датасета, восемь типов вопросов, откуда их брать, как размечать эталоны и согласие разметчиков, как версионировать и не загрязнить датасет. С примером CSV и проверкой покрытия на Python.
Портфолио AI QA: как собрать проект, который покажет, что вы умеете проверять LLM
Структура проекта на GitHub, четыре артефакта, которые стоит в него положить, шаблон README и отчёта, а также типичные ошибки, из-за которых портфолио выглядит как учебная работа.
Python-минимум для AI QA: что учить за 2–3 недели и что пропустить
Список того, что нужно знать на Python, чтобы писать проверки LLM и RAG: JSON, HTTP-клиент, CSV, pytest с параметризацией, переменные окружения. С примером первого теста на ответ модели.
Как понять, что RAG-ассистент не выдумывает: 4 метрики и диагностика
Faithfulness, Answer Relevancy, Contextual Precision и Contextual Recall: что измеряет каждая метрика, какие пороги брать за точку старта и как по сочетанию значений понять, что чинить — retriever или промпт.