Карта навыков AI QA-инженера и план на 3 месяца

Коротко

• Навыки AI QA укладываются в восемь блоков: основы LLM, Python, тест-дизайн и датасеты, метрики и RAG, агенты, безопасность, нагрузка и стоимость, автоматизация в CI.
• При 5–7 часах в неделю базу можно пройти за 12 недель. План ниже рассчитан на тестировщика, который учится по вечерам и в выходные.
• Каждая неделя заканчивается артефактом: тестом, датасетом, отчётом. Из артефактов к концу третьего месяца собирается портфолио.
• Обучение моделей, математику трансформеров и зоопарк фреймворков можно отложить. Для старта они не нужны.

Карта навыков: восемь блоков

Это последняя часть серии «AI QA с нуля». Первые четыре объясняли, чем AI QA отличается от обычного тестирования, как устроены LLM, как написать первый автотест и как оценивать ответы. Здесь всё собрано в карту и план.

#	Блок	Что уметь	Артефакт
1	Основы LLM	токены, контекст, temperature, недетерминизм, галлюцинации, схема RAG и агента	схема своего ассистента с точками отказа
2	Python-минимум	JSON, HTTP-клиент, CSV, pytest, .env	первые тесты на ответ модели
3	Тест-дизайн и датасеты	классы дефектов, типы вопросов, golden-датасет, баг-репорт с частотой	датасет на 60 вопросов, 10 баг-репортов
4	Метрики и RAG	лестница проверок, LLM-судья, 4 метрики RAG, метрики поиска, пороги	отчёт по оценке с диагностикой
5	Агенты и MCP	проверка пути агента, инструментов и прав	набор сценариев для агента
6	Безопасность	OWASP Top 10 для LLM, prompt injection, утечки, доля успешных атак	отчёт «до и после защиты»
7	Нагрузка и стоимость	время до первого токена, p95, цена 1000 диалогов	нагрузочный отчёт
8	Автоматизация	pytest в CI, quality gate, плавающие тесты, бюджет прогона	пайплайн, который краснеет на плохом промпте

Блоки 1–4 обязательны для всех. Блоки 5–7 зависят от продукта: если в вашей компании чат-бот без инструментов, агентов можно изучить обзорно. Блок 8 превращает всё остальное в работу, которую можно показать.

Сколько времени закладывать

План рассчитан на 5–7 часов в неделю. На практике это два будних вечера по полтора-два часа и один длинный блок в выходные. За 12 недель выходит 60–80 часов. Это моя оценка, а не замер: кому-то с опытом автоматизации хватит меньшего, ручному тестировщику Python может занять больше.

Три правила, которые помогают не бросить:

1. Неделя закрыта, когда есть артефакт: файл в репозитории, который можно открыть и запустить. Прочитанные статьи артефактом не считаются.
2. Один репозиторий на всё. Тесты первой недели, датасет пятой и CI одиннадцатой лежат рядом, и к концу плана это готовое портфолио.
3. Пропустили неделю — продолжайте со следующей, а не начинайте заново. План не сломается, если блок 7 займёт две недели вместо одной.

План на 12 недель

Неделя	Тема	Что сделать	Артефакт
1	Вход в AI QA и основы LLM	прочитать части 1 и 2, поставить Ollama и модель, задать один вопрос 10 раз	заметка: что увидели и почему
2	Python-минимум	словари, JSON, функции, CSV, HTTP-запрос по Python-минимуму	скрипт: CSV с вопросами → ответы модели → CSV
3	Первые автотесты	часть 3: pytest, формат, факты, 10 прогонов, судья	tests/test_smoke.py, зелёный локально
4	Дефекты и баг-репорты	найти 10 дефектов в учебном ассистенте, у каждого частота «k из n»	10 баг-репортов, 5+ разных классов
5	Golden-датасет	собрать 60 вопросов 8 типов по разбору про датасет	golden.csv и короткое описание
6	Лестница проверок	часть 4: правила, схема, близость, G-Eval	набор проверок с порогами
7	Оценка RAG	поднять маленький RAG на своих документах, посчитать 4 метрики и метрики поиска	отчёт с диагностикой провалов
8	Доверие к судье	разметить вручную 50 ответов, сравнить с судьёй по статье о калибровке	таблица согласия, решение по судье
9	Безопасность	атаки по OWASP и непрямая инъекция на своём стенде	отчёт с долей успешных атак до и после защиты
10	Агенты и нагрузка обзорно	тестирование агентов и нагрузка LLM: выберите то, что ближе вашему продукту	5 сценариев для агента или короткий нагрузочный прогон
11	Quality gate в CI	собрать проверки в пайплайн по разбору про CI	PR с плохим промптом краснеет
12	Портфолио	README, отчёты, «что не проверено» по гайду	репозиторий, который запускается с нуля

Месяц 1: фундамент

Первые четыре недели про то, чтобы перестать бояться модели и начать её проверять. Главное в этом месяце — привычка: задавать вопрос несколько раз, записывать параметры, искать в ответе свойство, а не строку. Если Python для вас новый, неделя 2 может растянуться на две. Это нормально: дальше код почти не усложняется.

Неделя 4 часто кажется лишней тем, кто давно в тестировании. Не пропускайте её. Баг-репорт с частотой воспроизведения и классом дефекта — то, чего обычно нет у разработчиков, и это ваше преимущество.

Месяц 2: измерения

Это ядро профессии. Датасет, проверки, метрики и судья связаны между собой: без датасета нечего мерить, без калибровки нельзя верить судье. К концу восьмой недели у вас должен быть ответ на вопрос «насколько хорошо работает этот ассистент» в виде таблицы с цифрами и объяснением, где он ломается.

Если нет своего RAG-ассистента для недели 7, соберите самый простой: десяток документов, поиск по эмбеддингам, модель через Ollama. Код может быть некрасивым, лишь бы его было легко ломать: менять промпт, размер фрагментов, число найденных документов.

Месяц 3: безопасность, процесс, упаковка

Безопасность проверяйте только на своём стенде или с письменного разрешения владельца системы. Атаки на чужие продукты без разрешения недопустимы, даже учебные.

Неделя 10 сознательно обзорная. Агенты и нагрузка — большие темы, и за неделю их не освоить. Цель: понимать, что в них проверяют, и сделать один небольшой артефакт. Глубже пойдёте, когда этого потребует работа.

Последние две недели превращают набор упражнений в проект: проверки запускаются в CI, а README объясняет, что вы измеряли и что нашли.

Что можно пропустить или отложить

• Обучение моделей с нуля, математику attention и backpropagation, дообучение (LoRA, DPO). Это полезно для общего кругозора, но AI QA работает с готовыми моделями.
• Десять фреймворков сразу. Хватит одного для метрик (DeepEval или RAGAS), а остальные инструменты берите под конкретную задачу.
• Prompt engineering как отдельное искусство. Достаточно уметь менять промпт и проверять эффект на датасете.
• Векторные базы данных в деталях. На старте хватит понимать, что такое эмбеддинги и top-k, а внутреннее устройство индексов можно отложить.
• Фреймворки для агентов. Сначала поймите, как проверять агента, потом выбирайте, на чём его строить.

Как понять, что вы готовы

Критерий один: вы можете показать артефакт и объяснить решение. Например: «на 60 вопросах Faithfulness 0.82, вот три вопроса, где модель додумывает, причина в промпте, после правки стало 0.88». Или: «вот 20 атак, до защиты прошло 7, после правки 2, вот какие и почему» (цифры иллюстративные). Такой рассказ убеждает сильнее, чем строчка «изучил метрики RAG» в резюме.

Проверьте себя по чек-листу:

• объясню коллеге, почему один прогон LLM ничего не доказывает;
• напишу pytest-тест на формат и обязательные факты ответа;
• соберу датасет с вопросами разных типов, включая «ответа нет в базе»;
• выберу проверку для задачи: правило, близость, судья или человек;
• найду, где сломался RAG: в поиске или в генерации;
• посчитаю согласие судьи с ручной разметкой;
• поставлю порог от базовой версии и встрою проверку в CI.

Если отмечены все семь пунктов, вам есть что показать и рассказать на собеседовании.

Если удобнее учиться по программе

Этот план можно пройти самостоятельно: все материалы по ссылкам открыты. Если вам удобнее учиться с готовым стендом, заданиями с критериями приёмки и разбором работ, я готовлю курс AI QA Engineer. Его программа построена на той же логике: короткий вход в LLM, а дальше почти всё время тестирование, с четырьмя проектами для портфолио. Курс пока в разработке, подробности на странице курса.

Что дальше

• Начните с недели 1: если вы пришли сразу сюда, прочитайте первую часть серии.
• Создайте пустой репозиторий ai-qa-portfolio сегодня. Каждую неделю кладите туда артефакт.
• Как упаковать результат в конце: портфолио-проект AI QA.