Карта навыков AI QA-инженера и план на 3 месяца
Восемь блоков навыков и понедельный план на 12 недель для тестировщика, который работает полный день: 5–7 часов в неделю, артефакт в конце каждой недели, список того, что можно смело отложить.
Тема
LLM и модели
Как устроены большие языковые модели и что меняется на рынке: новые релизы, цены, лимиты контекста, открытые и российские модели. Без пересказа пресс-релизов: что это значит для тех, кто строит и проверяет AI.
8 разборов · 1 набор · 2 выпуска дайджеста
Главное по теме
Разборы
7Весь блог →
Кто такой AI QA-инженер и чем он отличается от обычного тестировщика
Что меняется, когда объект тестирования отвечает текстом и каждый раз по-разному: проблема оракула, недетерминизм, доли вместо pass/fail, новые классы дефектов. И что из вашего опыта тестировщика переносится без потерь.
Как оценивать ответы LLM: от assert до LLM-судьи
Пять ступеней проверки ответов модели: точное совпадение, правила и схемы, смысловая близость, LLM-судья с идеей G-Eval и ручная разметка. Когда какой ступени достаточно, как выбирать пороги и с чего начинать метрики RAG.
LLM за 20 минут: что тестировщику нужно понимать
Токены, контекст, эмбеддинги, temperature и случайность, галлюцинации, RAG и агенты. Каждое понятие объясняю коротко и сразу перевожу на язык тестов: какой дефект из него следует и как его проверить.
Первый автотест для LLM за вечер: pytest + Ollama
Пошагово: ставим Ollama и маленькую модель, вызываем её через OpenAI-совместимый API и пишем на pytest семь проверок: формат JSON, обязательные факты, длину, стабильность на 10 прогонах и простую проверку через LLM-судью. Всё локально и бесплатно.
Нагрузочное тестирование LLM: TTFT, ITL, p95, ошибки 429 и цена 1000 диалогов
Какие метрики нужны вместо «среднего времени ответа», как измерить их при стриминге через Locust и k6, как считать стоимость диалога и что делать с лимитами провайдера. С кодом сценария и формулами.
Портфолио AI QA: как собрать проект, который покажет, что вы умеете проверять LLM
Структура проекта на GitHub, четыре артефакта, которые стоит в него положить, шаблон README и отчёта, а также типичные ошибки, из-за которых портфолио выглядит как учебная работа.
Python-минимум для AI QA: что учить за 2–3 недели и что пропустить
Список того, что нужно знать на Python, чтобы писать проверки LLM и RAG: JSON, HTTP-клиент, CSV, pytest с параметризацией, переменные окружения. С примером первого теста на ответ модели.
Наборы
1Все наборы →
Skill «Дайджест недели» для Claude Code
Skill, по которому Claude Code собирает еженедельный дайджест AI-новостей: кандидаты, проверка по первоисточнику, формат «Что случилось / Моё мнение / Источник», черновик и прогон проверок.
claude-code