LLM за 20 минут: что тестировщику нужно понимать
Токены, контекст, эмбеддинги, temperature и случайность, галлюцинации, RAG и агенты. Каждое понятие объясняю коротко и сразу перевожу на язык тестов: какой дефект из него следует и как его проверить.
#агенты
Материалов: 9
Разборы
Как написать skill для Claude Code под задачи QA: структура, описание, проверки и тест самого skill
Что такое skill, почему описание важнее тела, как разложить инструкцию на шаги и критерии, чем skill отличается от CLAUDE.md и hook, и пример skill для ревью набора evals. Плюс как проверить, что skill вообще срабатывает.
Harness: как заставить AI-агента работать по правилам
Пять слоёв среды вокруг AI-агента — CLAUDE.md, skills, hooks и права, агенты-ревьюеры, CI — и задачи с критериями приёмки. Разбор на примере проекта DeepRisk и порядок внедрения по дням.
Как тестировать AI-агента и MCP-серверы: task success, tool correctness и траектория
Чем проверка агента отличается от проверки RAG, какие метрики брать (успех задачи, корректность инструментов и аргументов, траектория, шаги и стоимость), как строить песочницу и проверять MCP-контракты. С кодом на pytest.
Наборы
Агент-ревьюер: независимая проверка вместо «готово» от автора кода
Шаблон read-only субагента для Claude Code: читает изменения в чистом контексте, перепроверяет факты, обещания и вёрстку и возвращает список находок с доказательствами. Ничего не правит.
claude-code
Дайджест
Дайджест #2: новые модели недели и корпоративные агенты с лимитами
Claude Haiku 5.5, GPT-6 в ChatGPT, превью Mistral Large 4 и универсальный агент Gemini. Плюс отчёт Anthropic о злоупотреблениях и очередные выдуманные свидетели в суде.
Дайджест #1: атаки на обвязку AI-агентов, а не на модель
Критичная уязвимость в AI Gateway у GitLab, git-конфиг как вектор атаки на кодовых агентов, «взрывные» промпты и отчёт об обходе Auto Mode. Плюс открытая модель Яндекса и сроки AI Act.
GitHub-радар
ПробоватьPython
confident-ai/deepeval
Фреймворк оценки LLM-приложений: метрики для RAG и агентов, запуск как обычные pytest-тесты.
ПробоватьPython
confident-ai/deepteam
Red teaming LLM и агентов на базе DeepEval: 50+ уязвимостей и атаки с локальным запуском.