Тестирование и оценка качества LLM, RAG и AI-агентов от Рамиля Аллахвердиева. Разборы, дайджест AI-новостей с авторским мнением, GitHub-радар и курс AI QA Engineer.https://ai-assistant-business.ru/ruhttps://ai-assistant-business.ru/articles/ai-qa-roadmap-2026/https://ai-assistant-business.ru/articles/ai-qa-roadmap-2026/Восемь блоков навыков и понедельный план на 12 недель для тестировщика, который работает полный день: 5–7 часов в неделю, артефакт в конце каждой недели, список того, что можно смело отложить.Wed, 14 Oct 2026 00:00:00 GMTкарьераevalsметрикиpythonci-cdhttps://ai-assistant-business.ru/articles/chto-takoe-ai-qa/https://ai-assistant-business.ru/articles/chto-takoe-ai-qa/Что меняется, когда объект тестирования отвечает текстом и каждый раз по-разному: проблема оракула, недетерминизм, доли вместо pass/fail, новые классы дефектов. И что из вашего опыта тестировщика переносится без потерь.Wed, 14 Oct 2026 00:00:00 GMTкарьераevalsгаллюцинацииметрикиhttps://ai-assistant-business.ru/articles/kak-ocenivat-otvety-llm/https://ai-assistant-business.ru/articles/kak-ocenivat-otvety-llm/Пять ступеней проверки ответов модели: точное совпадение, правила и схемы, смысловая близость, LLM-судья с идеей G-Eval и ручная разметка. Когда какой ступени достаточно, как выбирать пороги и с чего начинать метрики RAG.Wed, 14 Oct 2026 00:00:00 GMTevalsметрикиllm-as-a-judgedeepevalpytesthttps://ai-assistant-business.ru/articles/llm-dlya-testirovshchika/https://ai-assistant-business.ru/articles/llm-dlya-testirovshchika/Токены, контекст, эмбеддинги, temperature и случайность, галлюцинации, RAG и агенты. Каждое понятие объясняю коротко и сразу перевожу на язык тестов: какой дефект из него следует и как его проверить.Wed, 14 Oct 2026 00:00:00 GMTмоделигаллюцинацииragагентыкарьераhttps://ai-assistant-business.ru/articles/pervyj-test-llm-pytest-ollama/https://ai-assistant-business.ru/articles/pervyj-test-llm-pytest-ollama/Пошагово: ставим Ollama и маленькую модель, вызываем её через OpenAI-совместимый API и пишем на pytest семь проверок: формат JSON, обязательные факты, длину, стабильность на 10 прогонах и простую проверку через LLM-судью. Всё локально и бесплатно.Wed, 14 Oct 2026 00:00:00 GMTpytestpythonevalsself-hostedhttps://ai-assistant-business.ru/articles/skill-dlya-qa-claude-code/https://ai-assistant-business.ru/articles/skill-dlya-qa-claude-code/Что такое skill, почему описание важнее тела, как разложить инструкцию на шаги и критерии, чем skill отличается от CLAUDE.md и hook, и пример skill для ревью набора evals. Плюс как проверить, что skill вообще срабатывает.Wed, 14 Oct 2026 00:00:00 GMTskillsclaude-codeharnessагентыhttps://ai-assistant-business.ru/kits/reviewer-agent/https://ai-assistant-business.ru/kits/reviewer-agent/Шаблон read-only субагента для Claude Code: читает изменения в чистом контексте, перепроверяет факты, обещания и вёрстку и возвращает список находок с доказательствами. Ничего не правит.Wed, 14 Oct 2026 00:00:00 GMTclaude-codeharnessагентыhttps://ai-assistant-business.ru/kits/secret-guard-hook/https://ai-assistant-business.ru/kits/secret-guard-hook/PreToolUse-hook для Claude Code на Python: блокирует чтение .env, ключей и .pem, вывод переменных окружения, git push, reset --hard и массовое удаление. Правило, которое нельзя забыть.Wed, 14 Oct 2026 00:00:00 GMTclaude-codeharnessбезопасностьhttps://ai-assistant-business.ru/kits/weekly-digest-skill/https://ai-assistant-business.ru/kits/weekly-digest-skill/Skill, по которому Claude Code собирает еженедельный дайджест AI-новостей: кандидаты, проверка по первоисточнику, формат «Что случилось / Моё мнение / Источник», черновик и прогон проверок.Wed, 14 Oct 2026 00:00:00 GMTclaude-codeharnessпромптыhttps://ai-assistant-business.ru/digest/2026-10-13-haiku-gpt6-gemini-agent/https://ai-assistant-business.ru/digest/2026-10-13-haiku-gpt6-gemini-agent/Claude Haiku 5.5, GPT-6 в ChatGPT, превью Mistral Large 4 и универсальный агент Gemini. Плюс отчёт Anthropic о злоупотреблениях и очередные выдуманные свидетели в суде.Tue, 13 Oct 2026 00:00:00 GMTмоделиагентыстоимостьгаллюцинациирегуляцияhttps://ai-assistant-business.ru/articles/harness-dlya-ai-agentov/https://ai-assistant-business.ru/articles/harness-dlya-ai-agentov/Пять слоёв среды вокруг AI-агента — CLAUDE.md, skills, hooks и права, агенты-ревьюеры, CI — и задачи с критериями приёмки. Разбор на примере проекта DeepRisk и порядок внедрения по дням.Tue, 13 Oct 2026 00:00:00 GMTагентыclaude-codeharnessci-cdhttps://ai-assistant-business.ru/articles/indirect-prompt-injection-rag/https://ai-assistant-business.ru/articles/indirect-prompt-injection-rag/Как инструкция, спрятанная в документе базы знаний, управляет ассистентом, как построить безопасный тестовый набор с канареечными токенами, посчитать ASR и какие защиты работают, а какие нет.Mon, 12 Oct 2026 00:00:00 GMTprompt-injectionragбезопасностьowasphttps://ai-assistant-business.ru/articles/quality-gate-ci-pytest-deepeval/https://ai-assistant-business.ru/articles/quality-gate-ci-pytest-deepeval/Как сделать так, чтобы плохой промпт или смена модели останавливали релиз: структура тестов, пороги по доле, повторные прогоны для борьбы с флаками, двухуровневый CI с дешёвым судьёй на PR и конфиг GitHub Actions.Sun, 11 Oct 2026 00:00:00 GMTci-cdpytestdeepevalevalshttps://ai-assistant-business.ru/articles/nagruzochnoe-testirovanie-llm/https://ai-assistant-business.ru/articles/nagruzochnoe-testirovanie-llm/Какие метрики нужны вместо «среднего времени ответа», как измерить их при стриминге через Locust и k6, как считать стоимость диалога и что делать с лимитами провайдера. С кодом сценария и формулами.Sat, 10 Oct 2026 00:00:00 GMTнагрузочное-тестированиестоимостьинференсpythonhttps://ai-assistant-business.ru/articles/testirovanie-agentov-i-mcp/https://ai-assistant-business.ru/articles/testirovanie-agentov-i-mcp/Чем проверка агента отличается от проверки RAG, какие метрики брать (успех задачи, корректность инструментов и аргументов, траектория, шаги и стоимость), как строить песочницу и проверять MCP-контракты. С кодом на pytest.Fri, 09 Oct 2026 00:00:00 GMTагентыmcpevalspytesthttps://ai-assistant-business.ru/articles/llm-sudya-kalibrovka-i-smeshcheniya/https://ai-assistant-business.ru/articles/llm-sudya-kalibrovka-i-smeshcheniya/Три известных смещения судьи (позиция, длина, самопредпочтение), как проверить каждое экспериментом, как посчитать согласие с людьми через accuracy и Cohen's kappa и какие решения принимать по результату.Thu, 08 Oct 2026 00:00:00 GMTllm-as-a-judgeevalsметрикиpythonhttps://ai-assistant-business.ru/articles/red-teaming-owasp/https://ai-assistant-business.ru/articles/red-teaming-owasp/Как устроен автоматический red teaming LLM-системы: техники атак, проверяемые категории, метрики ASR и Security Score, цикл «базовый скан — усиление — повторный скан» и честные границы подхода.Wed, 07 Oct 2026 00:00:00 GMTred-teamingбезопасностьowasphttps://ai-assistant-business.ru/articles/retrieval-metriki-recall-mrr-ndcg/https://ai-assistant-business.ru/articles/retrieval-metriki-recall-mrr-ndcg/Как отделить ошибки retriever от ошибок генерации: формулы Recall@K, Precision@K, MRR и NDCG, реализация на 30 строках Python, эксперимент с размером чанков и честные ограничения метрик.Wed, 07 Oct 2026 00:00:00 GMTragметрикиevalspythonhttps://ai-assistant-business.ru/digest/2026-10-06-agent-harness-attacks/https://ai-assistant-business.ru/digest/2026-10-06-agent-harness-attacks/Критичная уязвимость в AI Gateway у GitLab, git-конфиг как вектор атаки на кодовых агентов, «взрывные» промпты и отчёт об обходе Auto Mode. Плюс открытая модель Яндекса и сроки AI Act.Tue, 06 Oct 2026 00:00:00 GMTбезопасностьагентыprompt-injectionred-teamingрегуляцияhttps://ai-assistant-business.ru/articles/golden-dataset-dlya-rag/https://ai-assistant-business.ru/articles/golden-dataset-dlya-rag/Схема датасета, восемь типов вопросов, откуда их брать, как размечать эталоны и согласие разметчиков, как версионировать и не загрязнить датасет. С примером CSV и проверкой покрытия на Python.Tue, 06 Oct 2026 00:00:00 GMTragevalsметрикиpythonhttps://ai-assistant-business.ru/articles/portfolio-proekt-ai-qa/https://ai-assistant-business.ru/articles/portfolio-proekt-ai-qa/Структура проекта на GitHub, четыре артефакта, которые стоит в него положить, шаблон README и отчёта, а также типичные ошибки, из-за которых портфолио выглядит как учебная работа.Mon, 05 Oct 2026 00:00:00 GMTкарьераevalsragpytesthttps://ai-assistant-business.ru/articles/python-minimum-ai-qa/https://ai-assistant-business.ru/articles/python-minimum-ai-qa/Список того, что нужно знать на Python, чтобы писать проверки LLM и RAG: JSON, HTTP-клиент, CSV, pytest с параметризацией, переменные окружения. С примером первого теста на ответ модели.Sun, 04 Oct 2026 00:00:00 GMTpythonpytestкарьераevalshttps://ai-assistant-business.ru/articles/rag-4-metriki/https://ai-assistant-business.ru/articles/rag-4-metriki/Faithfulness, Answer Relevancy, Contextual Precision и Contextual Recall: что измеряет каждая метрика, какие пороги брать за точку старта и как по сочетанию значений понять, что чинить — retriever или промпт.Thu, 01 Oct 2026 00:00:00 GMTragметрикиdeepevalragasevals