Подробные разборы про то, как строить и проверять LLM, RAG и агентов, и готовые наборы: skills, hooks, шаблоны, которые можно скопировать к себе.
Страницы тем: радар, дайджест и наборы по каждой →
Что такое skill, почему описание важнее тела, как разложить инструкцию на шаги и критерии, чем skill отличается от CLAUDE.md и hook, и пример skill для ревью набора evals. Плюс как проверить, что skill вообще срабатывает.
Шаблон read-only субагента для Claude Code: читает изменения в чистом контексте, перепроверяет факты, обещания и вёрстку и возвращает список находок с доказательствами. Ничего не правит.
PreToolUse-hook для Claude Code на Python: блокирует чтение .env, ключей и .pem, вывод переменных окружения, git push, reset --hard и массовое удаление. Правило, которое нельзя забыть.
Skill, по которому Claude Code собирает еженедельный дайджест AI-новостей: кандидаты, проверка по первоисточнику, формат «Что случилось / Моё мнение / Источник», черновик и прогон проверок.
Пять слоёв среды вокруг AI-агента — CLAUDE.md, skills, hooks и права, агенты-ревьюеры, CI — и задачи с критериями приёмки. Разбор на примере проекта DeepRisk и порядок внедрения по дням.
Как инструкция, спрятанная в документе базы знаний, управляет ассистентом, как построить безопасный тестовый набор с канареечными токенами, посчитать ASR и какие защиты работают, а какие нет.
Как сделать так, чтобы плохой промпт или смена модели останавливали релиз: структура тестов, пороги по доле, повторные прогоны для борьбы с флаками, двухуровневый CI с дешёвым судьёй на PR и конфиг GitHub Actions.
Какие метрики нужны вместо «среднего времени ответа», как измерить их при стриминге через Locust и k6, как считать стоимость диалога и что делать с лимитами провайдера. С кодом сценария и формулами.
Чем проверка агента отличается от проверки RAG, какие метрики брать (успех задачи, корректность инструментов и аргументов, траектория, шаги и стоимость), как строить песочницу и проверять MCP-контракты. С кодом на pytest.
Три известных смещения судьи (позиция, длина, самопредпочтение), как проверить каждое экспериментом, как посчитать согласие с людьми через accuracy и Cohen's kappa и какие решения принимать по результату.
Как устроен автоматический red teaming LLM-системы: техники атак, проверяемые категории, метрики ASR и Security Score, цикл «базовый скан — усиление — повторный скан» и честные границы подхода.
Faithfulness, Answer Relevancy, Contextual Precision и Contextual Recall: что измеряет каждая метрика, какие пороги брать за точку старта и как по сочетанию значений понять, что чинить — retriever или промпт.