#evals

Материалов: 16

Разборы

новое

Разбор14 октября 2026 г.10 мин

Карта навыков AI QA-инженера и план на 3 месяца

Восемь блоков навыков и понедельный план на 12 недель для тестировщика, который работает полный день: 5–7 часов в неделю, артефакт в конце каждой недели, список того, что можно смело отложить.

Оценка качества LLM и модели

новое

Разбор14 октября 2026 г.9 мин

Кто такой AI QA-инженер и чем он отличается от обычного тестировщика

Что меняется, когда объект тестирования отвечает текстом и каждый раз по-разному: проблема оракула, недетерминизм, доли вместо pass/fail, новые классы дефектов. И что из вашего опыта тестировщика переносится без потерь.

Оценка качества LLM и модели

новое

Разбор14 октября 2026 г.11 мин

Как оценивать ответы LLM: от assert до LLM-судьи

Пять ступеней проверки ответов модели: точное совпадение, правила и схемы, смысловая близость, LLM-судья с идеей G-Eval и ручная разметка. Когда какой ступени достаточно, как выбирать пороги и с чего начинать метрики RAG.

Оценка качества LLM и модели

новое

Разбор14 октября 2026 г.11 мин

Первый автотест для LLM за вечер: pytest + Ollama

Пошагово: ставим Ollama и маленькую модель, вызываем её через OpenAI-совместимый API и пишем на pytest семь проверок: формат JSON, обязательные факты, длину, стабильность на 10 прогонах и простую проверку через LLM-судью. Всё локально и бесплатно.

Оценка качества LLM и модели

новое

Разбор11 октября 2026 г.11 мин

Quality gate для LLM в CI: pytest, DeepEval, плавающие тесты и бюджет прогона

Как сделать так, чтобы плохой промпт или смена модели останавливали релиз: структура тестов, пороги по доле, повторные прогоны для борьбы с флаками, двухуровневый CI с дешёвым судьёй на PR и конфиг GitHub Actions.

Оценка качества RAG

новое

Разбор9 октября 2026 г.11 мин

Как тестировать AI-агента и MCP-серверы: task success, tool correctness и траектория

Чем проверка агента отличается от проверки RAG, какие метрики брать (успех задачи, корректность инструментов и аргументов, траектория, шаги и стоимость), как строить песочницу и проверять MCP-контракты. С кодом на pytest.

Агенты Оценка качества

Разбор8 октября 2026 г.10 мин

Можно ли доверять LLM-судье: перекосы, калибровка на ручной разметке и kappa

Три известных смещения судьи (позиция, длина, самопредпочтение), как проверить каждое экспериментом, как посчитать согласие с людьми через accuracy и Cohen's kappa и какие решения принимать по результату.

Оценка качества

Разбор7 октября 2026 г.10 мин

Метрики поиска в RAG: Recall@K, MRR и NDCG на практике, плюс как выбирать чанкинг

Как отделить ошибки retriever от ошибок генерации: формулы Recall@K, Precision@K, MRR и NDCG, реализация на 30 строках Python, эксперимент с размером чанков и честные ограничения метрик.

RAG Оценка качества

Разбор6 октября 2026 г.9 мин

Golden-датасет для RAG: как собрать 60 вопросов, которые ловят регрессии

Схема датасета, восемь типов вопросов, откуда их брать, как размечать эталоны и согласие разметчиков, как версионировать и не загрязнить датасет. С примером CSV и проверкой покрытия на Python.

RAG Оценка качества

Разбор5 октября 2026 г.8 мин

Портфолио AI QA: как собрать проект, который покажет, что вы умеете проверять LLM

Структура проекта на GitHub, четыре артефакта, которые стоит в него положить, шаблон README и отчёта, а также типичные ошибки, из-за которых портфолио выглядит как учебная работа.

Оценка качества LLM и модели

Разбор4 октября 2026 г.8 мин

Python-минимум для AI QA: что учить за 2–3 недели и что пропустить

Список того, что нужно знать на Python, чтобы писать проверки LLM и RAG: JSON, HTTP-клиент, CSV, pytest с параметризацией, переменные окружения. С примером первого теста на ответ модели.

Оценка качества LLM и модели

Разбор1 октября 2026 г.9 мин

Как понять, что RAG-ассистент не выдумывает: 4 метрики и диагностика

Faithfulness, Answer Relevancy, Contextual Precision и Contextual Recall: что измеряет каждая метрика, какие пороги брать за точку старта и как по сочетанию значений понять, что чинить — retriever или промпт.

RAG Оценка качества