#rag

Материалов: 8

Разборы

новое

Разбор14 октября 2026 г.10 мин

LLM за 20 минут: что тестировщику нужно понимать

Токены, контекст, эмбеддинги, temperature и случайность, галлюцинации, RAG и агенты. Каждое понятие объясняю коротко и сразу перевожу на язык тестов: какой дефект из него следует и как его проверить.

LLM и модели Оценка качества

новое

Разбор12 октября 2026 г.10 мин

Непрямая prompt injection через документы RAG: как её тестировать и чем закрывать

Как инструкция, спрятанная в документе базы знаний, управляет ассистентом, как построить безопасный тестовый набор с канареечными токенами, посчитать ASR и какие защиты работают, а какие нет.

Безопасность LLM RAG

Разбор7 октября 2026 г.10 мин

Метрики поиска в RAG: Recall@K, MRR и NDCG на практике, плюс как выбирать чанкинг

Как отделить ошибки retriever от ошибок генерации: формулы Recall@K, Precision@K, MRR и NDCG, реализация на 30 строках Python, эксперимент с размером чанков и честные ограничения метрик.

RAG Оценка качества

Разбор6 октября 2026 г.9 мин

Golden-датасет для RAG: как собрать 60 вопросов, которые ловят регрессии

Схема датасета, восемь типов вопросов, откуда их брать, как размечать эталоны и согласие разметчиков, как версионировать и не загрязнить датасет. С примером CSV и проверкой покрытия на Python.

RAG Оценка качества

Разбор5 октября 2026 г.8 мин

Портфолио AI QA: как собрать проект, который покажет, что вы умеете проверять LLM

Структура проекта на GitHub, четыре артефакта, которые стоит в него положить, шаблон README и отчёта, а также типичные ошибки, из-за которых портфолио выглядит как учебная работа.

Оценка качества LLM и модели

Разбор1 октября 2026 г.9 мин

Как понять, что RAG-ассистент не выдумывает: 4 метрики и диагностика

Faithfulness, Answer Relevancy, Contextual Precision и Contextual Recall: что измеряет каждая метрика, какие пороги брать за точку старта и как по сочетанию значений понять, что чинить — retriever или промпт.

RAG Оценка качества