RAG-ассистенты: где они ломаются (retriever или генерация), чем это измерять и как диагностировать. Метрики Faithfulness, Answer Relevancy, Contextual Precision и Recall, инструменты и наборы для проверки.
5 разборов · 2 в радаре
Как инструкция, спрятанная в документе базы знаний, управляет ассистентом, как построить безопасный тестовый набор с канареечными токенами, посчитать ASR и какие защиты работают, а какие нет.
Как сделать так, чтобы плохой промпт или смена модели останавливали релиз: структура тестов, пороги по доле, повторные прогоны для борьбы с флаками, двухуровневый CI с дешёвым судьёй на PR и конфиг GitHub Actions.
Как отделить ошибки retriever от ошибок генерации: формулы Recall@K, Precision@K, MRR и NDCG, реализация на 30 строках Python, эксперимент с размером чанков и честные ограничения метрик.
Схема датасета, восемь типов вопросов, откуда их брать, как размечать эталоны и согласие разметчиков, как версионировать и не загрязнить датасет. С примером CSV и проверкой покрытия на Python.
Faithfulness, Answer Relevancy, Contextual Precision и Contextual Recall: что измеряет каждая метрика, какие пороги брать за точку старта и как по сочетанию значений понять, что чинить — retriever или промпт.