Материалов: 3
Пять ступеней проверки ответов модели: точное совпадение, правила и схемы, смысловая близость, LLM-судья с идеей G-Eval и ручная разметка. Когда какой ступени достаточно, как выбирать пороги и с чего начинать метрики RAG.
Как сделать так, чтобы плохой промпт или смена модели останавливали релиз: структура тестов, пороги по доле, повторные прогоны для борьбы с флаками, двухуровневый CI с дешёвым судьёй на PR и конфиг GitHub Actions.
Faithfulness, Answer Relevancy, Contextual Precision и Contextual Recall: что измеряет каждая метрика, какие пороги брать за точку старта и как по сочетанию значений понять, что чинить — retriever или промпт.