promptfoo/promptfoo

Что делает

Promptfoo тестирует промпты, агентов и RAG через декларативные конфиги и запускается из CLI. Умеет сравнивать модели OpenAI, Anthropic, Azure, Bedrock, Ollama и других, делать red teaming и сканирование уязвимостей, а также проверять pull request на LLM-риски через code scanning.

Где полезно

Когда нужен быстрый старт без написания кода: YAML-конфиг, promptfoo eval, promptfoo view. Хорошо ложится в CI. В README сказано, что проект стал частью OpenAI, остаётся open source под MIT; репозиторий активен (последние пуши 14 октября 2026).

Как я бы использовал в тестировании

Взял бы его для регрессии промптов: набор кейсов с утверждениями (содержит, не содержит, схема JSON, оценка судьёй) и прогон на каждом изменении промпта или модели. Второй сценарий — быстрый red teaming чат-бота по категориям уязвимостей перед релизом, с сохранением отчёта как артефакта CI.

Минусы

Переход проекта под крыло OpenAI стоит держать в уме: нейтральность по отношению к другим провайдерам пока не вызывает вопросов, но я бы следил за roadmap. Конфигурации на YAML удобны для простых кейсов, а сложную логику приходится выносить в собственные провайдеры и функции на JavaScript.