confident-ai/deepteam

Что делает

DeepTeam — open-source фреймворк для red teaming LLM-систем, который авторы сравнивают с пентестом для LLM. Он имитирует jailbreak, prompt injection и многошаговую эксплуатацию, чтобы найти уязвимости вроде смещений, утечки PII и SQL-инъекций в агентах, RAG-конвейерах и чат-ботах. README заявляет более 50 готовых типов уязвимостей, каждый оценивается LLM-судьёй. Построен на DeepEval и запускается локально.

Где полезно

Если вы уже используете DeepEval для качества, DeepTeam добавляет безопасность в тот же стек и ту же логику метрик. Лицензия Apache-2.0, последний пуш — 1 октября 2026.

Как я бы использовал в тестировании

Описал бы целевое приложение как функцию-обёртку, выбрал уязвимости из OWASP LLM Top 10 (PII leakage, prompt leakage, excessive agency), запустил атаки и посчитал долю успешных. Эту долю можно записать как ASR и отслеживать по версиям промпта.

Минусы

Последний тегированный релиз v1.0.9 датирован ноябрём 2025, хотя коммиты в основной ветке продолжаются. Это стоит учесть при закреплении версий. Вердикт об уязвимости выносит LLM-судья, поэтому ложные срабатывания придётся разбирать вручную. Отчёты и хранение результатов продвигаются через платформу Confident AI.