NVIDIA/garak
Сканер уязвимостей LLM: набор проб на jailbreak, утечки, prompt injection и токсичность.
ea4310e- Вердикт
- Пробовать
- Язык
- Python
- Звёзды
- 9 566 на
- Лицензия
- Apache-2.0
- Репозиторий
- GitHub →
Что делает
garak (Generative AI Red-teaming & Assessment Kit) проверяет, можно ли заставить модель или диалоговую систему вести себя нежелательно. Проверяет галлюцинации, утечку данных, prompt injection, дезинформацию, токсичность и jailbreak, комбинируя статические, динамические и адаптивные пробы. Подключается к моделям Hugging Face, OpenAI, AWS Bedrock, litellm, GGUF и любым REST-эндпоинтам.
Где полезно
Для разового прогона по модели перед выбором провайдера и для периодического сканирования своего чат-бота через REST. Последний релиз v0.17.0 вышел 9 сентября 2026, коммиты были 10 октября.
Как я бы использовал в тестировании
Запустил бы garak по REST-эндпоинту тестового стенда с набором проб на prompt injection и утечку промпта, сохранил отчёт и сопоставил находки с OWASP LLM Top 10. Результат первого прогона принимал бы как базовую линию: дальше важно не абсолютное число, а динамика после изменения системного промпта или фильтров.
Минусы
Версия 0.x: интерфейс и состав проб меняются. Детектор «модель провалилась» тоже эвристический, поэтому часть находок надо разбирать руками, а какие-то уязвимости сканер не увидит. Для мультишаговых атак на агентов с инструментами garak даёт меньше, чем специализированные подходы.