Атаки на LLM-системы и защита от них: OWASP LLM Top 10, prompt injection, jailbreak, утечки, уязвимости обвязки агентов. Метрики ASR и Security Score, инструменты red teaming.
2 разбора · 1 набор · 4 в радаре · 1 выпуск дайджеста
Как инструкция, спрятанная в документе базы знаний, управляет ассистентом, как построить безопасный тестовый набор с канареечными токенами, посчитать ASR и какие защиты работают, а какие нет.
Как устроен автоматический red teaming LLM-системы: техники атак, проверяемые категории, метрики ASR и Security Score, цикл «базовый скан — усиление — повторный скан» и честные границы подхода.
PreToolUse-hook для Claude Code на Python: блокирует чтение .env, ключей и .pem, вывод переменных окружения, git push, reset --hard и массовое удаление. Правило, которое нельзя забыть.