# Рамиль Аллахвердиев · AI QA Engineer
QA Engineer → AI/LLM Testing

## Привет
Я Рамиль, Quality Assurance Engineer. Тестирую AI/LLM-системы и RAG-пайплайны и автоматизирую QA-процессы. Тестирую AI так же, как раньше тестировал софт, а потом пишу об этом здесь.

## Фокус и миссия
- **Фокус:** превращаю субъективные оценки качества AI в объективные метрики и автоматизированные тесты.
- **Миссия:** добиваюсь, чтобы AI-системы работали не просто корректно, а приносили измеримую бизнес-ценность.
- **Открыт к:** работе над AI/ML-проектами в роли QA/AI Engineer, консультациям по LLM testing, контрактным проектам.

## Чем занимаюсь
- **Оценка качества LLM и RAG.** DeepEval и RAGAS изнутри: Faithfulness, Answer Relevancy, Contextual Precision и Recall. Знаю, где LLM-as-a-judge даёт перекосы, и встраиваю quality gate в CI.
- **Безопасность LLM.** Red teaming по OWASP LLM Top 10: prompt injection, jailbreak (в том числе crescendo), утечки промптов и PII, excessive agency. Считаю ASR и Security Score.
- **Работа с AI-агентами.** Веду проекты на Claude Code с харнесом: CLAUDE.md, skills, hooks, агенты-ревьюеры, CI. Задачи ставлю с критериями приёмки, мерж делает только человек.
- **Теория AI Engineer.** Собрал конспект на 57 страниц: attention, KV cache, GQA и MLA, MoE, квантизация, retrieval, RAG, агенты и MCP, LoRA и DPO, system design.
- **Продукт и бизнес.** Описал Business Model Canvas для DeepRisk Evaluate, разобрал рынок РФ (HiveTrace, BSS), строю продажу через пилотный аудит.
- **Веб.** Вёл студию Neon Dev: сайты для бизнеса.

## Мой подход к QA
> От субъективного к измеримому, от ручного к автоматизированному

```diff
- Редактор вручную проверяет 1000 статей (80 часов работы)
+ Automated QA System проверяет 1000 статей (30 минут)

- "Статья хорошая" (субъективно, невоспроизводимо)
+ Relevancy: 0.87, Toxicity: 0.02, Keyword Coverage: 95% (объективно, воспроизводимо)

- Обнаруживаем проблемы, когда клиенты жалуются (поздно, дорого)
+ Quality Gates блокируют проблемный контент до публикации (рано, дёшево)
```
Результат: Экономия времени + улучшение качества + защита репутации = измеримая бизнес-ценность.

## Стек
- **LLM Testing & Evaluation:** DeepEval, RAGAS, Custom Metrics, Pytest
- **Automation & Dev:** Python, Pytest, Pandas, FastAPI, Pydantic
- **AI / LLM:** OpenAI, Claude, LangChain, Ollama
- **Data:** Qdrant, PostgreSQL, SQLite
- **DevOps & Tools:** Git, GitHub, Docker, Jira

## Проекты
### DeepRisk
Self-hosted платформа для проверки AI.
- FastAPI + Next.js, Docker, RBAC, проекты, фоновые задачи
- Red Teaming, Evaluate RAG, API Runner
- Лицензия MIT
Stack: FastAPI, Next.js, Docker
https://neon-dev.ru

### AI Quality Assurance Automation
Автоматизированный QA для LLM-генерированного контента.
- DeepEval и кастомные SEO-метрики
- Quality Gates: Auto-approve / Review / Reject
- Мои результаты в проекте: экономия ~70% времени редакторов, жалоб клиентов меньше на 60%
Stack: Python, DeepEval, Pandas, Pytest
https://github.com/RamilQAEng

### LLM Evaluation Framework
Сравнительный анализ DeepEval и RAGAS.
- Бенчмарк на 50+ примерах
- Метрики: Speed, Accuracy, Cost
- Рекомендации на данных и воспроизводимая методология
Stack: DeepEval, RAGAS, Jupyter, Matplotlib
https://github.com/RamilQAEng

### Telegram Bot для AI Test Cases
Генератор тест-кейсов на LLM.
- Интеграция SBER GigaChat API
- Генерация тест-кейсов, свои промпты под сценарии
- Экспорт в Excel/CSV
Stack: Python, Telegram Bot API, GigaChat
https://github.com/RamilQAEng/Chat_bot_test

### Web Scraper + Proxy Rotation
Парсер статичных сайтов с прокси.
- Теги настраиваются через YAML
- Ротация прокси, error handling и retry
- Валидация данных и экспорт
Stack: Python, BeautifulSoup, Requests
https://github.com/RamilQAEng/parsing

## Что изучаю сейчас
```python
current_focus = {
    "advanced_rag": ["REFRAG methodology", "Hybrid search", "Reranking"],
    "ai_security": ["Prompt injection defense", "Jailbreak detection", "PII leakage"],
    "mlops": ["Model monitoring", "Drift detection", "A/B experiment frameworks"],
    "agentic_systems": ["Multi-agent orchestration", "Claude-flow", "LangGraph"]
}
```

## git log --reverse --graph allakhverdiev/career
- a3f9c01 chore: init: QA-инженер, тестирую софт
- 7be42d9 test(qa): автоматизация на Python и Pytest
- 1cd08fa feat(parser): парсер с ротацией прокси
- 9e5b3a7 feat(bot): Telegram-бот с GigaChat генерирует тест-кейсы
- d402e6c merge: Merge branch 'automation' into main
- 58a1f30 feat(evals): освоил DeepEval и RAGAS
- f7c9120 feat(ai-qa): AI QA automation system
- 2b86d4e docs(research): DeepEval vs RAGAS: бенчмарк
- c13a7b5 docs(articles): статьи про AI QA для русскоязычного tech-сообщества
- 6a0f9d8 merge: Merge branch 'ai-qa' into main
- e84c215 feat(deeprisk): DeepRisk: Red Teaming, Evaluate RAG, API Runner
- 3d7b6a2 docs(biz): Business Model Canvas и разбор рынка РФ
- b92e041 merge: Merge branch 'deeprisk' into main
- 0f5a8c3 feat(harness): харнес для AI-агентов: CLAUDE.md, skills, hooks, ревьюеры
- 8c61e7d docs(notes): конспект AI Engineer, 57 страниц
- 47d3b19 feat(products): книги опыта и интенсив на неделю
- 9f2c1ab feat(site): этот сайт и курс AI QA Engineer (HEAD -> main, tag: v1.0)

## Сломай Джейсона
Мини-игра: вытащить секретное слово у талисмана тремя разными приёмами prompt injection. Игрушка, всё в браузере. Настоящий red teaming: /articles/red-teaming-owasp/

## eval-report
Шуточные метрики автора (Faithfulness to facts 1.00, Hallucination 0.00, Coffee per release ∞) и настоящие счётчики контента.

## Что я предлагаю
- **Курс AI QA Engineer** — в разработке
- **Книги опыта** — три PDF: конспект AI Engineer, DeepRisk, Harness, 1 990 ₽
- **Интенсив на неделю** — метрики, red team, release gate, 25 000 ₽
- **DeepRisk Evaluate** — аудит качества AI-ассистентов для компаний

## Philosophy
> Хорошие QA-инженеры находят баги. Отличные QA-инженеры предотвращают баги. AI QA-инженеры превращают качество в измеримую бизнес-метрику.

## Pull request welcome
- Telegram: @Rambajo https://t.me/Rambajo
- GitHub: https://github.com/RamilQAEng
- Email: ramill9754@gmail.com

- Редактор вручную проверяет 1000 статей (80 часов работы)
+ Automated QA System проверяет 1000 статей (30 минут)

- "Статья хорошая" (субъективно, невоспроизводимо)
+ Relevancy: 0.87, Toxicity: 0.02, Keyword Coverage: 95% (объективно, воспроизводимо)

- Обнаруживаем проблемы, когда клиенты жалуются (поздно, дорого)
+ Quality Gates блокируют проблемный контент до публикации (рано, дёшево)

current_focus = {
    "advanced_rag": ["REFRAG methodology", "Hybrid search", "Reranking"],
    "ai_security": ["Prompt injection defense", "Jailbreak detection", "PII leakage"],
    "mlops": ["Model monitoring", "Drift detection", "A/B experiment frameworks"],
    "agentic_systems": ["Multi-agent orchestration", "Claude-flow", "LangGraph"]
}

{
  "role": "jason",
  "status": "ready",
  "message": "Привет! Я охраняю секретное слово. Попробуйте его получить."
}