Fullstack QA (AI Assistant)

Команда AI Assistant разрабатывает и поддерживает платформу для быстрой настройки, запуска и масштабирования AI-агентов с возможностью интеграции любой LLM-модели и подключения к внешним системам.
Сейчас мы ищем опытного тестировщика, который умеет писать автотесты, встраивать их в пайплайн и думать как инженер.
Ты будешь тестировать нестандартную систему — Retrieval-Augmented Generation на базе LLM и векторного поиска. Это не UI (хотя он у нас тоже есть) и не "покликать API", это работа с текстами, данными и пайплайнами, где важна автоматизация, логика и устойчивость.
Подробнее о продукте: https://cloud.ru/news/cloud-ru-vypustit-resheniye-dlya-raboty-s-iskusstvennym-intellektom-v-oblake

Что мы предлагаем:

• Продукт на стыке R&D и production, который используют люди и другие LLM;
• Много автоматизации, которую действительно имеет смысл писать;
• Возможность делать тестирование не "по методичке", а как инженер;
• Крутая команда, которая разбирается в LLM, vector search и RAG;
• Доступ к последним моделям, экспериментам, GPU и R&D стеку;
• Работа в команде с сильными ML, backend и DevOps-инженерами.
  
  Обязанности:

• Разрабатывать и улучшать тестовую стратегию для RAG-пайплайна;
• Писать и развивать автотесты на Go или Python для компонентов RAG-системы;
• Делать E2E-проверки пайплайна: документ → чанки → вектора → PG → поиск;
• Разрабатывать интеграционные и контрактные тесты между микросервисами RAG;
• Покрывать негативные кейсы и corner-cases: большие объёмы, плохие embedding, нестабильные LLM;
• Плотно работать с k8s: запускать/ронять поды, работать с манифестами;
• Встраивать тесты в CI/CD пайплайн, следить за стабильностью прогонов;
• Настраивать алерты и метрики: ошибки пайплайна, деградация качества, пропущенные вектора;
• Взаимодействовать с разработкой: обсуждать схемы, логику, поведение в edge-кейсах.

• Опыт автоматизации тестирования от 1 года.
• Понимание архитектуры RAG или хотя бы ETL-систем;
• Опыт написания тестов на Go или Python;
• Понимание, как работают k8s, Redis, векторные БД, S3 и очереди;
• Опыт написания и отладки тестов в CI/CD пайплайне;
• Инициативность: сам находишь, что автоматизировать, и делаешь это.
  
  Будет плюсом:
• Опыт работы с LLM, векторным поиском, embedding pipeline;
• Опыт тестирования моделей: генерация тестов для LLM, сравнение ответов;
• Понимание, как устроена векторная БД: pgVector, Qdrant, Weaviate;
• Опыт тестирования отказоустойчивости и распределённых систем;
• Навыки генерации synthetic данных и тестов для моделей;
• Опыт настройки метрик/алертов в Prometheus + Grafana;
• Опыт с Kubernetes в тестировании.

Комфортная среда

• Оформление в соответствии с трудовым законодательством РФ;
• Достойный уровень дохода: оклад + годовой бонус;
• Расширенный ДМС со стоматологией;
• Компенсация спорта;
• Штатный терапевт и психолог;
• Гибкий график работы, пятница – сокращенный рабочий день;
• Классный офис в Москве;
• Культура, в основе которой эмпатия, уважение, открытость и свобода строить рабочий процесс так, как считаешь нужным.

Место, где ты растешь

• Индивидуальный план развития и обучение за счет компании;
• Возможность вертикального и горизонтального роста;
• Возможность развиваться как эксперту: выступать на мероприятиях, писать статьи.

Крутая команда

• Профессиональные сообщества и клубы по интересам;
• Неформальные мероприятия: от футбольного клуба до посиделок с пиццей.

Еще у нас

• Льготная программа ипотечного и потребительского кредитования;
• Материальная помощь при рождении детей и других семейных обстоятельствах;
• Бонусы за рекомендации кандидатов на открытые вакансии.