Fullstack QA (AI Assistant)
Обязанности
Команда AI Assistant разрабатывает и поддерживает платформу для быстрой настройки, запуска и масштабирования AI-агентов с возможностью интеграции любой LLM-модели и подключения к внешним системам.
Сейчас мы ищем опытного тестировщика, который умеет писать автотесты, встраивать их в пайплайн и думать как инженер.
Ты будешь тестировать нестандартную систему — Retrieval-Augmented Generation на базе LLM и векторного поиска. Это не UI (хотя он у нас тоже есть) и не "покликать API", это работа с текстами, данными и пайплайнами, где важна автоматизация, логика и устойчивость.
Подробнее о продукте: https://cloud.ru/news/cloud-ru-vypustit-resheniye-dlya-raboty-s-iskusstvennym-intellektom-v-oblake
Что мы предлагаем:
- Продукт на стыке R&D и production, который используют люди и другие LLM;
- Много автоматизации, которую действительно имеет смысл писать;
- Возможность делать тестирование не "по методичке", а как инженер;
- Крутая команда, которая разбирается в LLM, vector search и RAG;
- Доступ к последним моделям, экспериментам, GPU и R&D стеку;
- Работа в команде с сильными ML, backend и DevOps-инженерами.
Обязанности:
- Разрабатывать и улучшать тестовую стратегию для RAG-пайплайна;
- Писать и развивать автотесты на Go или Python для компонентов RAG-системы;
- Делать E2E-проверки пайплайна: документ → чанки → вектора → PG → поиск;
- Разрабатывать интеграционные и контрактные тесты между микросервисами RAG;
- Покрывать негативные кейсы и corner-cases: большие объёмы, плохие embedding, нестабильные LLM;
- Плотно работать с k8s: запускать/ронять поды, работать с манифестами;
- Встраивать тесты в CI/CD пайплайн, следить за стабильностью прогонов;
- Настраивать алерты и метрики: ошибки пайплайна, деградация качества, пропущенные вектора;
- Взаимодействовать с разработкой: обсуждать схемы, логику, поведение в edge-кейсах.
Требования
- Опыт автоматизации тестирования от 1 года.
- Понимание архитектуры RAG или хотя бы ETL-систем;
- Опыт написания тестов на Go или Python;
- Понимание, как работают k8s, Redis, векторные БД, S3 и очереди;
- Опыт написания и отладки тестов в CI/CD пайплайне;
- Инициативность: сам находишь, что автоматизировать, и делаешь это.
Будет плюсом: - Опыт работы с LLM, векторным поиском, embedding pipeline;
- Опыт тестирования моделей: генерация тестов для LLM, сравнение ответов;
- Понимание, как устроена векторная БД: pgVector, Qdrant, Weaviate;
- Опыт тестирования отказоустойчивости и распределённых систем;
- Навыки генерации synthetic данных и тестов для моделей;
- Опыт настройки метрик/алертов в Prometheus + Grafana;
- Опыт с Kubernetes в тестировании.
Условия
Комфортная среда
- Оформление в соответствии с трудовым законодательством РФ;
- Достойный уровень дохода: оклад + годовой бонус;
- Расширенный ДМС со стоматологией;
- Компенсация спорта;
- Штатный терапевт и психолог;
- Гибкий график работы, пятница – сокращенный рабочий день;
- Классный офис в Москве;
- Культура, в основе которой эмпатия, уважение, открытость и свобода строить рабочий процесс так, как считаешь нужным.
Место, где ты растешь
- Индивидуальный план развития и обучение за счет компании;
- Возможность вертикального и горизонтального роста;
- Возможность развиваться как эксперту: выступать на мероприятиях, писать статьи.
Крутая команда
- Профессиональные сообщества и клубы по интересам;
- Неформальные мероприятия: от футбольного клуба до посиделок с пиццей.
Еще у нас
- Льготная программа ипотечного и потребительского кредитования;
- Материальная помощь при рождении детей и других семейных обстоятельствах;
- Бонусы за рекомендации кандидатов на открытые вакансии.
откликнуться
Подходит вакансия? Оставь нам свое резюме и контактные данные

№1 на рынке искусственного интеллекта
CNews Analytics, 2023

№1 по темпам роста IaaS-сервисов
Data Center Awards 2023

№1 по PaaS-сервисам
iKS-Consulting, 2022

№1 в рейтинге лучших работодателей в сфере облачных услуг
Telecom Daily, 2023
