yandex

Fullstack QA (AI Assistant)

РазработкаОт 3 до 6 летУдаленно
Оставить резюме//

Обязанности

Команда AI Assistant разрабатывает и поддерживает платформу для быстрой настройки, запуска и масштабирования AI-агентов с возможностью интеграции любой LLM-модели и подключения к внешним системам.
Сейчас мы ищем опытного тестировщика, который умеет писать автотесты, встраивать их в пайплайн и думать как инженер.
Ты будешь тестировать нестандартную систему — Retrieval-Augmented Generation на базе LLM и векторного поиска. Это не UI (хотя он у нас тоже есть) и не "покликать API", это работа с текстами, данными и пайплайнами, где важна автоматизация, логика и устойчивость.
Подробнее о продукте: https://cloud.ru/news/cloud-ru-vypustit-resheniye-dlya-raboty-s-iskusstvennym-intellektom-v-oblake

Что мы предлагаем:

  • Продукт на стыке R&D и production, который используют люди и другие LLM;
  • Много автоматизации, которую действительно имеет смысл писать;
  • Возможность делать тестирование не "по методичке", а как инженер;
  • Крутая команда, которая разбирается в LLM, vector search и RAG;
  • Доступ к последним моделям, экспериментам, GPU и R&D стеку;
  • Работа в команде с сильными ML, backend и DevOps-инженерами.

    Обязанности:
  • Разрабатывать и улучшать тестовую стратегию для RAG-пайплайна;
  • Писать и развивать автотесты на Go или Python для компонентов RAG-системы;
  • Делать E2E-проверки пайплайна: документ → чанки → вектора → PG → поиск;
  • Разрабатывать интеграционные и контрактные тесты между микросервисами RAG;
  • Покрывать негативные кейсы и corner-cases: большие объёмы, плохие embedding, нестабильные LLM;
  • Плотно работать с k8s: запускать/ронять поды, работать с манифестами;
  • Встраивать тесты в CI/CD пайплайн, следить за стабильностью прогонов;
  • Настраивать алерты и метрики: ошибки пайплайна, деградация качества, пропущенные вектора;
  • Взаимодействовать с разработкой: обсуждать схемы, логику, поведение в edge-кейсах.

Требования

  • Опыт автоматизации тестирования от 1 года.
  • Понимание архитектуры RAG или хотя бы ETL-систем;
  • Опыт написания тестов на Go или Python;
  • Понимание, как работают k8s, Redis, векторные БД, S3 и очереди;
  • Опыт написания и отладки тестов в CI/CD пайплайне;
  • Инициативность: сам находишь, что автоматизировать, и делаешь это.

    Будет плюсом:
  • Опыт работы с LLM, векторным поиском, embedding pipeline;
  • Опыт тестирования моделей: генерация тестов для LLM, сравнение ответов;
  • Понимание, как устроена векторная БД: pgVector, Qdrant, Weaviate;
  • Опыт тестирования отказоустойчивости и распределённых систем;
  • Навыки генерации synthetic данных и тестов для моделей;
  • Опыт настройки метрик/алертов в Prometheus + Grafana;
  • Опыт с Kubernetes в тестировании.

Условия

Комфортная среда

  • Оформление в соответствии с трудовым законодательством РФ;
  • Достойный уровень дохода: оклад + годовой бонус;
  • Расширенный ДМС со стоматологией;
  • Компенсация спорта;
  • Штатный терапевт и психолог;
  • Гибкий график работы, пятница – сокращенный рабочий день;
  • Классный офис в Москве;
  • Культура, в основе которой эмпатия, уважение, открытость и свобода строить рабочий процесс так, как считаешь нужным.

Место, где ты растешь

  • Индивидуальный план развития и обучение за счет компании;
  • Возможность вертикального и горизонтального роста;
  • Возможность развиваться как эксперту: выступать на мероприятиях, писать статьи.

Крутая команда

  • Профессиональные сообщества и клубы по интересам;
  • Неформальные мероприятия: от футбольного клуба до посиделок с пиццей.

Еще у нас

  • Льготная программа ипотечного и потребительского кредитования;
  • Материальная помощь при рождении детей и других семейных обстоятельствах;
  • Бонусы за рекомендации кандидатов на открытые вакансии.

откликнуться

Подходит вакансия? Оставь нам свое резюме и контактные данные