Data Engineer

РазработкаОт 3 до 6 летГибрид

Оставить резюме//

Обязанности

Исследование источников и разработка ETL процессов по загрузке данных из источников в DWH;
Разработка и поддержка витрин;
Участие в проектировании модели данных хранилища;
Разработка, поддержка и оптимизация механизмов работы с DataLake;
Разработка, поддержка и компонентов системы потоковой обработки данных.

Глубокие знания Python (3.10+, threading, async и т.п.) в сфере работы с данными (PySpark, psycopg2, pandas и т.п.);
Умение строить сложные SQL запросы и оптимизировать их. знание диалектов SparkSQL, PostgresSQL (другие - как плюс);
Опыт реализации ETL/ELT процессов (оркестрация на Airflow);
Понимание принципов построения DWH и/или DataLake;
Понимание жизненного цикла Data-products;
Работа с системами контейнеризации (Docker, Docker Compose, Kubernetes - как плюс);
Ориентироваться в технологиях обработки больших данных.

Будет плюсом:

Знание классических схем построения хранилища данных, понимание достоинств/недостатков каждого подхода;
Опыт работы с брокерами сообщений (предпочтительно Kafka), понимание механизмов стриминговой загрузки;
Крайне желателен опыт построения Data Pipelines на Spark с использованием Airflow;
Опыт работы с облачной инфраструктурой.

Оформление в соответствии с трудовым законодательством РФ;
Конкурентный уровень дохода (оклад + годовой бонус);
ДМС со стоматологией и возможностью подключения к программе своих детей и родственников;
Прозрачную систему мотивации, которая позволяет влиять на уровень дохода;
Работу в команде профессионалов;
Участие в создании инновационных продуктов;
Гибкое начало рабочего дня, пятница - сокращённый рабочий день;
Возможность работать удаленно;
Офис в центре Москвы;
Корпоративную мобильную связь;
Льготную программу ипотечного и потребительского кредитования.

Еще у нас:

Возможность вертикального и горизонтального роста;
Бонусные программы от компаний партнёров;
Возможность получения бонуса за закрытие вакансии по вашей рекомендации;
Материальная помощь при рождении детей и др. семейных обстоятельствах;
Обучение в Корпоративном университете за счёт компании;
Участие в профильных конференциях в качестве спикера или слушателя;
Корпоративная жизнь: спортивные комьюнити, клубы по интересам (настолки, интеллектуальные игры).