Команда BI работает над продуктом, который служит для формирования отчетности в формате дэшбордов, которая помогает нашим коллегам принимать data-driven решения с пользой как для компании, так и для наших клиентов.
В широком смысле - это в первую очередь корпоративное хранилище данных (Data Warehouse, DWH), на основе которых формируется эта отчетность.
Стек технологий: python, react, fastapi, SQL, spark, airflow, kafka, docker, kubernetes, postgresql, vertica, gaussdb (greenplum), powerbi.
Обязанности:
- Руководство группой эксплуатации из 2-х DevOps-инженеров и 2-х Data Steward;
- Качество данных: Обеспечение точности, согласованности и актуальности данных. Дата-стюарды часто разрабатывают процедуры для улучшения качества данных и следят за их соблюдением;
- Управление метаданными: Определение и управление метаданными, которые описывают структуру и использование данных в организации;
- Правила соответствия и безопасность: Обеспечение сохранности и использования данных в соответствии с внутренними и внешними нормами и стандартами, включая правила конфиденциальности и безопасности;
- Документация: Создание и актуализация документации, описывающей источники данных, их преобразование и использование;
- Управление доступом: Контроль доступа к данным, обеспечение доступа только уполномоченным лицам;
- Обучение и поддержка: Консультирование и обучение других сотрудников по вопросам управления данными и их использования;
- Совместная работа с другими отделами: Взаимодействие с различными департаментами компании для понимания их потребностей в данных и решения проблем, связанных с данными;
- Участие в решении инцидентов.