Tech Lead Data engineer (Python, Java)

О Нас

WILIX — аккредитованная IT-компания. Мы создаем современные корпоративные системы и развиваем направление аутстаффинга. Мы предоставляем высокую инженерную экспертизу ведущим игрокам рынка: Сбер, Т-Банк, МТС Банк, X5 Ритейл, Магнит, Северсталь, Альфа Страхование, ОТП Банк и многим другим. Сегодня мы расширяем команду и ищем Инженера данных для работы над внешними проектами в таких сферах, как ритейл, EdTech, банкинг и других.

Чем предстоит заниматься

• Проектировать и разрабатывать потоки данных на ETL/ELT-инструментах;

• Имплементировать кастомные трансформации;

• Проектировать и строить прототипы и витрины данных;

• Анализировать производительность и масштабировать существующие системы;

• Оптимизировать SQL-запросы и структуры баз данных;

• Разрабатывать процедуры на языке PL/pgSQL;

• Развивать архитектуру DWH, участвовать в анализе и выборе технологий, методологий и инструментов;

• Создавать и актуализировать базу знаний для пользователей DWH;

• Разрабатывать программный код и проводить его тестирование.

Что мы ожидаем

• Знание принципов построения хранилищ данных;

• Опыт работы с экосистемой Hadoop/HDFS/Hive (HDFS, YARN, Spark, Kafka, NiFi, Sqoop, Flume и др.);

• Уверенное знание SQL (DDL, DML), опыт оптимизации запросов;

• Опыт работы с Greenplum и PostgreSQL;

• Знание Java или Python (NumPy, Pandas); знание Scala будет плюсом;

• Опыт использования систем ведения проектов и документации, сопровождения и мониторинга информационных систем;

• Опыт администрирования Hadoop/Linux;

• Понимание принципов CI/CD (Jenkins, GitLab).

Будет плюсом

• Опыт работы с оркестраторами (Airflow) и инструментами трансформации данных (dbt);

• Работа с Clickhouse;

• Опыт работы в консалтинге или на проектах с несколькими заказчиками;

• Умение документировать решения и взаимодействовать с бизнес-заказчиком напрямую.

Мы предлагаем

• Участие в разнообразных проектах ведущих компаний из разных отраслей;

• Возможность профессионального развития и освоения новых технологий;

• Работу в команде профессионалов.

Привет! Это команда DWH. Мы ищем разработчика аналитического хранилища Ozon, который умеет работать с большими объёмами данных, оптимизировать SQL-запросы, строить ETL-процессы, разбирать ошибки и взаимодействовать с бизнес-пользователями и аналитиками.

Наш стек

• Trino, Vertica, Hadoop, Spark, Jupyter Notebook, Python, Airflow, Docker.

Вы будете

• Разрабатывать и развивать ETL-системы, которые обеспечивают данными различные предметные области: продажи, учёт, логистику.
• Анализировать данные и проектировать структуры данных под аналитические потребности различных бизнес-подразделений.
• Оптимизировать и мониторить пайплайны обработки данных, повышая их производительность и стабильность.
• Проектировать и реализовывать масштабируемые хранилища данных на базе HP Vertica, Trino, ClickHouse, PostgreSQL и Hadoop.

Нам важно

• Самостоятельность в решении задач и опыт в роли ключевого разработчика на крупном проекте.
• Опыт проектирования архитектуры хранения данных и связанных ETL-процессов.
• Умение работать с техническими требованиями: аргументированно предлагать изменения и находить оптимальные решения.
• Хорошие навыки проектирования и реализации ETL-процессов, обязательное знание Airflow.
• Отличное знание SQL и системное мышление.
• Опыт разработки хранилищ данных с использованием одной из колоночных СУБД: Vertica, Greenplum, Exadata, Teradata.
• Опыт программирования на Python, в том числе для разработки решений по автогенерации ETL-задач и реализации логических алгоритмов.
• Навыки работы с Bash и Docker.

Будет плюсом

• Опыт работы со Spark.
• Опыт работы с несколькими ETL-инструментами и их использованием в горизонтально масштабируемых системах обработки данных.
• Знания в одной из областей: CI/CD, frontend- или backend-разработка, разработка интеграционных потоков.
• Желание участвовать в управлении проектами и доводить фичи до production.
• Желание развиваться в наставничестве и помогать другим участникам команды.

Что предстоит делать?

• Определять и развивать целевую архитектуру платформы данных и ключевых доменных моделей
• Проектировать и реализовывать критичные пайплайны и хранилища, обеспечивая надёжность, производительность и масштабируемость
• Вводить и поддерживать стандарты качества данных, схем, версионирования, мониторинга и алёртинга
• Проводить архитектурные ревью, дизайн-сессии, помогать команде в декомпозиции и решении сложных задач
• Оптимизировать существующие решения: хранение, запросы, пайплайны, снижать стоимость и повышать SLA
• Проводить capacity planning и нагрузочное тестирование платформы, определять узкие места и планировать масштабирование вычислительных, сетевых и storage-ресурсов
• Проектировать отказоустойчивость и disaster recovery платформы: репликацию, резервное копирование, восстановление, RPO/RTO и сценарии отказа отдельных компонентов и кластеров.

Мы ожидаем, что вы:

• Имеете высокий уровень владения Python, SQL, Airflow, dbt.
• Имеете опыт построения систем с HA/DR: отказоустойчивость, disaster recovery, backup/restore, RPO/RTO, multi-AZ/кластерные конфигурации
• Имеете глубокое знание ClickHouse и его архитектуры, а так же методов оптимизации хранения/скорости доступа к данным: шардирование, репликация, Distributed-таблицы, ClickHouse Keeper, MergeTree-семейство, партиционирование, TTL, materialized views, projections, работа с S3, tiered storage, ORDER BY/primary key, индексы, JOIN, агрегации и т.п.
• Имеете глубокое понимание архитектуры распределённых систем: CAP, репликация, консистентность, отказоустойчивость, идемпотентность
• Имеете опыт построения высоконагруженных ingestion-пайплайнов, включая SLA на каждом этапе: ingestion → storage → transformation → serving → BI/ML. Kafka/очереди сообщений, batch и streaming ingestion, consumer groups, backpressure, retries, deduplication, ordering, schema evolution
• Имеете опыт построения data platform / lakehouse / DWH: raw/bronze → silver → gold, медальонная модель, витрины, семантический слой, object storage
• Обладаете навыками оптимизации стоимости хранения и обработки: hot/warm/cold storage, TTL, S3, compression, retention policies, pre-aggregation
• Знаете Metabase (будет дополнительным плюсом)

Почему вам понравится работать у нас?

• Сильная команда, амбициозные задачи и продукты, которыми пользуются миллионы
• Новый офис SberDevices в центре Москвы
• Удобный формат работы с возможностью гибкого начала рабочего дня
• Надёжная программа ДМС и НС с первого месяца работы
• Обучение и развитие: курсы и тренинги от корпоративного университета, внешнее обучение за счёт компании и участие в конференциях
• Льготная ипотека и корпоративная пенсионная программа
• СберКлуб: cкидки от партнёров, повышенные бонусы, акции экосистемы, подписка СберПрайм+.