Data Engineer

Betera — это больше, чем работа. Мы — команда профессионалов, которые создают тренды, вдохновляют друг друга на амбициозные цели и достигают успеха на рынке Беларуси вместе. Здесь каждый может гордиться тем, что делает, реализовывать свои идеи и расти в окружении единомышленников.

Мы стремительно развиваемся и готовы делиться опытом и знаниями. Если для тебя важно быть с лидерами, в центре внимания, создавать значимые проекты и двигать индустрию вперед, будем рады видеть тебя в нашей команде!

Именно поэтому мы ищем в нашу команду Data Engineer!

Что будет входить в твои задачи:

• Разрабатывать и оркестрировать пайплайны: проектировать и оптимизировать ELT/ETL-процессы с использованием Apache Airflow и dbt;
• Интегрировать внешние и внутренние источники данных: REST API, базы данных, Kafka, Web Scraping, Google Sheets;
• Проектировать и развивать DWH и аналитические витрины на базе Trino / Apache Iceberg в S3;
• Обеспечивать качество данных: разрабатывать автоматические проверки (dbt tests, Soda / Great Expectations), настраивать мониторинг аномалий и алертинг;
• Оптимизировать SQL-запросы и процессы обработки данных, повышать производительность DWH;
• Поддерживать существующие пайплайны и интеграции, находить и устранять возникающие проблемы;
• Вести техническую документацию по архитектуре данных, слоям DWH и интеграциям.

• преимуществ, подготовка рекомендаций.

Наши ожидания:

• От 3 лет опыта в Data Engineering;
• Уверенное знание SQL: сложные запросы, оконные функции, агрегации, понимание планов выполнения и оптимизации запросов;
• Уверенное владение Python для задач Data Engineering: работа с API, библиотеками обработки данных и написание скриптов автоматизации;
• Практический опыт построения и оркестрации пайплайнов в Apache Airflow;
• Практический опыт работы с dbt: модели, макросы, тесты;
• Понимание принципов проектирования DWH и построения слоев данных; знание подходов Data Vault, Kimball / Inmon;
• Практический опыт настройки проверок Data Quality;
• Базовые навыки работы с Docker и Git.

Будет плюсом:

• Опыт системного анализа источников данных: умение самостоятельно разбираться в структуре данных и преобразовывать её в аналитическую модель;
• Понимание принципов хранения данных в объектных хранилищах (AWS S3) и опыт работы с форматами таблиц Apache Iceberg / Delta Lake;
• Опыт работы с распределенными SQL-движками (Trino / Presto) или аналитическими БД (ClickHouse);
• Опыт работы с каталогами данных (Project Nessie, Apache Polaris, AWS Glue);
• Базовый опыт работы с PySpark;
• Опыт работы с потоковыми данными и Apache Kafka;
• Базовое понимание Kubernetes, в том числе запуск задач через KubernetesPodOperator;
• Опыт взаимодействия с BI-системами (Apache Superset, Power BI, Tableau).

Мы предлагаем:

• Конкурентная заработная плата, а также бонусы;
• Приятный график 5/2 с 10:00 до 18:00 и гибридный формат работы после испытательного срока;
• 5 Days Off и 16 Hours off для решения личных дел в рабочее время;
• Современный офис около метро в одном из самых ярких зданий нашего города – БЦ "Футурис". Для тебя в офисе есть зоны отдыха с массажным креслом, настольным теннисом, бильярдом, PS, скалодромом и настольными играми;
• Оплата внешнего обучения для повышения твоих hard skills, а также внутренняя база для обучения;
• Компенсация транспорта – на твой выбор проездной на общественный транспорт, такси или топливо;
• Компенсация медицинской страховки и занятий спортом, а также бесплатный шеринг велосипедов и билеты на спортивные мероприятия;
• Ты сможешь участвовать в насыщенной корпоративной жизни за счет компании: ежегодные летние и зимние корпоративные мероприятия. Вместе с Betera Team плаваем на байдарках, участвуем в полумарафонах, сажаем деревья и просто круто отдыхаем;
• Ты также сможешь присоединиться к нашим волонтерским проектам: мы помогаем приютам для животных, а также поддерживаем экологию в нашем “зеленом офисе” и за его пределами.

Звучит интересно? Ждем твое CV!

*Если твой опыт окажется подходящим для данной вакансии, мы обязательно свяжемся с тобой в течение недели. Если нет, то не расстраивайся, возможно, "твоя" вакансия ждет тебя впереди!

Ссылка на Общереспубликанский банк вакансий на информационном портале государственной службы занятости не размещается на основании абз.5 ст. 34 закона Республики Беларусь «О занятости населения»

Продуктовая IT-компания, занимающаяся разработкой и поддержкой высоконагруженных B2B-проектов в сфере развлечений, игр и спорта, ищет Data Engineer, который поможет строить и оптимизировать инфраструктуру обработки данных, обеспечивая надежные и эффективные процессы работы с большими объемами информации.

Наше хранилище данных для аналитики и data science на стеке: S3,Iceberg, ClickHouse, Trino

Что предстоит делать:

• проектировать и разрабатывать архитектуру DWH, определять модели данных, распределять слои и создавать витрины;
• строить процессы ETL/ELT загрузки и трансформации данных (batch и streaming) из различных источников;
• интегрироваться с API , Kafka, Базами данных: настраивать и управлять потоками данных;
• обеспечивать качество данных (Data Quality): разрабатывать и автоматизировать DQ-проверки, внедрять процессы мониторинга и алертинга для контроля качества данных;
• развивать системы мониторинга и информирования: настраивать метрики и дашборды в Grafana, контролировать производительность;
• оптимизировать и поддерживать существующий код: рефакторинг, повышение эффективности ETL-процессов и запросов, устранение узких мест;
• управлять версиями кода (GitLab) и вести техническую документацию в Confluence.

Какие навыки важны:

• опыт работы Data Engineer 2-3 года;
• продвинутый уровень Python: опыт в PySpark и Apache Airflow;
• глубокое знание SQL: умение писать и оптимизировать сложные запросы, проводить review;
• понимание работы СУБД ClickHouse, Trino и PostgreSQL знание их внутренних механизмов и конфигураций, написание и оптимизация SQL запросов;
• опыт работы с большими данными: понимание распределенных систем хранения (S3, HDFS), работа с форматами данных Parquet, Avro; знание методологий моделирования данных;
• интеграция данных из разнообразных источников: навыки получения и обработки данных через JDBC, REST API, Kafka, чтение из файловых систем (JSON, Parquet, S3);
• опыт настройки конвейеров в GitLab CI/CD, контейнеризация приложений с использованием Docker и их оркестрация в Kubernetes;
• настройка и использование Grafana для визуализации метрик и отслеживания состояния систем;
• знание архитектур DWH, опыт проектирования слоев данных и ETL-процессов.

Что мы предлагаем:

• работа в офисе г. Белград, комфортные условия;
• обеды и завтраки в офисе за счет компании;
• обучение за счет компании и доступ к лучшим практикам обработки данных;
• компенсация изучения английского языка для профессионального роста;
• рабочий процесс на русском языке и комфортное взаимодействие внутри коллектива.

Департамент информационных технологий Москвы создает и развивает цифровые проекты, которые делают столицу комфортнее, а жизнь горожан — удобнее и мобильнее. Для системы управления столицей технологии — это незаменимый инструмент, который применяется во всех отраслях экономики, городского хозяйства и социальной сферы. А для миллионов горожан — повседневный помощник, который позволяет получать сотни услуг и сервисов в удобном цифровом формате в режиме 24/7

Продукт Контрольно-надзорная деятельность осуществляет проект по автоматизации процессов Государственной инспекции по контролю за использованием объектов недвижимости Москвы, Главконтроля и еще 8 органов исполнительной власти города Москвы в рамках реализации реформы контрольной и надзорной деятельности в городе Москве.

Сейчас команда активно растёт и продолжает набирать темп, поэтому мы в поисках новых талантов!

Что нужно делать:

• управлять кросс-функциональной командой
  - обеспечивать эффективное взаимодействие между БА, СА, дата-инженерами, дата-аналитиками, тестировщиками и разработчиками
  - распределять задачи с учётом профиля специалистов и приоритетов проектов
  - участвовать в найме, онбординге и менторстве новых членов команды

• планировать и контролировать исполнения
  - декомпозировать задачи, оценивать трудоёмкость, формировать спринты и бэклог
  - контролировать сроки и качество реализации (ETL/ELT-процессы, витрины данных, отчётность, API-слои)
  - предоставлять отчётность по метрикам команды: скорость, загрузка, качество данных

• техническое лидерство и архитектура
  - проектировать и развивать архитектуру ДВХ (Data Lake, Data Warehouse, Data Marts)
  - выбирать и внедрять технологии: СУБД (ClickHouse, Greenplum, PostgreSQL, MongoDB), оркестрация (Airflow), обработка данных (Spark, Python/Java/Scala).
  - обеспечивать методологию Data Vault 2.0, оптимизировать запросы, репликации и шардинг.
  - управлять интеграциями через брокеры сообщений (Kafka), REST API

Какие знания и навыки нам важны:

• опыт разработки или анализа данных от 5 лет, из них не менее 2 лет в роли Team Lead / Tech Lead

• успешное управление командой от 5 человек (включая аналитиков и инженеров данных)

• опыт построения процессов работы с данными в высоконагруженной среде (микросервисы, большие объёмы)

• языки программирования: знание Python (pandas, PySpark, FastAPI/Flask, DBT) и дополнительно Java/Scala – для понимания стека инженеров

• SQL: уверенное владение (сложные запросы, оконные функции, CTE, оптимизация) – для код-ревью и помощи аналитикам/инженерам

• СУБД и хранилища: опыт с ClickHouse, Greenplum, PostgreSQL, Oracle, MongoDB

• оркестрация и ETL: практический опыт с Apache Airflow, DBT, понимание ETL/ELT-подходов

• моделирование данных: знание методологии Data Vault 2.0, Data Lake / Data Warehouse

• брокеры сообщений: Kafka (потоки данных, интеграции)
  - CI/CD и Git: GitLab CI, Git (ветвление, ревью)

Что предлагаем:

• рыночную зарплату и премии
• драйвовые задачи и ресурсы для их реализации
• преимущества аккредитованной IT-компании
• материальную помощь в случае важных событий в жизни
• корпоративное обучение у топовых провайдеров и доступ к онлайн-библиотеке
• корпоративные тренировки и спортивные активности - бег, футбол, волейбол, баскетбол, теннис и другие
• комьюнити по интересам
• скидки от партнеров на ДМС, связь, развлечения, подарки, спорт и т.д.
  
  Стань частью команды ДИТ Москвы и воплощай в жизнь цифровые проекты столицы!