core technology

Junior Data Engineer/Младший инженер данных (Python)

Мы ищем Junior Data Engineer в команду, которая развивает корпоративное хранилище данных ( КХД / DWH ) с нуля и участвует в создании регуляторных и управленческих витрин.

core technology

↑ Вакансия с автоподнятием
от 8 000 000 UZS (≈ от 57k ₽)УзбекистанТашкентОфис

Мы ищем Junior Data Engineer в команду, которая развивает корпоративное хранилище данных (КХД / DWH) с нуля и участвует в создании регуляторных и управленческих витрин.

Если тебе интересно работать с данными не только на уровне SQL-запросов, а понимать, откуда данные приходят, как трансформируются, проверяются и попадают в DWH, — будем рады познакомиться.

📍 Условия

  • Ташкент, офис
  • График: 5/2, 09:00–18:00
  • Полная занятость
  • Зарплата: от 8 000 000 сум
  • Работа в команде Data / DWH
  • Наставничество и возможность профессионального роста
  • Работа над реальным RegTech-проектом
  • Возможность развиваться в направлении Data Engineering / DWH

🎯 Чем предстоит заниматься

  • Разрабатывать и поддерживать корпоративное хранилище данных (DWH / КХД).
  • Создавать модели данных и SQL/dbt-модели на основе S2T (Source-to-Target).
  • Разрабатывать регуляторные и управленческие витрины данных.
  • Писать и оптимизировать SQL-запросы, процедуры и функции.
  • Настраивать и сопровождать ETL/ELT-процессы.
  • Разрабатывать и сопровождать задачи в Apache Airflow.
  • Проводить проверки качества данных (Data Quality).
  • Контролировать корректность загрузки данных и искать причины ошибок.
  • Работать с логами и мониторингом процессов загрузки.
  • Участвовать в работе с CDC и потоками данных.
  • Использовать Git для работы с кодом.
  • Взаимодействовать с аналитиками, разработчиками и другими участниками проекта.
  • Документировать разработанные решения.

🔴 Обязательные знания и навыки

Пожалуйста, откликайтесь, если у вас есть базовая практическая база по большинству этих пунктов.

SQL — обязательно

Нужно уверенно знать:

  • JOIN
  • GROUP BY
  • HAVING
  • подзапросы
  • CTE
  • оконные функции
  • агрегатные функции
  • фильтрацию и сортировку
  • понимание NULL
  • основы оптимизации SQL-запросов
  • желательно — простые stored procedures / functions

DWH / КХД — обязательно

Кандидат должен понимать:

  • что такое DWH / КХД и зачем оно используется;
  • отличие OLTP от OLAP;
  • что такое факт и измерение;
  • что такое витрина данных;
  • базовые принципы моделирования данных;
  • как данные проходят путь Source → Staging → DWH → Data Mart.

ETL / ELT — обязательно

Нужно понимать:

  • что такое ETL и ELT;
  • этапы извлечения, трансформации и загрузки данных;
  • как строится процесс загрузки данных из источника в DWH;
  • что такое полная и инкрементальная загрузка;
  • базовые принципы трансформации данных.

Data Quality — обязательно

Понимание базовых проверок:

  • NULL;
  • дубликаты;
  • количество записей;
  • соответствие типов данных;
  • контроль уникальности;
  • сверка данных между источником и DWH;
  • выявление некорректных или потерянных данных.

Python — обязательно на базовом уровне

Не требуется быть Python-разработчиком, но необходимо:

  • понимать синтаксис Python;
  • уметь работать с данными;
  • понимать базовые структуры данных;
  • желательно иметь опыт с pandas.

Git — обязательно / либо готовность быстро освоить

  • понимание commit;
  • branch;
  • pull/push;
  • базовая работа с Git/GitHub/GitLab.

Аналитическое мышление — обязательно

Нужно уметь:

  • разбираться в структуре данных;
  • находить причины ошибок;
  • понимать бизнес-логику преобразований;
  • внимательно работать с требованиями;
  • самостоятельно искать решение проблемы.

🟢 Будет большим плюсом

Опыт или знания:

  • dbt
  • Apache Airflow
  • Oracle
  • PL/SQL
  • SQL optimization
  • Linux
  • CDC
  • Oracle GoldenGate
  • построение DWH с нуля
  • S2T-мэппинг
  • Data Quality frameworks
  • опыт с Data Mart
  • опыт работы с RegTech / банковскими / финансовыми данными

👤 Кого мы ищем

Рассматриваем:

  • Junior Data Engineer;
  • выпускников профильных специальностей;
  • студентов старших курсов;
  • кандидатов с опытом стажировок;
  • специалистов с опытом учебных или pet-проектов в Data Engineering.

Коммерческий опыт не является обязательным, если есть хорошая техническая база и реальные проекты.

Для нас важнее:

SQL + понимание DWH + ETL/ELT + аналитическое мышление + способность быстро обучаться.

📈 Что будет после адаптации

В первые месяцы ты постепенно научишься:

  • создавать dbt-модели по S2T;
  • разрабатывать DWH-компоненты;
  • создавать и сопровождать Airflow DAG;
  • выполнять Data Quality проверки;
  • работать с реальными источниками данных;
  • находить и устранять ошибки загрузки;
  • участвовать в code review;
  • самостоятельно вести небольшие задачи от постановки до результата.

❗ Важно

Перед откликом проверьте себя:

  • Я уверенно владею SQL.
  • Понимаю, что такое DWH и чем OLTP отличается от OLAP.
  • Понимаю принципы ETL/ELT.
  • Знаю базовые проверки качества данных.
  • Имею хотя бы базовый опыт Python.
  • Работал с Git или готов быстро его освоить.
  • Готов работать в офисе 5/2, 09:00–18:00.
  • Мне интересно развиваться именно в Data Engineering / DWH.

Похожие вакансии Data Engineer

hh.ru
lamoda tech

Руководитель группы больших данных

lamoda techАвтоподнятие
Зарплата не указанаРоссияМоскваУдалёнка

Мы в поиске Team Lead в направление BigData, который будет руководить командой по разработке инструментов и пайплайнов данных для DS и ML команд. Команда работает в различных кросc-функциональных проектах в области DS и поддерживает такие продукты как: ранжирование, навигация, персонализация и прайсинг.

Чем предстоит заниматься:

  • управлять командой из 4 человек (оценка производительности, мотивации, развитие, найм);
  • выстраивать процессы команды и настраивать взаимодействие со смежными командами;
  • определять (и отстаивать) архитектуру решений обработки данных, техническая декомпозиция до понятных команде эпиков;
  • совместно работать с командой над задачами из бэклога, помогать в критических направлениях;
  • обеспечивать качество и надежность производимых командой решений;
  • строить инструменты и ETL пайплайны данных;
  • развивать практику и культуру работы с данными в компании;
  • участвовать в исследованиях и принимать решения по использованию новых инструментов для обработки данных в компании;
  • организовывать и проводить собеседования.

Наш технологический стек: Hadoop, Trino, Spark, Spark Streaming, Airflow, Hudi / Iceberg, Python, Scala.

Мы ожидаем:

  • опыт управления командой от 1 года и готовность решать управленческие кейсы;
  • опыт в организации найма и построения команды;
  • желание быть техническим лидером для команды (не бояться погружаться в детали и помогать достигать целей);
  • готовность управлять сроками и ожиданиями бизнеса;
  • опыт выстраивания процессов с 0, подкрепленный метриками;
  • понимание принципов организации хранилищ данных;
  • уверенное знание SQL, умение строить сложные запросы и оптимизировать производительность;
  • уверенное знание одного из языков программирования: python, java, scala;
  • экспертность в Data Engineering, хорошие знания технологий (hadoop, kafka, spark, trino, airflow).

Мы предлагаем:

  • ДМС со стоматологией, телемедициной и программой поддержки ментального здоровья;
  • Страхование жизни;
  • Ежемесячные промокоды на Lamoda: два по 25%, два по 15% и в день рождения — 40%;
  • Программа привилегий и скидок от BestBenefits;
  • До 15 дней больничного в год оплачиваем в размере 100% от действующего оклада;
  • Бесплатные юридические консультации;
  • Дополнительные выходные в случае важных событий;
  • Яркие мероприятия и много неформального общения.

Развитие для каждого:

  • Опытный наставник для каждого новичка;
  • Обучение и участие во внешних конференциях;
  • Помогаем развивать личный бренд, выступать на конференциях и писать статьи;
  • Performance Review дважды в год, чтобы развиваться системно;
  • Проводим митапы и demo-дни для обмена знаниями;
  • Погружаем в fashion и каждый сезон знакомим с модными трендами.
hh.ru
Зарплата не указанаРоссияМоскваУдалёнка

Юзтех – группа аккредитованных ИТ-компаний полного цикла разработки с многолетней экспертизой в передовых технологиях: DWH, BigData, AI/ML, Blockchain, BI, предиктивная аналитика, цифровые двойники производства и рисков.

ГК Юзтех является технологическим партнером таких компаний, как Mail.ru, 2Gis, НЛМК, Еврохим, ГоИнвест, Альфа-Банк, Сбер, ВТБ, МКБ, Самолет, Х5 retail Group, Газпромнефть, Леруа Мерлен, Ситилинк, Ланит, IBS. Также, ГК разрабатывает собственные ИТ-продукты (Юзбас, Октопус, Тил Эйчар) и флагманские проекты, которыми пользуется 70% населения страны.

Сфера:

Ищем ведущего инженера сопровождения хранилища данных (DWH) в команду, отвечающую за стабильную работу процессов загрузки и обработки данных.

Формат работы:

Удалённо, РФ.

Задачи:

  • Сопровождение и анализ существующих процессов загрузки данных.

  • Мониторинг ETL-процессов, выявление и устранение аномалий.

  • Тестирование и внедрение доработок в продуктивную среду.

  • Обработка обращений пользователей в рамках второй линии технической поддержки, включая перезагрузку данных.

  • Проверка и актуализация технической документации.

Мы ожидаем:

  • Уверенное знание SQL.

  • Знание Python и библиотек для разработки ETL-процессов.

  • Опыт работы с Greenplum, Oracle, Apache Airflow, Informatica PowerCenter.

  • Знание технологий MinIO, Hive, Impala, Apache Spark.

  • Навыки системного анализа и тестирования.

  • Опыт работы с Jira, Confluence или аналогичными инструментами.

  • Будет плюсом знание S3 и Apache Iceberg.

Мы предлагаем:

  • Карьерную и профессиональную возможность в стабильной, аккредитованной ИТ-компании;
  • Расширенный полис ДМС со стоматологией, корпоративный психолог;
  • Необходимую технику для комфортной работы;
  • Обучение, сертификацию, клуб английского языка;
  • Доступ к Корпоративной библиотеке и к Корпоративному университету;
  • Внутрикорпоративные профильные коммьюнити;
  • Заботу о детях сотрудников: корпоративные скидки, подарки, детские дни;
  • Геймифицированную программу лояльности: поверь, ты будешь восторге от нашего корпоративного магазина;
  • Корпоративную жизнь: мы много работаем и классно отдыхаем.
hh.ru
Зарплата не указанаРоссияМоскваУдалёнка
Чем предстоит заниматься:
  • Разработка и сопровождение высоконагруженных пайплайнов расчёта признаков в Feature Store: витрины, агрегаты, таргеты;
  • Проектирование сложных пайплайнов, новых витрин и интеграция новых источников;
  • Подготовка данных в DataLake, SandBox и Feature Store по требованиям DS-команд и бизнес-направлений;
  • Вывод признаков в онлайн-контур (Cassandra);
  • Оптимизация производительности Spark-приложений, контроль потребления ресурсов кластера;
  • Поддержка стабильности пайплайнов в проде: мониторинг, разбор инцидентов, восстановление данных;
  • Проведение code review всех инженеров до уровня Senior, апрув изменений алгоритмов расчёта;
  • Наставничество Junior-и Middle-инженеров;
  • Разработка и актуализация документации;
  • Отражение статусов задач в Jira;
  • Участие в развитии платформы Feature Store и миграции на новую инфраструктуру.
Наши пожелания к кандидатам:
  • Python: уверенное знание структур данных и алгоритмов, ООП и функциональный подход, модульные и интеграционные тесты (pytest), поддерживаемый код (типизация, линтеры, pre-commit);
  • PySpark: разработка сложных высоконагруженных приложений (от сотен ГБ до ТБ). Глубокое знание настроек Spark и их влияния на производительность: партиционирование, shuffle, skew, broadcast join, AQE, память экзекуторов, параллелизм. Умение обосновать конфигурацию под объём данных, диагностирует spill и неэффективное использование ресурсов;
  • Экосистема Hadoop: HDFS, Hive, Impala, Hive Metastore, форматы хранения (Parquet, ORC), влияние размера и количества файлов на производительность;
  • SQL: сложные запросы с оконными функциями, чтение плана выполнения и оптимизация в Hive, Impala, Spark SQL;
  • Airflow: разработка, планирование и мониторинг пакетных пайплайнов — зависимости между DAG, сенсоры, пулы, backfill, перезапуск после сбоя;
  • Подготовка данных для ML: временные агрегаты, point-in-time корректность, data leakage, исторические срезы для обучения. Умение объяснить это DS-команде, наличие опыта работы с DS как заказчиками;
  • Git (BitBucket или аналог), опыт регулярного code review.
  • Плюсом: Cassandra или другое key-value хранилище для онлайн-выдачи признаков, опыт работы с Feature Store (самописный, Feast, Tecton, Chronon), Iceberg и S3 - DuckDB, pandas, Polars для локальной обработки и прототипирования.
Что мы предлагаем:
  • Стабильный и прозрачный доход: оклад + квартальная премия;
  • Возможен удаленный формат работы или гибрид;
  • Сложные и интересные задачи, современный стек технологий;
  • Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни;
  • Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий;
  • Предложения от Банка только для сотрудников: собственный спортзал, а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины.

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.