вск, сао

Data Engineer (Hadoop/Spark) (Python)

О проекте: Сейчас мы находимся в поисках Data Engineer (Hadoop/Spark) в команду, которая занимается полным циклом внедрения математических моделей (ML моделей)

вск, сао

Зарплата не указанаРоссияМоскваГибрид

О проекте: Сейчас мы находимся в поисках Data Engineer (Hadoop/Spark) в команду, которая занимается полным циклом внедрения математических моделей (ML моделей)

Наш стек: Мы все работаем на современной ML-платформе.

Используем PySpark, SQL, Python, Airflow для оркестрации DAGов, MLFlow для регистрации моделей и Feature Store для хранения фичей

Наша команда: 7 человек: DE, DS, DA и MLE

Чем предстоит заниматься:

  • Формирование датасетов, поиск и подгрузка данных
  • Автоматизация Data Pipelines
  • Разработка ETL-процессов для интеграции данных из различных внутренних и внешних источников
  • Оптимизация сборки датасетов и работа с багами
  • Подготовка данных для внедрения математических моделей в конвейер принятия решений

Что мы ждем:

  • Опыт в направлении от 3 лет
  • Опыт с Apache Airflow: настройка, оптимизация, DAG на Python
  • Знание SQL на уровне сложных запросов и оптимизации
  • Знание Python на Middle уровне
  • Высшее образование

Будет плюсом:

  • Опыт работы с Pyspark, Scala
  • Знание потоковых данных (Kafka, Spark Streaming)
  • Опыт работ с Docker, Kubernetes

Похожие вакансии Data Engineer

hh.ru
Альфа-Селлер Технологии

Data Engineer

Альфа-Селлер Технологии
Зарплата не указанаРоссияМоскваГибрид

Альфа-Селлер — платформа для управления онлайн-бизнесом от Альфа-Банка. Она собирает интернет-магазин, маркетплейсы, рекламу, логистику и финансовые продукты в единый контур. Вместо десятка разрозненных кабинетов — одно место, где предприниматель ведёт бизнес.

Платформу усиливают технологии таких сервисов, как AdvantShop, MarketGuru, Flocktory, WhoIsBlogger и Digital Chief. Команда создаёт единую архитектуру: синергию решений и новые сценарии роста для селлеров, которых ни один инструмент по отдельности не даёт.

Мы делаем не очередной сервис на рынке, а единую систему для онлайн-торговли. Работаем с бизнесом любого масштаба — от локальных продавцов до федеральных компаний. Наша цель — забрать на себя рутину, чтобы предприниматели занимались продуктом и клиентами.


Сейчас в нашей команде открыта позиция Data Engineer.


Обязанности:

  • Архитектура и реализация витрин данных для аналитики,
  • ML и AI-агентов.
  • Проектирование и внедрение API на python (fastapi, flack).
  • Поддержка и написание пайплайнов ETL/ELT Airflow /
  • Spark / Kafka / ClickHouse / PostgreSQL / S3 etc..
  • Проектирование архитектуры данных в Data Lake и Data LakeHouse.
  • Мониторинг качества данных в Openmetadata.

​​​​​​​​​​​​​​Требования:

  • 3+ лет опыта в области Data Engineering, Data Governance, Data Quality или Data Platform.
  • Отличное знание SQL, уверенное владение Python.
  • Опыт внедрения и поддержки data catalog / data lineage (OpenMetaData).
  • Опыт написания ETL на БД Clickhouse.
  • Опыт внедрения фреймворков для валидации и контроля качества данных.
  • Опыт работы с инструментами: Great Expectations, Deequ, Soda, Monte Carlo, dbt tests.
  • Навыки построения документации и стандартов по качеству данных, SLA, ownership моделей.

Будет преимуществом:

  • Опыт работы в компаниях с распределенной архитектурой данных

  • Опыт с генеративным ИИ - структурирование и валидация входных/выходных данных для LLM.

Условия:

  • Официальное трудоустройство по ТК РФ.
  • Работа в аккредитованной ИТ-компании.
  • Карьерный рост: ты будешь понимать, что нужно сделать для перехода на другой уровень.
  • Заботу о твоем здоровье: программа ДМС, куда входит стоматология и обслуживание в лучших клиниках города, скидки на абонементы в фитнес-клубы, неформальные спортивные сообщества. Также есть фитнес-зал в офисе.
  • Гибридный формат работы 5/2 . Удобное рабочее место: наш современный офис находится в банковском кластере в 3-х минутах ходьбы от метро Технопарк. Рядом большой выбор кафе и ресторанов, где ты сможешь разнообразно пообедать с коллегами, сменить обстановку и “перезагрузиться”.
  • Возможности для разнообразного досуга: скидки на услуги туристических агентств, продукты питания, в рестораны и бары, в магазины и салоны красоты.
hh.ru
lamoda tech

Руководитель группы больших данных

lamoda techАвтоподнятие
Зарплата не указанаРоссияМоскваУдалёнка

Мы в поиске Team Lead в направление BigData, который будет руководить командой по разработке инструментов и пайплайнов данных для DS и ML команд. Команда работает в различных кросc-функциональных проектах в области DS и поддерживает такие продукты как: ранжирование, навигация, персонализация и прайсинг.

Чем предстоит заниматься:

  • управлять командой из 4 человек (оценка производительности, мотивации, развитие, найм);
  • выстраивать процессы команды и настраивать взаимодействие со смежными командами;
  • определять (и отстаивать) архитектуру решений обработки данных, техническая декомпозиция до понятных команде эпиков;
  • совместно работать с командой над задачами из бэклога, помогать в критических направлениях;
  • обеспечивать качество и надежность производимых командой решений;
  • строить инструменты и ETL пайплайны данных;
  • развивать практику и культуру работы с данными в компании;
  • участвовать в исследованиях и принимать решения по использованию новых инструментов для обработки данных в компании;
  • организовывать и проводить собеседования.

Наш технологический стек: Hadoop, Trino, Spark, Spark Streaming, Airflow, Hudi / Iceberg, Python, Scala.

Мы ожидаем:

  • опыт управления командой от 1 года и готовность решать управленческие кейсы;
  • опыт в организации найма и построения команды;
  • желание быть техническим лидером для команды (не бояться погружаться в детали и помогать достигать целей);
  • готовность управлять сроками и ожиданиями бизнеса;
  • опыт выстраивания процессов с 0, подкрепленный метриками;
  • понимание принципов организации хранилищ данных;
  • уверенное знание SQL, умение строить сложные запросы и оптимизировать производительность;
  • уверенное знание одного из языков программирования: python, java, scala;
  • экспертность в Data Engineering, хорошие знания технологий (hadoop, kafka, spark, trino, airflow).

Мы предлагаем:

  • ДМС со стоматологией, телемедициной и программой поддержки ментального здоровья;
  • Страхование жизни;
  • Ежемесячные промокоды на Lamoda: два по 25%, два по 15% и в день рождения — 40%;
  • Программа привилегий и скидок от BestBenefits;
  • До 15 дней больничного в год оплачиваем в размере 100% от действующего оклада;
  • Бесплатные юридические консультации;
  • Дополнительные выходные в случае важных событий;
  • Яркие мероприятия и много неформального общения.

Развитие для каждого:

  • Опытный наставник для каждого новичка;
  • Обучение и участие во внешних конференциях;
  • Помогаем развивать личный бренд, выступать на конференциях и писать статьи;
  • Performance Review дважды в год, чтобы развиваться системно;
  • Проводим митапы и demo-дни для обмена знаниями;
  • Погружаем в fashion и каждый сезон знакомим с модными трендами.
hh.ru
т-банк. ит. dwh

Data Engineer

т-банк. ит. dwhАвтоподнятие
Зарплата не указанаРоссияКраснодарГибрид

В Т‑Банк большое и продвинутое хранилище данных: это 8000 объектов, 800 ТБ в Greenplum и 110 ТБ в Clickhouse.

С данными активно работают более 16 тысяч пользователей из бизнес-команд — они ежедневно принимают десятки решений с опорой на них. А наша команда делает все, чтобы доступ к данным был простым и ими было удобно пользоваться. Мы постоянно совершенствуем подходы к работе и стараемся быть новаторами на рынке технологий.

Мы ищем в команду дата-инженера. В Т‑Банке вы сможете развиваться в одном из двух направлений — системном анализе и ETL-разработке. Или совмещать их, если вам интересны оба.

Обязанности:
  • Участвовать в формировании модели данных
  • Проектировать и разрабатывать витрины и потоки данных на основе потребностей бизнес-пользователей
  • Участвовать в проектах по развитию Data Platform
  • Писать скрипты SQL и Python, это опционально
  • Прорабатывать интеграции с внешними системами для Data Platform

Требования:
  • Свободно владеете SQL
  • Работали с базами данных в качестве аналитика или разработчика
  • Понимаете теорию СУБД-и ETL-процессов
  • Есть опыт проектирования объектов БД на основании бизнес требований

Мы предлагаем:
  • Работу в офисе или гибридный формат — по договоренности с руководителем
  • Платформу обучения и развития «Т-Банк Апгрейд». Курсы, тренинги, вебинары и базы знаний. Поддержку менторов и наставников, помощь в поиске точек роста и карьерном развитии
  • Линейку льготных тарифов на продукты Т-Банка
  • Комплексную программу заботы о здоровье. Оформим полис ДМС с широким покрытием и страховку от несчастных случаев. Предложим льготные условия страхования для ваших близких
  • Частичную компенсацию затрат на спорт по окончании испытательного срока
  • Компенсацию обедов и транспорта в дни посещения офиса
  • Well-being-программу, которая помогает улучшить психологическое и физическое здоровье, а также разобраться с юридическими и финансовыми вопросами
  • Три дополнительных дня отпуска в год

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.