lamoda tech

Senior/Middle+ Big Data Engineer (Рекламная платформа) (Python, Java)

Мы в поиске Senior/Middle+ Big Data Engineer в направление больших данных, который будет участвовать в разработке рекламной платформы . Департамент рекламы в Lamoda сегодня — это более 50 разработчиков и аналитиков, которые строят собствен…

lamoda tech

Зарплата не указанаРоссияМоскваУдалёнка

Мы в поиске Senior/Middle+ Big Data Engineer в направление больших данных, который будет участвовать в разработке рекламной платформы. Департамент рекламы в Lamoda сегодня — это более 50 разработчиков и аналитиков, которые строят собственную рекламную платформу: продвижение товаров, медийные форматы и отчетность для рекламодателей. Каждый день с ней взаимодействуют миллионы пользователей.
Главная задача нашей команды - развивать ландшафт данных для построения внутренней и внешней аналитики рекламы.

Чем предстоит заниматься:

  • Проектировать единую модель данных рекламной платформы вместе с продуктом и аналитиками, с учетом роста и развития рекламы в Lamoda;
  • Строить внешнюю отчетность для рекламодателей: проектировать витрины данных в ClickHouse и расчет метрик эффективности рекламных кампаний в NRT и batch режимах;
  • Развивать инфраструктуру данных для ML задач и продуктовой аналитики рекламной платформы;
  • Переводить данные и регулярные расчеты рекламной платформы на Lakehouse архитектуру;
  • Выстраивать взаимодействие с продуктовыми командами рекламной платформы: согласовывать источники, форматы и контракты данных;
  • Обеспечивать качество данных в разных системах, проектировать Data Quality;
  • Оптимизировать действующие пайплайны на Spark - мониторить нагрузку на кластер и эффективность затрачиваемых ресурсов;
  • Анализировать и внедрять новые инструменты инжиниринга данных.

Мы ожидаем:

  • Уверенное владение Python/Scala/Java;
  • Глубокое знание Spark и Spark Streaming/Flink;
  • Понимание внутреннего устройства ClickHouse и умение оптимизировать запросы;
  • Опыт работы с Data Lake/Lakehouse стеком;
  • Опыт построения решений для near realtime аналитики;
  • Хорошее понимание SQL;
  • Понимание инфраструктуры Apache Kafka.

Будет плюсом:

  • Опыт работы с данными домена рекламы;
  • Опыт внедрения Data Quality-инструментов;
  • Опыт работы с Docker, Kubernetes и системами мониторинга (Grafana, Prometheus).

Похожие вакансии Data Engineer

Сайты компаний

Tech Lead - Connector Framework

Зарплата не указанаКанадаSan JoseГибрид
Текст:
Оригинал доступен только пользователям с подпиской

Location

San Jose, CA; the role is on-site or hybrid, with no other geographic restrictions specified.

About the company

A global data resilience and security posture management vendor serving over 550,000 customers. Its platform helps organizations discover sensitive data, assess risk, and secure data and AI across hybrid and multi-cloud environments.

Responsibilities

  • Design, build, and maintain scalable backend services and APIs for a connector ecosystem that integrates cloud providers, SaaS apps, identity systems, collaboration tools, and enterprise data repositories.
  • Develop reliable data ingestion, synchronization, and metadata processing pipelines, and own connector features from design through deployment and production support.
  • Contribute to architecture decisions and evolve a reusable connector framework and developer workflows to speed onboarding of new data sources.
  • Collaborate with Product, Security, and Engineering on requirements, troubleshoot production issues, and mentor junior engineers through reviews and technical guidance.

Requirements

  • Bachelor's or master's degree in Computer Science, Software Engineering, or a related field, or equivalent practical experience.
  • 5+ years of production backend development experience with strong skills in Go, C++, Java, or a comparable language.
  • Experience designing scalable APIs, microservices, and distributed systems, with hands-on work on AWS, Azure, or Google Cloud.
  • Solid grasp of software design, data structures, algorithms, and object-oriented design, plus relational or NoSQL databases and strong debugging skills.
hh.ru
Зарплата не указанаРоссияМоскваГибрид

О нас:

Главгосэкспертиза России – Учреждение, где масштабные проекты становятся реальностью. Мы проводим экспертизу ключевых объектов страны, работаем с лидирующими технологиями и формируем будущее строительной отрасли. Здесь инженерные решения встречаются с передовыми IT-разработками, а экспертиза становится важнейшим этапом на пути к безопасному и современному будущему.

Мы ожидаем:

  • Опыт коммерческой разработки в роли Data Engineer, Analytics Engineer или Backend-разработчика с упором на данные от [1-3] лет.
  • Отличное знание SQL и PostgreSQL (понимание принципов работы индексов, планов запросов, оконных функций, проектирование схем данных).
  • Уверенное знание Python (написание скриптов, кастомных операторов для Airflow, работа с API).
  • Опыт работы с Apache Airflow (написание DAGs, работа с сенсорами, хуками, оптимизация расписаний).
  • Понимание принципов контейнеризации (Docker, docker-compose).
  • Опыт подготовки данных для BI-систем (понимание, как строить витрины под Power BI, Superset, Metabase).
  • Умение переводить бизнес-требования в технические решения и выстраивать процессы работы с данными.

Будет вашим преимуществом:

  • Опыт работы с объектными хранилищами (S3, MinIO).
  • Понимание принципов DataOps, CI/CD для кода и данных.
  • Опыт настройки мониторинга, логирования и алертинга для пайплайнов.

Ключевые навыки (Теги для hh.ru):

Python, SQL, PostgreSQL, Apache Airflow, Docker, ETL, ELT, Power BI, Витрины данных, Apache Superset, Metabase

Ключевые задачи:

  • Проектировать, разрабатывать и поддерживать ETL/ELT пайплайны с использованием Apache Airflow.
  • Развивать архитектуру реляционного хранилища данных на базе PostgreSQL, писать сложный SQL, оптимизировать запросы и проектировать витрины данных.
  • Подготавливать и структурировать данные для систем бизнес-аналитики: Power BI, Apache Superset, Metabase.
  • Контейнеризировать решения и обеспечивать бесшовный деплой с помощью Docker.
  • Взаимодействовать с аналитиками, дата-сайентистами и бизнесом для сбора требований и превращения их в работающие data-продукты.

Мы предлагаем:

  • работу в стабильной государственной организации с соблюдением трудового законодательства
  • полугодовое и годовое премирование (система целей и показателей)
  • пакет ДМС после испытательного срока и страховку для тех, кто любит путешествовать
  • корпоративное и внешнее обучение
  • систему материальной помощи
  • активную спортивную жизнь внутри Учреждения: бег, футбол, йога, волейбол, настольной теннис, шахматы, пулевая стрельба и много другое
  • разнообразные возможности досуга: лекции на различные темы, кинопоказы, экскурсии и праздничные мероприятия с участием членов семьи
  • современное офисное пространство по адресу: м. Октябрьская, ул. Большая Якиманка, д. 42, стр. 1-2
  • график работы 5/2, суббота и воскресенье - выходные дни

hh.ru
Зарплата не указанаРоссияМоскваОфис

Кадровый центр Министерства здравоохранения Московской области предлагает вакансию инженера данных (ClickHouse / Airflow / Python) в ГБУ МО «МИАЦ».

ГБУ МО «МИАЦ» (Медицинский информационно-аналитический центр) — подведомственная организация Министерства здравоохранения Московской области. Мы обеспечиваем сбор, обработку и анализ медицинских данных, внедряем и сопровождаем региональные информационные системы в сфере здравоохранения.

Кого мы ищем:

Нам нужен инженер данных, который умеет строить и сопровождать витрины и загрузку данных, проверяет каждый результат на данных и готов вести студентов. Отдел переводит работу с ручных выгрузок на региональное аналитическое хранилище медицинских данных (сотни таблиц, крупнейшие — сотни миллионов строк) и ИИ-агента, которым пользуются аналитики министерства и медицинских организаций.

Чем предстоит заниматься:

  • Разрабатывать витрины регионального аналитического хранилища медицинских данных на ClickHouse: изучать данные источников (ЕМИАС, скорая помощь, льготное лекарственное обеспечение и др.), собирать витрины, описывать их колонки;
  • Разрабатывать и сопровождать загрузку данных в хранилище на Apache Airflow: инкрементальная загрузка из MS SQL Server (Change Tracking) и PostgreSQL, снимки таблиц, контроль свежести данных;
  • Переводить регулярные ручные выгрузки отдела (десятки повторяющихся задач) на автоматические расчёты по расписанию со сверкой с результатами прежних скриптов;
  • Обеспечивать качество данных: сверять хранилище с источниками по медицинским организациям, проводить аудит слоёв хранилища, выявлять и устранять расхождения;
  • Участвовать в развитии ИИ-агента «Оперативная аналитика» (вопрос на русском языке → SQL-запрос к хранилищу → ответ): утверждённые определения показателей, инструменты агента, проверка ответов на реальных вопросах аналитиков;
  • Наставлять студентов-стажёров отдела и проводить ревью их кода.

Что мы ждём от вас:

  • Высшее техническое или математическое образование (прикладная математика и информатика, информатика и вычислительная техника, программная инженерия, прикладная информатика, статистика и анализ данных) либо профессиональная переподготовка по направлению «Анализ данных» или «Инженерия данных»;
  • Опыт работы от 1 года;
  • Уверенное знание SQL: оконные функции, CTE, оптимизация запросов, чтение плана выполнения;
  • Опыт работы с таблицами объёмом в сотни миллионов строк;
  • Опыт работы с аналитической СУБД (ClickHouse, Greenplum, Vertica, BigQuery и т. п.) либо готовность освоить ClickHouse в течение трёх месяцев при сильном знании SQL;
  • Python для работы с данными: pandas, работа с базами данных из кода, автотесты (pytest); аккуратный код в git;
  • Linux на уровне уверенного пользователя; Docker — запуск контейнеров и чтение docker-compose;
  • Привычка проверять результат на данных и документировать его на русском языке;
  • Ответственное отношение к персональным данным, готовность работать в закрытом контуре сети.

Будет преимуществом:

  • Apache Airflow или другой оркестратор;
  • MS SQL Server (T-SQL), PostgreSQL;
  • LangChain / LangGraph, работа с LLM через OpenAI-совместимый API, FastAPI;
  • Опыт работы с ИИ-ассистентами разработки;
  • Медицинская информатика, ЕМИАС, ОМС.

Условия:

  • Официальное оформление по ТК РФ;
  • Испытательный срок — 3 месяца;
  • Полный рабочий день;
  • График работы: Пн–Чт 9:00–18:00, Пт 9:00–16:45;
  • Комфортабельный бизнес-центр класса А «Кубик», м. Мякинино, 7–10 минут пешком;
  • Доход месячный средний по году (с учетом системы премирования) — 200 000 руб. до вычета налогов.

Почему стоит пойти к нам:

  • Работа с действующей платформой данных региона, у которой есть реальные пользователи, собственные GPU-серверы и языковые модели;
  • Современный документированный стек, свобода в выборе инструментов, включая ИИ-ассистентов разработки;
  • Возможности для профессионального и карьерного развития — до архитектора данных или руководителя направления ИИ-агентов;
  • Социально значимая отрасль: Вы будете работать над проектами, от которых напрямую зависит качество медицинской помощи в Московской области. Это не абстрактный бизнес — это реальные врачи и пациенты;
  • Команда профессионалов. Вы станете частью сильной команды, где есть у кого учиться и с кем расти.

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.