2ГИС

Data Quality Engineer в платформу данных (Python)

Мы строим корпоративную дата-платформу нового поколения единый self-service путь от источника до витрины. Чем больше пользователей самостоятельно создают пайплайны и витрины, тем важнее встроить качество в саму платформу, а не проверять да…

2ГИС На сервисе с: 16.10.26 16:22

Зарплата не указанаРоссияМоскваУдалёнка

Мы строим корпоративную дата-платформу нового поколения единый self-service путь от источника до витрины. Чем больше пользователей самостоятельно создают пайплайны и витрины, тем важнее встроить качество в саму платформу, а не проверять данные вручную в конце.

Сейчас в SMT есть ручные проверки и автоматические API-тесты, но нет единой сквозной системы. Ищем Data Quality Engineer, который станет техническим владельцем направления в SMT: построит модель, инструменты и процессы, а затем поможет масштабировать их на всю платформу.

Это не роль ручного контролёра: качество остаётся распределённой ответственностью. Инженеры пишут проверки в своих процессах, владельцы отвечают за датасеты, методологию мы формируем вместе с Data Governance. Твоя задача дать им автоматические базовые проверки и понятный self-service инструмент для сложных правил, встроенный в оркестрацию, алертинг и разбор инцидентов.

Что предстоит делать

  • Спроектировать модель качества: измерения, метрики и SLO на датасеты. Определить уровни критичности и пропорциональные требования к проверкам, алертингу и реакции на нарушения.
  • Построить движок проверок и встроить его в жизненный цикл данных: сначала в трансформации и витрины SMT, затем масштабировать на остальные части платформы.
  • Сделать базовые проверки автоматическими: генерировать их из метаданных при создании и обновлении датасетов.
  • Дать пользователям язык для сложных проверок декларативный конфиг, SQL-правила или собственный подход. Выбор за тобой.
  • Реализовать quality gates: карантин, блокировку публикации, остановку пайплайна, fallback или откат там, где это возможно.
  • Настроить наблюдаемость: адресный алертинг, дашборды состояния датасетов, health-score, контроль ложных срабатываний и разбор причин.
  • Использовать lineage из OpenMetadata для impact-анализа и вместе с Data Governance развивать data contracts: сначала в SMT, затем на границе с источниками.
  • Сделать проверки частью инженерного цикла: версионировать их как код, проводить ревью и доставлять через CI/CD.
  • Поддержать миграцию существующих процессов на платформу: построить сверку старого и нового контуров и доказательно подтверждать совпадение цифр.
  • Совместно с Data Governance и владельцами данных задавать стандарты покрытия и ревью. Помогать инженерам применять инструменты, а не писать все проверки за них.
  • Работать с аналитиками как с пользователями: разбираться, где им больно, и делать инструмент, которым пользуются добровольно.

Стек

Python, SQL, Spark, Airflow, Kafka, S3, Iceberg, StarRocks основной кандидат на роль движка над Iceberg, ClickHouse, Kubernetes, CI/CD. OpenMetadata для каталога и lineage внедряем сейчас. Подход к трансформациям выбираем: dbt или собственное решение.

Наши ожидания

  • Имеешь опыт работы в роли Data Engineer или Data Quality Engineer от 3-х лет.
  • Хорошо владеешь Python и SQL на уровне промышленной разработки, а не скриптов.
  • Работал с распределённой обработкой: Spark, большие объёмы, понимание, где у обработки узкие места и сколько стоит лишний скан.
  • Знаком с оркестрацией (Airflow или аналоги) и умеешь встраивать логику в пайплайны, а не рядом с ними.
  • Разбираешься в дата-инфраструктуре: DWH и Data Lake, слои, модели данных, витрины.
  • Имеешь опыт с инструментами качества данных Great Expectations, Soda, Deequ, dbt tests, Elementary или собственными решениями. Или строил такое сам.
  • Понимаешь статистику на практическом уровне: умеешь отличить аномалию от сезонности и не завалить команду ложными алертами.
  • Мыслишь продуктово: внутренний инструмент нужен не для галочки, а чтобы им пользовались.
  • Умеешь договариваться и влиять без формальных полномочий: качество данных это всегда разговор с владельцами источников, инженерами и потребителями.

Плюсом будет

  • Опыт построения self-service инструментов для аналитиков или разработчиков.
  • Работа с открытыми табличными форматами.
  • Опыт с каталогами данных: OpenMetadata, DataHub.
  • Data Contracts и Data Lineage на практике.
  • Anomaly detection на метриках данных, в том числе ML-подходы.
  • Опыт сверки данных при миграции хранилищ.
  • Опыт публичных выступлений и работы с инженерным брендом.

Что предлагаем

  • Официальное трудоустройство и полностью белую заработную плату.
  • Можно работать удаленно по РФ. Хочешь гибридный формат? У нас есть офисы в Москве, Санкт-Петербурге, два — в Новосибирске.
  • ДМС и онлайн-консультации специалистов.
  • Поддержку выступлений на конференциях и подготовки публикаций.
  • Доступ к внутреннему учебному центру: курсам, тренингам и профессиональной литературе.

Эта вакансия также есть на:hh.ru

Похожие вакансии BI / DWH / ETL специалисты

hh.ru
Зарплата не указанаРоссияМоскваОфис
Обязанности:
  • Разработка и поддержка инструментов автоматизации планирования, консолидации и анализа финансовых данных в нефтегазовой компании.
  • Администрирование BI-решений и повышение качества управленческой отчетности.
  • Разработка Excel-макросов и скриптов для автоматизации сбора, слияния, разделения и обработки табличных данных.
  • Формирование и поддержание сводных таблиц, финансовых моделей, бюджетных форм и план-факт отчетности.
  • Администрирование BI-платформы: управление пользователями, правами доступа, обновлением данных, моделями и дашбордами.
  • Участие в развитии процессов бюджетного и финансового планирования, сокращение ручного труда и повышение достоверности данных.
  • Взаимодействие с финансовыми, планово-экономическими и IT-подразделениями.
Требования:
  • Опыт работы в нефтегазовой отрасли — от 3 лет.

  • Понимание специфики бюджетного, финансового и инвестиционного планирования (БДР, БДДС, план-факт, CAPEX/OPEX, прогнозирование, консолидация).

  • Понимание отраслевых показателей нефтегазового бизнеса: добыча, переработка, себестоимость, маржа, инвестиционные проекты, план-факт по производственным и финансовым KPI.

  • Продвинутый Microsoft Excel:

    - разработка макросов на VBA для автоматизации расчетов, отчетности и обработки данных;

    - создание и поддержка сложных финансовых моделей, калькуляторов и шаблонов;

    - уверенная работа со сводными таблицами, Power Query, Power Pivot, сложными формулами и сценарным анализом.

  • Опыт написания скриптов для слияния, разделения, очистки, трансформации и консолидации больших таблиц из разных источников.

  • Опыт формирования сводных таблиц и управленческих отчетов, в том числе по нескольким юридическим лицам, ЦФО, статьям бюджета и периодам.

  • Практический опыт администрирования BI-систем: настройка доступа, обновление источников данных, поддержка моделей и дашбордов, контроль корректности отчетности. Опыт создания интерактивных дашбордов и визуализации данных для руководства.

  • Опыт работы с ERP-системами: 1С:Управление холдингом, 1С:УПП

  • Знание SQL для выгрузки, проверки и подготовки данных.

  • Навыки Python или R для автоматизации обработки данных.

  • Умение формализовать требования бизнеса, разрабатывать ТЗ на отчеты и доработки, тестировать решения и обучать пользователей.

Условия:
  • Офисный формат работы 5/2 с 9 до 18 часов в самом центре Москвы.
  • Оформление согласно ТК РФ.
  • ДМС, мобильная связь.
  • Отпуск 31 календарный день.
hh.ru
сеть супермаркетов да!
Зарплата не указанаРоссияКалининградОфис

Крупная торговая сеть продуктовых супермаркетов «ДА!» приглашает младшего аналитика в новый головной офис в г. Калининград.

Обязанности:

  • Подготовка регулярной аналитической отчетности по установленным формам
  • Разработка и развитие аналитической отчетности
  • Работа с корпоративными информационными системами и порталами: 1С, Аксапта, QlikView и другими
  • Сбор, обработка и объединение данных из различных источников, подготовка аналитических данных
  • Проверка качества данных, выявление расхождений и обеспечение корректности аналитических показателей
  • Автоматизация и оптимизация отчетности с использованием Excel (Power Query, Power Pivot), макросов для сокращения ручных операций

Требования:

  • Профильное высшее образование
  • Опыт работы на аналогичной позиции от 1 - 2 лет
  • Продвинутое владение Excel: формулы, сводные таблицы, Power Query, работа с большими объемами данных
  • Знание SQL (написание запросов), знание Python будет преимуществом
  • Опыт работы с BI-инструментами (QlikView, DataLens, Power BI, Tableau или аналоги)
  • Практический опыт построения автоматизированной отчетности;
  • Высокие аналитические способности, внимание к деталям
  • Самостоятельность, ответственность, проактивность и ориентация на результат
  • Владение комп.программами: уверенное знание SQL, Python, Power Query, Power Pivot

Условия:

  • Официальное трудоустройство с первого дня, оплата отпусков, больничных
  • График работы 5/2 с 9:00 до 18:00
  • Работа в новом современном офисе по адресу: б-р Солнечный, здание 3
  • Компенсация мобильной связи
  • Выстроенный процесс адаптации и поддержка на всех этапах работы

О Компании:

Бренд ДА! вышел на российский рынок розничной торговли в 2015 году и занял прочную позицию среди ведущих представителей российского ритейла.

Сейчас наша команда продолжает успешно реализовывать масштабные планы по расширению сети.

Сегодня наш путь — это более 250 супермаркетов в 65 городах, куда каждый день за качественными продуктами приходят тысячи людей.

Москва, Подмосковье, ЦФО — мы здесь, и это только начало. Но главная сила — это наши люди.

Более 5 000 сотрудников — профессионалов, которые каждый день делают всё, чтобы клиенты возвращались снова и снова.

Открытие нового головного офиса в г. Калининград — это новый этап в развитии нашей компании, и мы приглашаем вас стать частью нашей команды!

hh.ru
Зарплата не указанаРоссияМоскваОфис

Компания ООО ИЦ «АЙ-ТЕКО» - ведущий российский системный интегратор и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-10 крупнейших IT-компаний России.

В связи с активным развитием проектов в компании открыта вакансия Data Engineer (Аналитик-разработчик).

НАШИ ОЖИДАНИЯ ОТ УСПЕШНОГО КАНДИДАТА:

  • Опыт разработки витрин данных (DWH) и настройки ETL-процессов;
  • Реальный опыт работы с SAS, Oracle, Greenplum или Hadoop;
  • Понимание процессов сбора и анализа бизнес-требований к данным (роль совмещает функции аналитика и разработчика);
  • Опыт разработки витрин данных;
  • Опыт работы с ETL-инструментами;
  • Опыт работы с SAS/Oracle/Greenplum/Hadoop;
  • Знание процесса анализа требований и разработки программного обеспечения;
  • Участие в сложных интеграционных проектах и работа с большими объемами данных;
  • Знание Kafka, Spark, SAS DIS, Informatica, Oozie, Hive, Impala, Java, Python, SAS Base, BitBucket, Jenkins;
  • Понимание процессов DevOps;
  • Знание и умение работы с wiki-системой Confluence, трекинговыми системами (Jira, Redmine и т.д.) ;
  • Опыт оптимизации запросов/кода и ревью кода других разработчиков.

МЫ ПРЕДЛАГАЕМ:

  • Работа в аккредитованной ИТ-компании;
  • Оформление в соответствии с ТК РФ с первого дня работы;
  • Формат работы: Фулл-тайм офис в Москве (Кутузовский 32), в Екатеринбурге, улица Розы Люксембург, 56А;
  • ДМС с первого дня работы (включая стоматологию);
  • Корпоративный спорт: скидки на посещение фитнес-клубов, футбольная и волейбольная секции, собственный йога класс;
  • Работа в команде, использующей гибкий подход к разработке;
  • Работа в развивающемся IT-проекте с командой специалистов высокого уровня, возможность развития и обмена опытом.

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.