яндекс

Инженер данных в Marketing DWH (Python)

Мы развиваем Marketing DWH — хранилище данных для маркетинга Яндекса. Нам нужен дата‑инженер, который поможет пересобрать архитектуру хранилища. Это нужно, чтобы аналитики и ИИ‑агенты могли находить нужные витрины, понимать, как рассчитаны…

яндекс

Зарплата не указанаРоссияМосква

Мы развиваем Marketing DWH — хранилище данных для маркетинга Яндекса. Нам нужен дата‑инженер, который поможет пересобрать архитектуру хранилища. Это нужно, чтобы аналитики и ИИ‑агенты могли находить нужные витрины, понимать, как рассчитаны показатели, и проверять результаты.

У нас есть направление R&D, к которому можно подключиться. Мы проверяем, как структура данных, описания витрин и способы доступа влияют на скорость и точность работы агентов. Например, можно сравнить несколько вариантов описания одной витрины и посмотреть, при каком из них агент чаще выбирает правильный источник. Подходы, которые показывают результат на реальных задачах, можно внедрить в Marketing DWH.

Пересборка архитектуры хранилища

Вы будете разбираться, как данные движутся от источников до витрин, обновлять модели данных и переносить на них расчёты. Вам предстоит устранять дублирование, ускорять запросы и проверять, как изменения сказываются на результатах расчётов и расходе ресурсов.

Настройка работы ИИ‑агентов

Вы будете настраивать поиск витрин и доступ к маркетинговым данным, а затем проверять, как агенты справляются с реальными аналитическими задачами. Например, агент должен сравнить две кампании: подобрать сопоставимые данные, верно рассчитать показатели и указать источники, чтобы результат можно было воспроизвести.

Правила Data Governance

Вы будете вместе с коллегами определять, кто отвечает за данные в маркетинговом домене, как описывать витрины и какие требования предъявлять к их качеству и свежести. Затем поможете внедрить правила на практике — например, добавите автоматические проверки в пайплайны и настроите оповещения об отклонениях.

Переход к расчётам в реальном времени

Вы поможете перевести часть расчётов на потоковую обработку: определите, для каких сценариев данные нужны с минимальной задержкой, и спроектируете обработку событий.

Больше о разработке в Яндексе — в канале Yandex for Developers

* Уверенно пишете на SQL и Python
* Разбираетесь в причинах проблемы, сравниваете варианты и можете объяснить, почему выбрали конкретное решение
* Самостоятельно доводите задачу до реализации и проверяете, что решение работает как задумано

* Работали с Kafka или другими системами обмена сообщениями и понимаете, как устроена потоковая обработка
* Писали на C++
* Внедряли практики Data Governance, развивали каталог данных или автоматизировали проверки качества
* Подключали ИИ-агентов к источникам данных или оценивали качество их ответов

Похожие вакансии Data Engineer

hh.ru
bell integrator

Data Engineer (Москва)

bell integrator
Зарплата не указанаРоссияМоскваУдалёнка

Основные требования:

  • Высшее образование по профилю (математическое, техническое);
  • Python (базовые алгоритмы и структуры данных, pandas, работа с БД, с файлами);
  • Hadoop (PySpark, hdfs, hive);
  • Опыт написания SQL запросов (join, cte, оконные функции);
  • Использование инструментов командной разработки (Git, Bitbucket)
  • Знание систем баг-трекинга и ведения задач проектов (Jira, etc);
  • Минимум 3-летний опыт работы дата инженером;
  • Умение работать с большим объемом информации и в режиме многозадачности;
  • Опыт самостоятельной проработки задач с нуля, активная позиция при решении проблем.

Будет плюсом:

  • Опыт работы в Agile-команде;
  • Опыт проработки архитектурных решений;
  • Опыт работы с Confluence;
  • Знание и понимание основных процессов в банковской сфере.

Обязанности:

  • Реализация кода как в промышленной, так и в лабораторной зоне на базе Hadoop по подготовке витрин с данными;
  • Оптимизация текущих решений по подготовке витрин с данными.

Условия:

  • Возможность профессионального и карьерного роста в компании;
  • Возможность поучаствовать в разных проектах;
  • Опыт работы в распределенной команде профессионалов;
  • Уровень заработной платы обсуждается индивидуально;
  • Формат работы: г. Москва, удаленно.
Соц.сети
Зарплата не указанаКиргизияБишкекОфис

Всем привет!)

Ищу специалиста по аналитике и разработке данных ко мне в отдел управления взаиморасчетов. О! Банк, ищу сотрудника с опытом работы от 1 года и более (джун, или мидл)

Основные задачи:

Работа с базами данных PostgreSQL и Oracle.

Написание и оптимизация SQL-запросов.

Автоматизация процессов на Python.

Разработка и поддержка ETL-процессов.

Сверка данных между различными системами.

Работа с DWH и контроль качества данных.

Постройка витрин данных.

Делать AD hoc запросы.

Что ожидаем:

Хорошее знание SQL.

Знание Python.

Опыт работы с базами данных.

Аналитическое мышление и умение самостоятельно решать задачи.

Будет плюсом:

Опыт работы с Airflow и dbt.

Знание Docker и Linux.

Опыт миграции данных.

Опыт работы в банковской сфере.

Работа в офисе с 9:00 до 18:00. (удаленки нету!)

Ищем только тех кто проживает в Бишкеке.

Если интересно отправляй резюме в личные сообщения или рекомендуй знакомых)

Тг @aegemberdiev_ob

Тг @aegemberdiev_ob
hh.ru
мартин

Инженер данных

мартин
Зарплата не указанаРоссияМоскваГибрид

Обязанности

- Поддерживать и дорабатывать сервисы на Python для обработки и загрузки файлов Excel/CSV в базы данных.

- Писать и оптимизировать SQL-запросы, представления и хранимые процедуры в Microsoft SQL Server и PostgreSQL.

- Вносить изменения в справочные таблицы: корректировать записи, устранять дубли, поддерживать сопоставление с эталонными справочниками.

- Разрабатывать проверки полноты, точности, согласованности и актуальности данных; находить причины расхождений и исправлять ошибки обработки.

- Развивать журналирование и контроль загрузок, обеспечивать повторный запуск без потери и задвоения данных.

- Создавать и актуализировать техническую документацию: описания таблиц, источников и движения данных, правил преобразования, инструкций по запуску и сопровождению сервисов.

- Участвовать в развитии DWH: подключать новые источники, развивать слои и витрины данных, оптимизировать производительность.

- Взаимодействовать с руководителем подразделения и внутренними заказчиками по задачам обработки данных и развития DWH.

Требования

- Практический опыт разработки или сопровождения процессов обработки данных.

- Уверенное знание SQL: соединения, подзапросы, CTE, оконные функции; понимание индексов, транзакций и причин блокировок.

- Владение Python для обработки файлов и работы с БД: преобразование и проверка данных, обработка исключений, логирование.

- Опыт работы с Microsoft SQL Server или PostgreSQL и готовность работать с обеими СУБД. - Понимание ETL/ELT и опыт поддержки регулярных загрузок данных.

- Навыки работы с Git, умение разбираться в существующем коде и вносить проверяемые изменения.

- Умение писать понятную техническую документацию и внимательно работать с данными.

Будет преимуществом

- Опыт развития DWH, понимание моделирования данных и построения витрин.

- Опыт работы с pandas, openpyxl, SQLAlchemy или аналогичными библиотеками.

- Понимание принципов работы RLS (Row-Level Security) — разграничения доступа к данным на уровне строк.

- Знакомство с Apache Airflow, dbt или другими инструментами оркестрации и преобразования данных; опыт работы с Docker.

- Опыт анализа планов запросов, настройки индексов и работы с большими таблицами.

- Знакомство с ClickHouse и Apache Superset.

Условия

- Работа в торгово-производственной компании, являющаяся лидером рынка;

- Оформление в соответствии с ТК РФ;

- Достойная заработная плата (обсуждается с успешным кандидатом);

- Предоставление ноутбука и корпоративной мобильной связи;

- График работы: понедельник-пятница, с 9:00 до 18:00.

- Формат работы: гибрид

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.