правительство москвы

Data Engineer (Python)

Работа в Правительстве Москвы — это возможность делать наш город современнее и удобнее. Если ты тоже неравнодушен к Москве, хочешь развивать ее и развиваться сам, присоединяйся к нашей команде!

правительство москвы

Зарплата не указанаРоссияМоскваУдалёнка

Работа в Правительстве Москвы — это возможность делать наш город современнее и удобнее. Если ты тоже неравнодушен к Москве, хочешь развивать ее и развиваться сам, присоединяйся к нашей команде!

Обязанности:

  • Исследование источников данных: анализ назначения и структуры таблиц и полей, ключей, связей, кардинальности и гранулярности; документирование моделей и схем данных

  • Оценка потребностей в получении, обработке и хранении данных; выбор и обоснование архитектурных и технологических решений с преимущественным использованием open-source программного обеспечения

  • Организация получения структурированных и неструктурированных данных из баз данных, API, файлов и иных разрешённых источников; разработка SQL-запросов и механизмов извлечения с учётом прав доступа, ограничений систем-источников и требований информационной безопасности

  • Проектирование, разработка и сопровождение процессов интеграции и преобразования данных (ETL/ELT), включая очистку, нормализацию, объединение, обновление и автоматизацию обработки

  • Создание и развитие аналитических моделей, наборов данных, хранилищ и витрин по мере возникновения обоснованной потребности; организация хранения, версионирования и, при необходимости, историзации данных

  • Обеспечение качества данных (Data Quality): профилирование, проверки полноты, корректности, согласованности и уникальности, предотвращение дублирования, автоматизация проверок и контроль результатов загрузки

  • Настройка расписания выполнения, журналирования, мониторинга и диагностики процессов обработки данных; участие в обеспечении их надёжности и восстановлении работоспособности во взаимодействии с ответственными за инфраструктуру

  • Ведение технической документации, словаря и каталога данных, описаний происхождения и преобразования данных (Data Lineage); применение контроля версий и принципов воспроизводимой разработки

  • Совместная работа с аналитиком данных и заинтересованными подразделениями: согласование требований к данным и витринам, устранение технических проблем, развитие аналитических решений

Требования:
  • Опыт работы от 3 -х лет в инженерии данных и/или аналитической инженерии. Опыт самостоятельного проектирования, разработки и сопровождения процессов интеграции данных и аналитических моделей. Преимущество — участие в создании аналитических решений с нуля при ограниченных инфраструктурных ресурсах
  • Высшее образование, предпочтительно высшее техническое, информационно-технологическое, математическое или иное профильное образование
  • SQL — продвинутый/экспертный уровень (сложные запросы, JOIN, CTE, оконные функции, анализ планов и оптимизация выполнения).
    Python — уверенный уровень (обработка данных, API, автоматизация и разработка скриптов)

Условия:
  • Пятидневная рабочая неделя, гибридный формат работы

  • Чистый, современный, просторный офис со всей необходимой для работы орг. техникой. Находится в пешей доступности (ст. метро Арбатская)

  • Значимая роль в команде экспертов, в которой коллеги всегда
    поддерживают друг друга

  • Развивающие задачи и карьерные вызовы, реальные возможности для роста

  • Развитая корпоративная культура: постоянные корпроративные обучения, мероприятия, онбординг

Похожие вакансии Data Engineer

hh.ru
иц ай-теко

Data Analyst/Engineer

иц ай-текоАвтоподнятие
до 220k ₽РоссияМоскваОфис

КОМПАНИЯ «АЙ-ТЕКО» - ведущий российский системный интегратор и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-10 крупнейших IT-компаний России.

В связи с активным развитием открыта вакансия Data Analyst/Engineer .

От кандидата ожидаем:

  • Мы ждем от кандидата (Обязательно). Законченное ВО.
  • Опыт работы с данными от 2 лет (дата-инженер+ аналитик данных / DWH).
  • Продвинутый SQL: Умение писать сложные запросы, искать аномалии, дубликаты, считать метрики качества.
  • Python на уровне написания скриптов: Опыт работы с Pandas / PySpark для обработки и анализа данных.
  • Опыт работы с Hadoop / Hive / Greenplum
  • Понимание жизненного цикла данных: Знание, как данные текут из источника в хранилище и витрины (ETL/ELT-процессы).
  • Опыт работы с системами контроля версий (Git) и задачами (Jira).
  • Аналитическое мышление: Умение не просто констатировать проблему, а находить ее первопричину (почему данные испортились: ошибка загрузки, сбой в источнике, человеческий фактор)
  • Навыки коммуникации: Готовность и умение общаться с разными командами — от разработчиков до бизнес-заказчиков.

МЫ ПРЕДЛАГАЕМ:

  • Офисный формат работы;
  • Работу в стабильной компании, "белую" заработную плату;
  • Оформление в соответствии с ТК РФ с первого дня работы;
  • Расширенный социальный пакет: ДМС (включая стоматологию), корпоративные скидки на посещение фитнес-клубов, футбольная и волейбольная секции;
  • Профессиональное обучение и развитие;
  • Яркая и насыщенная корпоративная жизнь;
  • Снабжаем всей необходимой современной техникой.

  • ✅ ОТКЛИКАЙСЯ =) ЖДУ, КОГДА ВМЕСТЕ ПОРАДУЕМСЯ ТВОЕМУ ОФФЕРУ)

Сайты компаний
Зарплата не указанаРоссияМосква

Привет! Это команда разработки DWH. Мы занимаемся созданием ETL процессов с использование Airflow, Vertica, Hadoop, Trino. Строим аналитическое хранилище DWH с использованием якорной модели. Занимаемся оптимизацией запросов, помогаем пользователям находить нужные данные. В команду направления хранения и обработки данных Ozon Tech ищем стажёра DWH-разработчика.

Наш стек

  • Trino, Vertica, Hadoop, Spark, Jupyter Notebook, Python, Airflow, Docker.

Вы будете

  • Профилировать данные различных областей: продажи, учёт, логистика, маркетинг.

  • Разрабатывать и развивать ETL-системы доставки, очистки и преобразования данных с помощью Airflow, Python и SQL.

  • Заниматься мониторингом, расследованием и исправлением инцидентов в pipline.

  • Оптимизировать запросы SQL.

  • Реализовывать масштабируемое хранилище на базе Vertica, Trino, Hadoop.

Нам важно

  • Статус действующего студента технической специальности.

  • Теоретические знания баз данных (включая нормальные формы).

  • Базовые навыки работы с SQL (SELECT-запросы с WHERE, ORDER BY и GROUP BY), оконные функции.

  • Понимание логики работы JOIN разных типов.

  • Базовые знания Python и способность реализовывать логические алгоритмы.

Будет плюсом

  • Навыки работы с Bash.

  • Навыки работы с Docker.

  • Примеры своих учебных, pet- или коммерческих проектов на GitHub.

hh.ru
mycar group

Инженер данных

mycar groupАвтоподнятие
Зарплата не указанаКазахстанАлматыОфис
Требования:
  • От 4 лет коммерческого опыта в роли DWH / Data Engineer

  • Хранилище, которое вы развивали и меняли, а не только поддерживали в рабочем состоянии

  • Витрины данных, доведённые до продакшена и живущие в реальной работе аналитики или BI

  • Проектирование

o Понимаете принципы построения DWH (Kimball / Inmon, star schema, ETL/ELT) и можете обосновать выбор подхода под конкретную задачу, а не следовать шаблону

o Понимаете различия OLTP-и OLAP-систем и последствия выбора для схемы и профиля нагрузки

o Умеете декомпозировать размытую бизнес-задачу до модели данных и плана работ

Технологии

o SQL на уровне оптимизации: читаете план запроса, находите узкие места, переписываете тяжёлые запросы

o PostgreSQL / MySQL или другая промышленная РСУБД под нагрузкой

o Kafka: топики, партиционирование, продюсеры и консьюмеры, поведение при сбоях и повторной обработке

o Clickhouse: проектирование схем под конкретные паттерны запросов, движки таблиц, партиционирование, materialized views

o Airflow или другой оркестратор

o Python на уровне поддерживаемого production-кода

o Git, Jira

Будет плюсом:

o Отвечали за архитектуру хранилища или крупного домена данных целиком, а не за отдельные пайплайны

o Проводили аудит чужих решений и доводили рефакторинг до результата, а не до списка замечаний

o Работаете с качеством данных как с отдельной задачей: проверки, SLA на данные, договорённости с владельцами источников

o Ревьюите код, помогаете расти middle-инженерам

o Общаетесь с бизнес-заказчиком напрямую: превращаете запрос в требования, оцениваете и защищаете сроки

o Интеграции с BI-системами: Power BI, Tableau и др.

o Опыт создания и мониторинга production-сервисов и API на Python, работа со сторонними API

o Опыт работы в облачных средах (AWS, GCP), понимание облачных сетей и безопасности


Обязанности:
  • Развивать корпоративное хранилище данных: проектировать слои, схемы, таблицы и представления, оптимизировать структуру хранения

  • Разрабатывать и сопровождать витрины данных для аналитики, BI

  • Проектировать и разрабатывать процессы загрузки данных из разнородных источников

  • Настраивать потоки передачи данных между системами: интеграции, синхронизация, обработка ошибок

  • Строить дашборды, алертинг и мониторинг

  • Обеспечивать наблюдаемость пайплайнов: контроль качества данных, отслеживание задержек и сбоев загрузок

  • Проводить аудит текущих решений, выявлять точки роста

  • Профайлинг, оптимизация и рефакторинг существующих решений

  • Поддерживать и развивать ETL-инфраструктуру и интеграционное ПО, участвовать в разборе инцидентов

  • Собирать и уточнять требования к данным вместе с аналитиками и бизнес-заказчиками

  • Участвовать в анализе данных: выявление зависимостей, построение логических связей, подготовка данных для аналитики

  • Вести задачи в Jira: оценка, декомпозиция, контроль выполнения


Условия:
  • График работы 5/2, с 09:00 до 18:00;

  • Корпоративная мобильная связь;

  • Добровольное медицинское страхование;

  • Оплата части расходов по фитнесу

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.