Data Engineer — свежие вакансии

О компании
Амаркон — российская компания с 15-летним опытом в области информационных технологий. Разрабатываем и внедряем собственные решения класса ECM, PIM, DAM, BI, порталы и сервисы для e-commerce, а также осуществляем заказную разработку и интеграцию партнерских продуктов. Среди клиентов: X5 Group, Tele2, Русатом Сервис, НЛМК, Metro CC, Лента и другие.

Задачи
● Разрабатывать интеграционные решения на BigData: сбор, трансформация и загрузка данных из API, логов, БД, CRM в Data Lake и DWH.
● Проектировать и развёртывать ETL/ELT-пайплайны на Airflow, Apache Nifi (или аналогах) с автоматизацией, мониторингом и обработкой ошибок.
● Оптимизировать производительность запросов и хранилищ: партиционирование, индексы, настройка Hive/Spark, работа с форматами Parquet/ORC/Avro.
● Обеспечивать качество и безопасность данных: валидация, дедупликация, управление доступом, маскировка PII.
● Участвовать в архитектурных решениях (DWH vs Data Lake, batch vs stream, CDC), разрабатывать документацию и архитектурные схемы.
● Участвовать в код-ревью, выстраивании CI/CD, оперативно реагировать на инциденты.

Требования
● Python: уверенное владение (pandas, requests, ООП, паттерны).
● Java или Groovy: чтение и доработка кода.
● Продвинутый SQL: оконные функции, CTE, JOIN-ы, чтение execution plan, оптимизация, индексы, партиционирование.
● Реляционные СУБД: PostgreSQL, MySQL, Oracle, MsSQL и др.
● Понимание DWH и Data Lake.
● Hadoop-экосистема: HDFS, Yarn, Hive или аналоги.
● Форматы данных: Parquet, ORC, Avro.
● Spark (PySpark/Scala): чтение/запись, оптимизация, партиционирование.
● Airflow, Apache Nifi или аналоги (Talend, Informatica, SAP BW) — проектирование, разработка, сопровождение.
● Настройка мониторинга, обработки ошибок, логирования.
● Docker (сборка, контейнеризация).
● Деплой в Rancher или Kubernetes.
● Git (консоль: ветки, мерж, конфликты).
● Понимание CI/CD, код-ревью.

Желательно:
● Администрирование Unix/Linux.
● Мониторинг (Zabbix, Grafana).
● Ansible.
● Архитектурные схемы.
● Безопасность данных (Ranger, маскировка).
● Облачные платформы (AWS/GCP/Azure: S3, EMR/Dataproc, IAM, VPC).

Мы предлагаем
● Удалённая работа
● Официальное оформление (ИП, СЗ)

Менеджер по инжинирингу признаков отвечает за преобразование исходных городских данных — геопространственных, IoT, транзакционных и административных — в качественные, хорошо документированные и переиспользуемые признаки (features) для аналитики и моделей ИИ/машинного обучения, применяя практики управления данными в соответствии со стандартом DAMA-DMBOK.

Обязанности:

• Проектирование, разработка и поддержка конвейеров инжиниринга признаков и хранилищ признаков (feature store), преобразующих исходные данные в признаки, готовые для аналитики и моделирования
• Применение областей знаний DAMA-DMBOK — качество данных, управление метаданными, моделирование данных, управление эталонными данными — в процессах инжиниринга признаков
• Документирование происхождения данных (data lineage), определений и метаданных для каждого признака в целях управления данными и повторного использования командами
• Взаимодействие с data scientist'ами и архитекторами данных для согласования разработки признаков с требованиями моделей и отчётности
• Разработка геопространственных признаков (ГИС-слои, пространственные соединения, агрегации на основе местоположения) для приложений умного города, таких как маршрутизация, землепользование и планирование инфраструктуры
• Применение гибких, быстрых итеративных практик разработки признаков, основанных на опыте работы в стартапах и финансовой отрасли
• Поддержка каталогизации данных, мониторинга качества и соблюдения политики управления данными департамента

• Степень бакалавра (предпочтительно первое высшее образование) в области компьютерных наук, статистики, инженерии данных, географии/ГИС или смежной области
• Опыт работы в области инженерии данных или инжиниринга признаков от 4 лет
• Практическое знание методологии управления данными DAMA-DMBOK (сертификация CDMP — преимущество)
• Владение Python и SQL; опыт работы с инструментами ETL и конвейерами данных
• Свободное владение русским и английским языками

Желательно:

• Опыт работы с геопространственными решениями (ГИС-платформы, пространственные базы данных, например PostGIS)
• Опыт работы в стартап-среде (динамичная, гибкая разработка)
• Опыт работы в финансовой отрасли (среда с интенсивной обработкой данных и строгим регулированием)
• Сертификация CDMP (Certified Data Management Professional)
  • 
    

Заместитель директора отвечает за проектирование и управление общегородской архитектурой данных, обеспечивая масштабируемость, безопасность и совместимость аппаратной и программной инфраструктуры, лежащей в основе систем умного города, с приоритетом на решения с открытым исходным кодом (open-source). Эта роль объединяет стратегическое управление данными с практическими техническими решениями в области архитектуры, формируя техническую основу для цифрового двойника города, сетей IoT и сервисов на основе искусственного интеллекта.

Обязанности:

• Разработка и владение стратегией общегородской архитектуры данных — хранилищ данных (data lake/data warehouse), интеграционных слоёв, API и систем управления эталонными данными (MDM) — в поддержку платформ умного города (цифровой двойник, сети IoT-датчиков, сервисы электронного правительства)
• Определение эталонных архитектур и технологических стандартов как для аппаратного обеспечения (периферийные устройства, датчики, сетевая и дата-центровая инфраструктура), так и для программного обеспечения (базы данных, оркестрация, аналитические платформы), с чётким приоритетом решений с открытым исходным кодом (например, PostgreSQL/PostGIS, Apache Kafka, Kubernetes, стек на базе Linux) для минимизации зависимости от поставщиков и затрат на лицензирование
• Разработка и внедрение политик управления данными — качество данных, безопасность, конфиденциальность, управление метаданными и жизненным циклом данных — в соответствии с принципами DAMA-DMBOK
• Взаимодействие с департаментами ИТ, городского планирования, коммунальных служб и общественной безопасности для согласования архитектуры данных с задачами умного города
• Принятие решений по выбору между собственной разработкой и закупкой (build-vs-buy), а также оценка поставщиков для инфраструктурных инвестиций с приоритетом открытых стандартов и совместимости
• Управление и наставничество команды архитекторов и инженеров данных
• Представление департамента в межведомственных инициативах и международном бенчмаркинге с аналогичными программами умных городов
• Обеспечение соответствия архитектурных решений национальной стратегии цифровизации

• Степень магистра в области компьютерных наук, инженерии данных, информационных систем или смежной области (степень бакалавра с обширным профильным опытом также рассматривается)
• Опыт работы в области архитектуры данных или корпоративной архитектуры от 8 лет, включая от 3 лет на руководящей должности
• Подтверждённый практический опыт работы с инфраструктурой данных на основе открытого исходного кода: Linux, PostgreSQL, Apache Kafka, Kubernetes/Docker, Hadoop/Spark
• Глубокое понимание аппаратной инфраструктуры умного города: IoT-датчики, периферийные вычисления (edge computing), сетевая и дата-центровая архитектура
• Знание фреймворков управления данными (DAMA-DMBOK, ISO/IEC 38505, DCAM)
• Свободное владение русским и английским языками (знание казахского языка — преимущество)
• Опыт работы в проектах умного города, государственного сектора или масштабных проектах цифровой трансформации
• Опыт работы с геопространственными данными и ГИС-системами
• Профессиональная сертификация (TOGAF, CDMP или эквивалент)

​​​​​

Вы будете:

• Разрабатывать и оптимизировать пайплайны обработки данных.
• Интегрировать новые источники данных в Data Lake.
• Участвовать в развитии дата платформы (внедрение новых фреймворков и практик инженерии данных).
• Проводить код-ревью.

Мы ожидаем:

• Высшее образование.
• Опыт разработки пайплайнов обработки данных в Airflow.
• Практический опыт оптимизации Spark-приложения.
• Понимание работы СУБД и принципов построения хранилищ данных.
• Уверенное владение SQL, Python.

В команду бизнеса «Кредитные карты» требуется дата-инженер. Команда занимается разработкой новых продуктов, проводит пилоты, внедряет новые механики и сервисы. В команду требуется специалист для построения и поддержки витрин для отчетности и аналитики.

• сборка витрин с разных платформ в единое пространство

• аналитика источников данных, построение отчетности

• проверка данных на корректность

• согласование доработок на источниках данных

• ведение единого реестра витрин команды.

• высшее образование (техническое/математическое)

• опыт работы в роли дата-инженера от года

• SQL - уверенный уровень владения

• Excel - уверенный уровень владения

Будет плюсом:

• владение Python

• навыки работы с генеративными AI-моделями, опыт создания AI-агентов и использования их в работе

• опыт использования GigaChat, Kandinsky и аналогов впродуктах, навыки создания и использования AI-агентов

• инструментальное владение AI для анализа, генерации и автоматизации.

• офисный формат работы по адресу Кутузовский проспект 32к1

• ежегодный пересмотр зарплаты и годовая премия

• расширенный ДМС и льготное страхование для семьи

• уникальная система обучения Сбера для профессионального и карьерного развития

• выгодная ипотека для сотрудников

• подписка Прайм с возможностью совместного использования на трёх близких

• вознаграждение за рекомендацию друзей в команду Сбера

• корпоративная пенсионная программа.

Ищем опытного Data Engineer для усиления команды Data Engineering. Основная задача роли — разработка, поддержка и развитие потоков данных, которые используются для формирования регуляторной и управленческой отчетности. Важно обеспечивать стабильность процессов, качество данных и своевременную доступность необходимой отчетности.

Основные задачи

• Анализировать требования и технические постановки задач.
• Разрабатывать и сопровождать ETL/ELT-процессы.
• Разбираться в существующем legacy-коде и дорабатывать решения на SQL, Python и ETL.
• Разрабатывать и дорабатывать витрины данных и процессы формирования отчетности.
• Анализировать причины ошибок, сбоев и проблем производительности и устранять их.
• Обеспечивать стабильность и надежность потоков данных.
• Взаимодействовать с внутренними заказчиками и смежными командами.

Обязательные требования

• Опыт работы от 2 лет в разработке DWH и ETL/ELT-процессов.
• Практический опыт промышленной разработки на SQL и Python.
• Уверенное знание SQL, опыт написания и оптимизации сложных запросов.
• Понимание архитектуры DWH и принципов построения потоков данных.
• Опыт решения задач, связанных с производительностью, мониторингом и надежностью ETL-процессов.

Будет преимуществом

• Практический опыт работы с Git.
• Опыт разработки и сопровождения DAG в Apache Airflow.
• Опыт работы с большими объемами данных и высоконагруженными DWH.

Что мы предлагаем:

• Трудоустройство согласно законодательству РУз
• Работу в престижном банке страны
• Стабильную заработную плату
• Развивающаяся и взаимоуважающая команда профессионалов
• Комфортные условия труда, график 5/2 с 9:00 до 18:00
• Ценный и полезный опыт
• Удобная локация рядом с метро
• Возможность построить карьеру в престижном банке страны
• Доступ к электронной библиотеке, включающую в себя огромное количество книг разных жанров, в том числе бизнес-литературу
• Возможность профессионального обучения

Создание аналитической платформы для управления эффективностью организации. Решение позволит формировать стратегию, ставить цели.

Множество сервисов, большое количество данных (терабайты). ClickHouse является ядровой БД для продукта.

Вакансия находится на стыке SRE и инженерии данных. Необходимо выполнять как сопровождение линейки стендов БД, так и задачи развития DWH.

Задачи:

• обеспечение отказоустойчивости ClickHouse на всех стендах
• развитие функционала БД, консультации сервисов по работе с ClickHouse
• внедрение решений по observability, мониторингу и алертингу
• оптимизация производительности БД
• сопровождение всей линейки стендов
• интеграция инструментов/БД между собой (пример — Greenplum + ClickHouse)
• участие в рефакторинге DWH
• участие в развитии AI Product Development Lifecycle

Мы ожидаем:

• опыт работы с ClickHouse от 3х лет
• опыт работы с большими данными (терабайты)
• базовое понимание командной строки Linux
• опыт обеспечения отказоустойчивости БД (репликация, шардирование, HA-кластеры)
• опыт оптимизации производительности SQL-запросов и БД
• понимание принципов построения DWH

Будет плюсом:

• опыт работы с Greenplum
• опыт работы с Kafka, Hadoop
• понимание принципов ETL, работы инструментов оркестрации
• опыт настройки observability/мониторинга (Prometheus, Grafana и аналоги)
• опыт автоматизации инфраструктуры (Ansible, Terraform)

Мы предлагаем:

• формат работы офис, гибрид
• стабильный оклад+ годовое премирование и социальная поддержка сотрудников
• расширенный ДМС с первого дня работы для сотрудников и льготная медицинская страховка для близких
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• корпоративная пенсионная программа
• корпоративное обучение за счет компании, в т.ч. посещать конференции по профессиональной тематике, а так же огромный каталог образовательных программ
• реферальная программа для сотрудников: можно пригласить в команду знакомых профессионалов и получить вознаграждение до 100 тыс. рублей
• корпоративный спортзал и скидки в спортзалы-партнеры
• работу по Agile с лучшими из IT индустрии: 2000 продуктовых команд и возможность внутреннего перемещения
• яркая и насыщенная корпоративная жизнь: «Зелёный марафон», Сбербанкиада, КВН, волонтёрские программы и т.д.

YT (YTsaurus) — это основная платформа для аналитики и построения batch-процессов в Яндексе, которая включает несколько видов хранилищ, планировщик ресурсов и встроенный MapReduce-движок. Apache Spark — популярный открытый фреймворк для распределённой обработки больших объёмов данных.

Уже больше 5 лет мы занимаемся интеграцией Spark с YTsaurus в рамках проекта SPYT. За это время Spark стал одним из основных аналитических инструментов для работы с данными, которые хранятся в YTsaurus и используются как внутри Яндекса, так и внешними пользователями. Исходный код SPYT доступен в опенсорсе в репозитории. За последние годы мы несколько раз рассказывали про наш проект на конференциях:

— Как подключить к Apache Spark проприетарный источник данных

— Помогаем планировщику Apache Spark быть ещё эффективнее

— Внедряем Spark SQL в массы

Перед нами стоят всё более интересные и амбициозные задачи, и мы ищем сильного разработчика, который станет частью нашей команды.

Мы искренне увлечены большими распределёнными системами и сложными техническими задачами. Многие из нас имеют академический опыт и до сих пор активно преподают — в МФТИ, ВШЭ, ШАД и других вузах. Несколько человек занимали призовые места в соревнованиях по спортивному программированию.

В команде сохраняется дух стартапа: дружно общаемся в рабочее и нерабочее время, вместе штурмуем задачи, экспериментируем и участвуем в CTF.

Работаем в Москве, Белграде, Ереване, Минске и других локациях, в том числе удалённо.

Поддержка всех современных версий Spark

Сам Spark продолжает активно развиваться, поэтому необходимо поддерживать нашу интеграцию в соответствии со всей новой функциональностью, реализуемой в основном фреймворке. Например, нужно будет сделать поддержку Java 17 и Java 21, а также интегрировать со Spark Connect, появившемся в Spark 3.4.0.

Развитие интеграции Spark и YTsaurus

Мы работаем над созданием собственного внешнего shuffle-сервиса и хотим его интегрировать для использования в Spark-расчётах. Кроме того, повышаем эффективность выполнения задач Spark в YTsaurus, развивая более тесную интеграцию с хранилищем данных и планировщиков задач.

Продвижение опенсорс-проекта

C 2023 года код YTsaurus, в том числе и SPYT, доступен в открытом доступе, поэтому мы активно работаем над развитием внешнего комьюнити вокруг проекта.

* Работали с Apache Spark не менее трёх лет
* Умеете разрабатывать на Java и Python, также желательно знать Scala
* Понимаете принципы распределённого хранения и обработки больших объёмов данных

* Работали с Hadoop-стеком (HDFS, YARN)
* Работали с Docker и Kubernetes
* Принимали участие в работе над опенсорс-проектом
* Знаете C++ или Go

МТС Web Services (MWS) — бигтех-компания, предоставляющая облачные, AI-сервисы и платформенные решения под разные задачи бизнеса: от работы с данными до разработки продуктов и оптимизации процессов. Также мы запустили новую публичную платформу собственной разработки — MWS Cloud Platform.
Ищем Дата инженера на проект NEO – система сбора, хранения, обротки и визуализации аварийных событий и метрик собираемых с оборудования всей инфраструктуры ТБ МТС.

Задачи

Разрабатывать и проектировать высоконадежное хранилище данных, обеспечивающего эффективное хранение, обработку и доступ к большим объемам информации
Участвовать в разработке и настройке ETL (Extract, Transform, Load) процессов, включая базу данных, для обеспечения точности и своевременности данных
Оптимизировать SQL-запросы для улучшения производительности и эффективности работы с данными
Заниматься настройкой и мониторингом систем
Участвовать в обсуждении архитектурных решений
Развивать продуктовые решения путем комбинации готовых компонентов для достижения максимальной эффективности
Заниматься написание сложных SQL-запросов для анализа и обработки данных
Заниматься настройкой и обеспечением стабильной работы интеграций между различными системами и базами данных

Требования

Знание СУБД: PostgreSQL, ClickHouse
Подготовка данных для использования в PostgreSQL, ClickHouse
Знание движков ClickHouse
Опыт настройки и оптимизации работы в Apache Ignite
Опыт работы с партиционированием, репликацией, шардированием, оптимизацией запросов
Опыт использования обновляемых материализованных представлений (Refreshable Materialized Views)
Умение работать и анализировать большие объемы данных
Опыт работы с Grafana для визуализации данных
Опыт работы с Kafka в качестве брокера сообщений
Опыт работа с Git для управления версиями кода
Знание процессов CI/CD для автоматизации разработки и развертывания
Свободное владение SQL-функциями

Условия

собственную платформу MTS Ocean для получения ИТ-ресурсов, а это значит, что деплой, мониторинг, observability — не будут для тебя проблемой, ты сможешь сосредоточиться на фичах;
профессиональные гильдии инженеров, где мы поддерживаем друг друга и помогаем стать лучше;
внутреннюю площадку TechTalks для обмена опытом, дискуссий, развития навыков самопрезентации;
участие во внешних IT конференциях. Наши эксперты выступают на ведущих профильных конференциях, таких как HighLoad++, DevOps Conf, Joker, AHA!, Матемаркетинг и другие. А еще мы организуем собственную масштабную конференцию True Tech Day и регулярно проводим митапы для разработчиков и инженеров.
полезные курсы и вебинары в корпоративном университете и электронную библиотеку;
А еще:
ДМС с первого месяца работы, включая стоматологию;
страхование от несчастных случаев с 1 месяца работы. Материальную помощь в сложных жизненных ситуациях;
отпуск 28 календарных дней (+3 дополнительных дня за ненормированный рабочий день);
прием врачей общей практики и массаж в офисе;
мобильная связь за счет компании и льготные тарифы для близких;
подписка на онлайн-кинотеатр KION, сервис МТС Музыка, книжный сервис Строки от МТС, безлимитные мессенджеры и соцсети.

Мы – аккредитованная IT-компания, работаем над различными проектами: финтех и e-Commerce, инжиниринговые информационные системы, портальные решения, системы документооборота.
Ищем Python-разработчика для проекта.
Это распределённая система, которая объединяет несколько типов физических устройств, собирает от них данные практически в реальном времени, обрабатывает их и позволяет централизованно управлять всей инфраструктурой.
ЗП по результатам собеседования.

Обязанности:

- Проектирование и разработка backend сервисов для обработки данных в распределенной системе;

- Осуществление интеграции с внешними сервисами и приложениями;

- Участие в прототипировании, построении моделей представления данных, алгоритмов, средств оценки и мониторинга ключевых метрик системы;

- Взаимодействие с инженерами из смежных команд.

Требования:

- Опыт коммерческой разработки Python - от 5 лет;

- Опыт работы с FastAPI;

- Опыт работы с базами данных: использование, проектирование, оптимизация (PostgreSQL, ClickHouse);

- Знание классических алгоритмов и структур данных;

- Опыт автоматизации и оркестрации (Apache Airflow)

- Опыт проектирования интеграций (REST API, Kafka);

- Понимание принципов машинного обучения;

- Понимание специфики построения сервисов с использованием контейнеризации (Docker, K8s).

Будет плюсом:

- Опыт работы на C++ .

Условия:

• Сотрудничество ч/з ИП;
• Конкурентная оплата;
• Гибкий, удаленный график работы;
• Современный стек;
• Слаженный коллектив профессионалов и адекватное руководство;
• Интересные задачи, профессиональный подход.

Чем ты будешь заниматься

• Реализовать и оптимизировать сложную бизнес-логическую обработку в ClickHouse и Teradata.
• Проводить Adhoc исследования и валидировать данные в ClickHouse и Teradata.
• Настроить ETL-пайплайны для ClickHouse, Teradata, PostgreSQL, Greenplum, Oracle и Amazon S3 с использованием Airflow и Python.

Мы ожидаем

• Clickhouse(распределённый, 21 шард)

• Опыт работы не менее 2х лет, отличное знание и понимание принципов работы Clickhouse на уровне эксперт , способов оптимизации и реализации сложной бизнес-логики.

• SQL(Teradata, Postgres, Greenplum) - опыт работы от 2х лет, понимание принципов оптимизации запросов, реализовывал сложную бизнес логику.

• Airflow/Python - опыт работы не менее года

• Настраивал сложные даги с обработкой ошибок, информированием, перезапуском по триггеру

• Разработка витрин данных в стеке Oracle / GreenPlum / PostgreSQL/ S3;
• Разрабатывать и сопровождать ETL-пайплайны с использованием IPC и Apache Airflow для обеспечения надежной загрузки данных;
• Проектировать и оптимизировать структуры данных в Oracle и PostgreSQL/GreenPlum, включая написание сложных запросов;
• Осуществлять поиск и анализ данных из систем с многокомпонентной архитектурой для обеспечения их качества и консистентности;
• Автоматизировать процессы обработки данных и настраивать мониторинг пайплайнов с помощью Python.

• Высшее техническое образование;
• Опыт работы с Oracle, PostgreSQL/GreenPlum;
• Опыт работы ETL инструментами IPC /Airflow;
• Опыт поиска и анализа данных из систем с многокомпонентной структурой;
• Плюсом является уверенное владение Python.

• Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования;
• Удаленный формат работы;
• Среда для твоего неизбежного развития: тебя ждут сложные и интересные задачи с использованием большого массива данных, у нас регулярно проходят тренинги, вебинары, у тебя будет доступ к бесплатным корпоративным библиотекам Альпины и бизнес - изданий, скидки на курсы иностранных языков;
• Карьерный рост: ты будешь понимать, что нужно сделать для перехода на другой уровень;
• Чувство локтя: у нас дружелюбная атмосфера и команда лучших профессионалов, которые готовы делиться с тобой экспертизой;
• Забота о твоем здоровье: программа ДМС, куда входит стоматология и обслуживание в лучших клиниках города, скидки на абонементы в фитнес-клубы, неформальные спортивные сообщества. Также есть фитнес-зал в офисе;
• Возможности для разнообразного досуга: скидки на услуги туристических агентств, продукты питания, в рестораны и бары, в магазины и салоны красоты.

FunFlow - аккредитованная IT-компания, разработчик популярных мобильных игр и приложений. Уже более 15 лет мы помогаем миллионам людей скрасить свободное время, создавая топовые развлекательные игры и сервисы по всему миру.

Продукты, которыми мы гордимся:

• социальный игровой проект, который мы разрабатываем, растет на +20% каждый год! Наша аудитория – более миллиона пользователей ежедневно, которые совершают десятки тысяч покупок и более 50 000 000 сыгранных игр каждый день;

• социальная сеть, над который мы сейчас работаем, – одна из самых популярных в СНГ с ростом +50% в год и ежедневной аудиторией более 1 000 000 пользователей. Каждый день они отправляют больше 20 000 000 сообщений, проводят более 50 000 прямых трансляций, знакомятся с сотнями тысяч людей.

Немного о нашем подходе:

Мы быстро растем и адаптируемся под меняющийся рынок. Мыслим целями, а не задачами, ценим свободу в выражении идей и проактивность. Не боимся рисковать, тестируем новые инструменты и гипотезы. В компании собрано комьюнити из специалистов разных направлений, что дает вам возможность делиться опытом и вдохновляться интересными решениями.

На сегодняшний день наша система ETL обрабатывает более 100 тысяч сообщений в секунду, более 2 миллиардов сообщений в день, обеспечивая доступность новых данных в приближенным к real-time интервалах. Весь бэкенд системы ETL написан на Python. Наша команда дата инженеров работает в рамках developer and research, где разработка занимает более 80% времени специалиста.

Мы приветствуем использование современных технологий, поэтому предоставляем команде полный доступ к последним ИИ моделям для ускорения разработки, автоматизации рутины, написания бойлерплейтов, ресерча, анализа и выполнения нестандартных задач.

Сейчас мы расширяем нашу команду Big Data и ищем скиллового Python разработчика.

Чем предстоит заниматься:

• Разработкой и поддержкой систем доставки, обработки и загрузки больших данных (ETL);

• Исследованием и интеграцией новых источников данных в DWH;

• Исследованием и интеграцией существующих ETL систем в Airflow.

Для нас важны:

• Опыт написания на Python от 3х лет (примеры работ будут плюсом);

• Понимание принципов реляционных СУБД;

• Опыт работы с Key-value/NoSQL базами данных;

• Уверенные знания ООП и паттернов проектирования;

• Опыт работы со стандартными инструментами разработчика (Git, IDE, Ci/Cd, Docker, Bash).

Будем плюсом:

• Опыт написания multithreading/multiprocessing программ на Python;

• Понимание принципов асинхронного программирования;

• Опыт написания высоконагруженных приложений;

• Опыт использования Apache Hadoop (HDFS, Hive, Impala), Apache AirFlow, Kafka.

Мы предлагаем:

• Официальное оформление с первого рабочего дня и белую зарплату;

• Работу в просторном офисе с современным оборудованием;

• Гибкое начало рабочего дня с 9:00 до 11:00;

• ДМС со стоматологией, частичную компенсацию на сервис «Ясно» и онлайн-занятия в Skyеng, компенсацию расходов на спорт и обучение;

• Участие в профильных конференциях и курсах, корпоративные мероприятия и занятия в группах по направлениям: волейбол, падел-теннис, квизы, мафия и настольные игры.

Почему стоит работать с нами:

• Большая аудитория. Дневная аудитория продукта, над которым мы работаем, – более 1 000 000 пользователей. А значит, вы легко увидите результаты своей работы.

• Развитие скиллов. У нас сильная команда с различными компетенциями. Вы сможете улучшать свои скиллы в разных направлениях.

• Нет бюрократии. У нас нет утомительных бюрократических согласований. Мы умеем быстро превращать идею в гипотезу, гипотезу в тест, а результаты теста в решения. Много и хорошо тестируем идеи и подкрепляем данными.

• Возможность роста. У нас есть понятный вектор для роста разработчиков. Мы стремимся получить супер-профессионалов, которые будут отвечать за целые направления и получать новые зоны ответственности.

• Скорость разработки. Благодаря скорости нашей работы и миллионной аудитории вы сможете довольно быстро увидеть результат своей работы и не будете “работать в стол”.

• Прозрачность. Мы всегда делимся новостями и данными продуктов, не скрываем метрики, продаем команде разработки свои идеи, исходя из цифр и ожиданий, к чему каждый новый функционал приведет.

В команду бизнеса «Кредитные карты» требуется дата-инженер. Команда занимается разработкой новых продуктов, проводит пилоты, внедряет новые механики и сервисы. В команду требуется специалист для построения и поддержки витрин для отчетности и аналитики.

Обязанности

• сборка витрин с разных платформ в единое пространство
• аналитика источников данных, построение отчетности
• проверка данных на корректность
• согласование доработок на источниках данных
• ведение единого реестра витрин команды.

Требования

• высшее образование (техническое/математическое)
• опыт работы в дата-инженером от года
• SQL уверенный уровень владения
• Excel уверенный уровень владения
• Python желательно.

Условия

• комфортный офис по адресу Кутузовский проспект 32, к.1
• формат работы - офис
• уникальная система обучения Сбера для профессионального и карьерного развития, семинары, тренинги, конференции
• программа адаптации и помощь руководителя на старте
• ДМС, страхование от несчастных случаев, социальные гарантии
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера
• корпоративная пенсионная программа
• корпоративные мероприятия.

• Разработка, сопровождение и оптимизация ETL-процессов;

• Поддержка и развитие хранилища данных (DWH);

• Интеграция новых источников данных в единый контур;

• Подготовка и верификация данных для BI-отчетности и аналитики;

• Мониторинг и оптимизация производительности DWH-процессов;

• Участие в проектах по развитию архитектуры данных и внедрению новых решений.

• Умение анализировать, трансформировать и интегрировать данные из разных источников;

• Понимание принципов управления качеством данных (data quality, data governance);

• Способность документировать решения и процессы;

• Умение работать в команде и взаимодействовать с бизнес-подразделениями;
• Готовность к постоянному обучению и освоению новых технологий.
• Специальные навыки:
• SQL (PostgreSQL/Oracle) — уверенное владение.
• Опыт работы с ETL-инструментами (например, Informatica, Talend, Airflow, Pentaho).
• Понимание принципов архитектуры DWH и Data Lake. Опыт работы с системами контроля версий (Git).

• Опыт работы с контейнеризацией и оркестрацией (Docker, Kubernetes) будет плюсом.

• Знание инструментов BI (Power BI, Tableau, Superset, либо аналогов) приветствуется.

• Навыки программирования на Python для автоматизации и анализа данных.

• Официальное трудоустройство.
• Комфортабельный офис в центре города.
• Конкурентная заработная плата (обсуждается на собеседовании).

• На крупный банковский проект ищем Аналитика DWH
• Формирование/модификация логики загрузки данных из систем источников (постановка задач ETL разработчикам)
• Разработка витрин и написание алгоритмов
• Подготовка технической документации (ТЗ, функциональные требования)
• Частичное участие в изменении и доработке модели данных хранилища
• Функциональное тестирование проводимых доработок
  Стек: Oracle, Jira, Confluence

• Высшее естественнонаучное, техническое или экономическое образование
• Опыт работы в банках от 3-х лет
• Опыт работы на проектах внедрения/развития хранилищ данных и/или Data Lake от 5 лет
• Глубокое знание SQL (диалекты Oracle, PostgreSQL), написание сложных запросов, чтение PL\SQL- кода
• Опыт проектирования и разработки отчетности на базе одного из инструментов: MS SQL Reporting Services, Tableau
• Опыт проектирования объектов БД, понимание архитектуры хранилищ данных
• Навыки описания потоков загрузки данных в хранилища (DWH), составления технической документации (Source2Target, ТЗ)
• Желателен опыт работы с ETL - средствами, предпочтительно с Informatica Power Center
• Плюсом будет знакомство с ClickHouse и GreenPlum;

• Наша компания является аккредитованной ИТ-компанией (есть возможность оформления ИТ ипотеки)
• Мы предлагаем работу в команде профессионалов с богатым опытом в крутых технологичных проектах, готовых делиться своими знаниями
• У нас в компании проектная организационная структура, все возникшие вопросы решаются оперативно. Мы готовы слышать своих сотрудников!
• Мы работаем на разных проектах с различным технологическим стеком. Это отличная возможность для роста компетенций наших сотрудников!
• Мы предлагаем прозрачный карьерный рост, программу личного развития, включающую внешнее и внутреннее обучение
• Мы предлагаем 100% удаленную работу на территории РФ. Для работы мы предоставим всю необходимую технику.