itransition

Data Engineer Middle (Python)

Itransition is looking for a talented Data Engineer that is willing to solve complex technical issues while developing high quality software systems using modern technologies.

itransition

↑ Вакансия с автоподнятием
Зарплата не указанаУзбекистанГрузияАзербайджанТбилисиТашкентБакуУдалёнка
Локации (удалёнка):ТбилисиТашкентБаку

Удалённая работа — географически не привязана. Щёлкни по любой из локаций, чтобы открыть оригинальную карточку.

Itransition is looking for a talented Data Engineer that is willing to solve complex technical issues while developing high quality software systems using modern technologies.

Requirements:

  • 2+ years with Python including strong knowledge of data libraries (pandas, multiprocess, Google Cloud SDK)

  • 2+ years of experience in ETL/ELT technologies (REST API, GraphQL, DBT, etc. ) and data pipeline orchestration (e.g., Airflow, Astronomer, DBT cloud, etc)

  • Hands-on experience with Snowflake

  • Problem-solving and root cause analysis in live production systems along with experience querying and transforming large volumes of data, data quality and data validation

  • Experience in SQL (SQL Server, Oracle, MySQL, BigQuery, Snowflake)

  • Comfortable working with serialized data format (JSON, AVRO, XML, CSV) as well as compressed and encoded files

  • Comfortable with ingesting data using REST APIs, data transformations and data loading/unloading techniques

  • English proficiency sufficient to work in an international environment

Nice to have:

  • Capable of designing and implementing data pipelines over cloud architecture
  • Experience working with CI/CD deployments
  • Experience working with GIT

We can offer:

  • Projects for such clients as PayPal, Wargaming, Xerox, Philips, adidas and Toyota
  • Competitive compensation that depends on your qualification and skills
  • Career development system with clear skill qualifications
  • Options to work remotely
  • Compensation for medical expenses
  • English courses online
  • Corporate parties and events for employees and their children
  • Internal conferences, workshops and meetups for learning and experience sharing
  • Gym membership compensation, corporate sport competitions (cybersport included)
  • 5 days of paid sick leave per year with no obligation to submit a sick-leave certificate

Похожие вакансии Data Engineer

hh.ru
отп банк. it

Data engineer

отп банк. it
Зарплата не указанаРоссияМоскваОфис

Цель: Обеспечение стабильной, автоматизированной и масштабируемой инфраструктуры обработки данных для задач маркетинговой аналитики банка. Развитие процессов сбора и интеграции данных из внутренних и внешних источников, построение и оптимизация аналитических витрин, автоматизация регулярных расчётов и обновления BI-отчётности. Повышение качества, доступности и своевременности данных, сокращение ручных операций и снижение операционных рисков при подготовке аналитической информации для принятия бизнес-решений.

Чем предстоит заниматься:

  • Разработка ETL/ELT-процессов. Разработка, оптимизация и сопровождение процессов загрузки, преобразования и обработки данных с использованием SQL, Python, Apache Spark и других инструментов.
  • Развитие DWH и аналитических витрин. Проектирование, создание и поддержка аналитических моделей и витрин данных в Hadoop (Spark, Iceberg), Greenplum и ClickHouse; оптимизация хранения, обработки и выполнения запросов.
  • Интеграция внутренних и внешних источников данных. Организация загрузки данных из внутренних систем банка и внешних платформ, включая AppMetrica, Яндекс Метрику, Яндекс Директ и другие источники, посредством API, SFTP и иных согласованных способов обмена данными.
  • Автоматизация и оркестрация. Разработка и сопровождение процессов в Apache Airflow, управление расписаниями, зависимостями, повторными запусками и обработкой ошибок; перевод ручных расчётов в автоматизированные процессы.
  • Автоматизация BI-отчётности. Обеспечение регулярного обновления источников данных, датасетов и аналитических дашбордов FineBI, контроль своевременности и корректности обновления информации.
  • Контроль качества данных. Разработка и внедрение автоматизированных проверок полноты, корректности, уникальности и актуальности данных; выявление и устранение причин расхождений и ошибок.
  • Мониторинг и сопровождение. Контроль работоспособности пайплайнов, диагностика и устранение сбоев, настройка логирования, уведомлений и механизмов восстановления процессов.
  • Взаимодействие со смежными подразделениями. Совместная работа с аналитиками, владельцами информационных систем, инфраструктурными подразделениями и командами УИБ/ИБ по вопросам доступов, интеграций, согласования технических решений и выполнения требований информационной безопасности.
  • Развитие инженерных практик. Использование Git/Bitbucket, участие в Code Review, документирование решений, соблюдение стандартов разработки и участие в развитии процессов тестирования и поставки кода.
  • Техническая проработка задач. Участие в анализе требований, оценке трудоёмкости и декомпозиции задач совместно с аналитиками; выбор и реализация технических решений в рамках архитектуры и стандартов банка.

Что мы ожидаем от кандидата:

  • Уверенное владение SQL.
  • Уверенное владение Python для разработки процессов обработки данных, интеграций и автоматизации.
  • Практический опыт разработки и сопровождения ETL/ELT-процессов, включая инкрементальную загрузку, повторные запуски и обработку ошибок.
  • Опыт работы с Apache Spark (PySpark и/или Spark SQL), понимание принципов распределённой обработки больших объёмов данных.
  • Опыт работы с Apache Airflow или аналогичными инструментами оркестрации процессов.
  • Опыт работы с DWH и аналитическими базами данных, понимание архитектуры хранилищ и принципов построения аналитических витрин.
  • Понимание подходов к обеспечению качества данных, мониторингу и диагностике процессов обработки данных.
  • Опыт использования Git и инструментов совместной разработки.
  • Понимание принципов интеграции информационных систем, работы с API и основных способов передачи данных.
  • Умение работать с техническими требованиями, самостоятельно реализовывать согласованные решения и взаимодействовать с аналитиками и смежными IT-командами.

hh.ru
go-to-sport.ru

Инженер данных (Data Engineer)

go-to-sport.ru
Зарплата не указанаРоссияМоскваУдалёнка

GTS использует данные для продаж, закупок и планирования ассортимента спортивной одежды. Ищем инженера в пару к специалисту, который развивает аналитическую базу. Вы сможете вести процессы целиком, от загрузки до цифры в отчёте. График и вознаграждение обсудим на встрече.

Что предстоит делать

• Сопровождать загрузчики на Python, трансформации dbt в PostgreSQL и задания Dagster. Разбирать пропуски и дубли, проверять повторную загрузку за нужные даты.

• Готовить данные для первой версии отчётности в Metabase. Добавлять проверки полноты и свежести данных, настраивать оповещения и выбирать, какие события передавать ИИ-агенту.

• Сопровождать сервисы на Linux в Docker Compose. Настраивать доступ по HTTPS через обратный прокси и проверять в тестовой среде восстановление базы и конфигураций из ежедневных резервных копий.

• Описывать зависимости и порядок восстановления вместе с коллегой. Проверять инструкции на практике, чтобы каждый мог самостоятельно подменить другого.

Первый участок в работе Вместе выберете одну критичную загрузку. Вы проследите путь данных до отчёта, настроите оповещение и самостоятельно проведёте контрольный перезапуск. Затем по вашей инструкции коллега проверит, что итоговые суммы сходятся.

Какой опыт пригодится

  • Вы сопровождали рабочие загрузки данных,
  • Вы уверенно пишете на Python и SQL,
  • Вы знаете PostgreSQL, Linux и Docker.
  • Подойдёт опыт Dagster или другого оркестратора.
  • Практика работы с dbt и Metabase пригодится с первых задач.

В отклике Опишите сбой, который вы сами расследовали. Как заметили проблему, восстановили данные без дублей и какое изменение предложили, чтобы следующий сбой обнаружили раньше?

hh.ru
иц ай-теко

Data Analyst/Engineer

иц ай-текоАвтоподнятие
до 220k ₽РоссияМоскваОфис

КОМПАНИЯ «АЙ-ТЕКО» - ведущий российский системный интегратор и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-10 крупнейших IT-компаний России.

В связи с активным развитием открыта вакансия Data Analyst/Engineer .

От кандидата ожидаем:

  • Мы ждем от кандидата (Обязательно). Законченное ВО.
  • Опыт работы с данными от 2 лет (дата-инженер+ аналитик данных / DWH).
  • Продвинутый SQL: Умение писать сложные запросы, искать аномалии, дубликаты, считать метрики качества.
  • Python на уровне написания скриптов: Опыт работы с Pandas / PySpark для обработки и анализа данных.
  • Опыт работы с Hadoop / Hive / Greenplum
  • Понимание жизненного цикла данных: Знание, как данные текут из источника в хранилище и витрины (ETL/ELT-процессы).
  • Опыт работы с системами контроля версий (Git) и задачами (Jira).
  • Аналитическое мышление: Умение не просто констатировать проблему, а находить ее первопричину (почему данные испортились: ошибка загрузки, сбой в источнике, человеческий фактор)
  • Навыки коммуникации: Готовность и умение общаться с разными командами — от разработчиков до бизнес-заказчиков.

МЫ ПРЕДЛАГАЕМ:

  • Офисный формат работы;
  • Работу в стабильной компании, "белую" заработную плату;
  • Оформление в соответствии с ТК РФ с первого дня работы;
  • Расширенный социальный пакет: ДМС (включая стоматологию), корпоративные скидки на посещение фитнес-клубов, футбольная и волейбольная секции;
  • Профессиональное обучение и развитие;
  • Яркая и насыщенная корпоративная жизнь;
  • Снабжаем всей необходимой современной техникой.

  • ✅ ОТКЛИКАЙСЯ =) ЖДУ, КОГДА ВМЕСТЕ ПОРАДУЕМСЯ ТВОЕМУ ОФФЕРУ)

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.