Разработчик ETL / Data Engineer

Itransition invites you to join our free internship. To participate, you will need an active Microsoft Azure account. Applicants are required to pass an entrance test.Please submit your resume, and once we review your application, we will get back to you with further details.

Requirements:

• Active Microsoft Azure account
• Basic python programming skills
• Knowledge in SQL (SQL Server, Oracle, MySQL, BigQuery, Snowflake)
• Understanding of basics of version control systems (Git, Subversion)
• Intermediate or above level of English
• Willingness to study intensively

Internship outline:

• Attending lectures and seminars
• Performing software development tasks
• Independent study of training materials
• Team work
• Implementing a project on fully-functional web application development

We offer:

• 2-month internship with the possibility of further employment via a world leading software development company (according to Forrester, Deloitte and Zinnov Research)
• Projects for such clients as PayPal, Wargaming, Xerox, Philips, adidas and Toyota
• Competitive compensation that depends on your qualification and skills
• Career development system with clear skill qualifications
• Flexible working hours aligned to your schedule
• Options to work remotely
• Corporate medical insurance covering services of private and public medical centers
• English courses online
• Corporate parties and events for employees and their children
• Internal conferences, workshops and meetups for learning and experience sharing
• Gym membership compensation, corporate sport competitions (cybersport included)
• 5 days of paid sick leave per year with no obligation to submit a sick-leave certificate

Юзтех – группа аккредитованных ИТ-компаний полного цикла разработки с многолетней экспертизой в передовых технологиях: DWH, BigData, AI/ML, Blockchain, BI, предиктивная аналитика, цифровые двойники производства и рисков.

ГК Юзтех является технологическим партнером таких компаний, как Mail.ru, 2Gis, НЛМК, Еврохим, ГоИнвест, Альфа-Банк, Сбер, ВТБ, МКБ, Самолет, Х5 retail Group, Газпромнефть, Леруа Мерлен, Ситилинк, Ланит, IBS. Также, ГК разрабатывает собственные ИТ-продукты (Юзбас, Октопус, Тил Эйчар) и флагманские проекты, которыми пользуется 70% населения страны.

Сфера:

Ищем опытного DWH-разработчика в команду развития корпоративного хранилища данных. Хранилище объединяет данные о сотрудниках и используется аналитиками и Data Scientists для аналитики и повышения эффективности бизнес-процессов.

Формат: РФ, Москва, гибрид (офис 1-2 раза в неделю).

Задачи:

• Разработка и развитие корпоративного DWH.
• Анализ текущей архитектуры хранилища и интеграционных потоков.
• Разработка и оптимизация сложных SQL-запросов.
• Построение и развитие стабильных ETL-процессов.
• Подключение новых источников данных.
• Оптимизация производительности и существующих процессов загрузки данных.
• Работа с REST API и CDC-механизмами.
• Поддержка действующих интеграций, разбор инцидентов и небольшие доработки.
• Участие в проектах по развитию архитектуры хранилища.

• Соотношение задач: около 70% разработки / 30% сопровождения.

Мы ожидаем:

• Опыт разработки DWH от 5 лет; кандидаты с сильным опытом от 4 лет также могут рассматриваться.
• Экспертный уровень SQL: сложные JOIN, аналитические функции, оптимизация запросов.
• Опыт работы с PostgreSQL от 1 года.
• Опыт с Oracle или Greenplum будет релевантен как дополнительный опыт с СУБД.
• Опыт построения и сопровождения ETL-процессов.
• Опыт работы с Apache NiFi или аналогами, например Informatica.
• Понимание различных подходов и методологий построения DWH.
• Понимание принципов CDC.
• Опыт интеграций через REST API.
• Понимание жизненного цикла разработки данных: Git, CI/CD.
  Будет плюсом:
• Опыт проектирования архитектуры DWH.
• Навыки системного анализа и понимание бизнес-процессов.
• Опыт с PySpark, Hadoop, Hive/Impala.
• Опыт с Apache Airflow.
• Python для автоматизации и обработки данных.
• Опыт работы с корпоративными хранилищами в финтехе, страховании, HR или других крупных компаниях.

Мы предлагаем:

• Карьерную и профессиональную возможность в стабильной, аккредитованной ИТ-компании;
• Расширенный полис ДМС со стоматологией, корпоративный психолог;
• Необходимую технику для комфортной работы;
• Обучение, сертификацию, клуб английского языка;
• Доступ к Корпоративной библиотеке и к Корпоративному университету;
• Внутрикорпоративные профильные коммьюнити;
• Заботу о детях сотрудников: корпоративные скидки, подарки, детские дни;
• Геймифицированную программу лояльности: поверь, ты будешь восторге от нашего корпоративного магазина;
• Корпоративную жизнь: мы много работаем и классно отдыхаем.

Развиваем DWH Дзена на YTsaurus: от слоёв хранилища и data quality до сервисов, которыми ежедневно пользуются аналитики и продуктовые команды.

Что делаем:

• Хранилище: многослойная модель raw → ods → dds → cdm → stg → export со строгими соглашениями именования и data quality поверх ~120 пайплайнов с алертингом
• Дата-продукты: каталог таблиц и трекинг SLA доезда данных (lineage/governance), кастомный планировщик workflow, бот-интерфейс к сервисам DWH 
• Работаем в монорепозитории (>1200 модулей-трансформаций) с автоматизированным code review через CI и дежурствами

Ищем инженера широкого профиля: данные + сервисы. 

Задачи

• Развивать внутренние продукты команды: проектировать и писать сервисы, API, интеграции
• Проектировать и развивать модели данных по слоям хранилища
• Писать и оптимизировать трансформации на YQL и Python
• Поддерживать и расширять оркестрацию пайплайнов
• Развивать мониторинг качества данных и реагировать на инциденты
• Участвовать в ревью и поддерживать инженерную планку команды

Требования

• Уверенный Python: production-код, сервисы, а не только скрипты
• Крепкий SQL и понимание аналитических запросов и их оптимизации
• Опыт проектирования и поддержки бэкенд-сервисов / API / интеграций
• Понимание, как устроен слоёный DWH (модели данных, инкрементальная загрузка, партиционирование)
• Аккуратность к качеству данных и к соглашениям (именование, технические поля)