Senior Data Engineer [NEO, МТС Веб Сервисы]

Обязанности:

• разрабатывать и документировать пайплайны обработки данных на Apache Airflow (Python, ANSI SQL);
• проектировать и реализовывать прототипы аналитических витрин на данных систем-источников;
• участвовать в построении корпоративного хранилища данных: от слоя первичных данных до витрин для бизнес-аналитики;
• организовывать процессы контроля качества данных (Data Quality): технические и бизнес-проверки, мониторинг и алертинг;
• формировать и описывать data-контракты на получение данных из систем-источников.

Требования:

• опыт самостоятельной разработки DAG в Apache Airflow, в том числе создание переиспользуемых фреймворков/библиотек для пайплайнов;
• уверенное владение Python и основными библиотеками для обработки данных;
• опыт написания производительных SQL-запросов (MS SQL Server и/или PostgreSQL);
• опыт оптимизации SQL-запросов;
• базовые навыки администрирования СУБД;
• понимание принципов построения хранилищ данных (DWH);
• опыт интеграции с внешними системами через REST API.

• будет преимуществом: понимание архитектуры 1С, опыт работы с BI-инструментами (Power BI, Superset, Tableau, Metabase), с ClickHouse, с брокерами сообщений (Kafka и аналоги).

Условия:

• трудоустройство в соответствии с ТК РФ в аккредитованную ИТ-компанию;
• график работы: 5/2, с 9.00 до 18.00 Мск (удаленный формат или гибрид - по желанию);
• необходимые ресурсы предоставляются;
• ДМС после испытательного срока;;
• возможности профессионального развития.

Itransition invites you to join our free internship. To participate, you will need an active Microsoft Azure account. Applicants are required to pass an entrance test.Please submit your resume, and once we review your application, we will get back to you with further details.

Requirements:

• Active Microsoft Azure account
• Basic python programming skills
• Knowledge in SQL (SQL Server, Oracle, MySQL, BigQuery, Snowflake)
• Understanding of basics of version control systems (Git, Subversion)
• Intermediate or above level of English
• Willingness to study intensively

Internship outline:

• Attending lectures and seminars
• Performing software development tasks
• Independent study of training materials
• Team work
• Implementing a project on fully-functional web application development

We offer:

• 2-month internship with the possibility of further employment via a world leading software development company (according to Forrester, Deloitte and Zinnov Research)
• Projects for such clients as PayPal, Wargaming, Xerox, Philips, adidas and Toyota
• Competitive compensation that depends on your qualification and skills
• Career development system with clear skill qualifications
• Flexible working hours aligned to your schedule
• Options to work remotely
• Corporate medical insurance covering services of private and public medical centers
• English courses online
• Corporate parties and events for employees and their children
• Internal conferences, workshops and meetups for learning and experience sharing
• Gym membership compensation, corporate sport competitions (cybersport included)
• 5 days of paid sick leave per year with no obligation to submit a sick-leave certificate

Юзтех – группа аккредитованных ИТ-компаний полного цикла разработки с многолетней экспертизой в передовых технологиях: DWH, BigData, AI/ML, Blockchain, BI, предиктивная аналитика, цифровые двойники производства и рисков.

ГК Юзтех является технологическим партнером таких компаний, как Mail.ru, 2Gis, НЛМК, Еврохим, ГоИнвест, Альфа-Банк, Сбер, ВТБ, МКБ, Самолет, Х5 retail Group, Газпромнефть, Леруа Мерлен, Ситилинк, Ланит, IBS. Также, ГК разрабатывает собственные ИТ-продукты (Юзбас, Октопус, Тил Эйчар) и флагманские проекты, которыми пользуется 70% населения страны.

Сфера:

Ищем опытного DWH-разработчика в команду развития корпоративного хранилища данных. Хранилище объединяет данные о сотрудниках и используется аналитиками и Data Scientists для аналитики и повышения эффективности бизнес-процессов.

Формат: РФ, Москва, гибрид (офис 1-2 раза в неделю).

Задачи:

• Разработка и развитие корпоративного DWH.
• Анализ текущей архитектуры хранилища и интеграционных потоков.
• Разработка и оптимизация сложных SQL-запросов.
• Построение и развитие стабильных ETL-процессов.
• Подключение новых источников данных.
• Оптимизация производительности и существующих процессов загрузки данных.
• Работа с REST API и CDC-механизмами.
• Поддержка действующих интеграций, разбор инцидентов и небольшие доработки.
• Участие в проектах по развитию архитектуры хранилища.

• Соотношение задач: около 70% разработки / 30% сопровождения.

Мы ожидаем:

• Опыт разработки DWH от 5 лет; кандидаты с сильным опытом от 4 лет также могут рассматриваться.
• Экспертный уровень SQL: сложные JOIN, аналитические функции, оптимизация запросов.
• Опыт работы с PostgreSQL от 1 года.
• Опыт с Oracle или Greenplum будет релевантен как дополнительный опыт с СУБД.
• Опыт построения и сопровождения ETL-процессов.
• Опыт работы с Apache NiFi или аналогами, например Informatica.
• Понимание различных подходов и методологий построения DWH.
• Понимание принципов CDC.
• Опыт интеграций через REST API.
• Понимание жизненного цикла разработки данных: Git, CI/CD.
  Будет плюсом:
• Опыт проектирования архитектуры DWH.
• Навыки системного анализа и понимание бизнес-процессов.
• Опыт с PySpark, Hadoop, Hive/Impala.
• Опыт с Apache Airflow.
• Python для автоматизации и обработки данных.
• Опыт работы с корпоративными хранилищами в финтехе, страховании, HR или других крупных компаниях.

Мы предлагаем:

• Карьерную и профессиональную возможность в стабильной, аккредитованной ИТ-компании;
• Расширенный полис ДМС со стоматологией, корпоративный психолог;
• Необходимую технику для комфортной работы;
• Обучение, сертификацию, клуб английского языка;
• Доступ к Корпоративной библиотеке и к Корпоративному университету;
• Внутрикорпоративные профильные коммьюнити;
• Заботу о детях сотрудников: корпоративные скидки, подарки, детские дни;
• Геймифицированную программу лояльности: поверь, ты будешь восторге от нашего корпоративного магазина;
• Корпоративную жизнь: мы много работаем и классно отдыхаем.