Senior/ TL Data engineer

В связи с созданием нового отдела и развитием направления, мы формируем команду с нуля.

Важно: На начальном этапе вам предстоит самостоятельно выстроить архитектуру хранения данных и процессы ETL. Проект уникален для компании, поэтому мы ищем специалиста, который не боится «зеленого поля», готов принимать самостоятельные решения и брать на себя ответственность за разработку ключевых узлов системы​​​​​​​.​​​​​​​

Чем предстоит заниматься:

1. Проектирование и развертывание БД: Спроектируете структуру локальной базы данных под хранение и индексацию массива данных до 1 500 000 файлов (объем до 2 ТБ и более) с учетом горизонтального расширения в будущем.

2. Разработка инструментов миграции: Напишете скрипты для автоматического сбора, парсинга, очистки и загрузки файлов из сетевых корпоративных папок в новую систему.

3. Интеграция с OCR: Настроите взаимодействие ядра БД со специализированным софтом для распознавания текста.

4. Организация поиска: Внедрите инструменты быстрого полнотекстового поиска, а также поиска по атрибутам (шифр, дата, автор, тип документа).

5. Подготовка витрин данных: Спроектируете и реализуете выгрузку структурированных данных в форматах, удобных для дальнейшего использования специалистами по искусственному интеллекту.

Мы ждем, что вы:

• Имеете высшее инженерное образование.

• СУБД: Экспертный уровень работы с реляционными СУБД. Глубокое понимание оптимизации сложных запросов, индексации больших объемов текста и настройки производительности.

• Опыт миграций: Наличие успешно реализованных проектов по обработке и переносу терабайтных массивов данных из "сырых" источников в структурированное хранилище.

• Программирование: Уверенное владение языками программирования для написания высоконагруженных скриптов автоматизации и работы с файловой системой.

• API: Опыт создания серверной части для передачи данных на фронтенд или в смежные сервисы.

• Инфраструктура: Базовые навыки администрирования для развертывания и изоляции БД в закрытом контуре (без доступа в интернет).

Будет преимуществом:

• Опыт интеграции с OCR-системами (Content AI, Abbyy FineReader Server и др.).

• Практика работы с движками полнотекстового поиска.

• Понимание специфики проектной документации (чертежи, спецификации, текстовые тома ГОСТ).

Что мы предлагаем:

• Срочный трудовой договор с возможностью дальнейшей пролонгации.
• Офисный характер работы.
• Стабильность и надежность: работа в социально-ответственной компании с акцентом на проектирование НПЗ.
• Официальное оформление по ТК РФ с первого рабочего дня.
• Конкурентная зарплата: уровень дохода обсуждается на собеседовании, основанный на ваших профессиональном опыте (оклад + премия).
• ДМС (включая стоматологию) после испытательного срока.
• Поддержка наших сотрудников: материальная помощь при значимых событиях (свадьба, рождение ребенка и др.).
• Поддержка здорового образа жизни: частичная компенсация абонементов в спортзалы и фитнес-залы.
• Спортивная активность: возможность участия в марафонах и других командных спортивных мероприятиях.
• Корпоративные мероприятия: конкурсы, квизы, настольные игры и выезды.
• Обучение и развитие: доступ к корпоративной электронной библиотеке и возможности для регулярного обучения
• График работы: 5/2, с пн.-чт. с 8:00 до 17:00, пт. с 8:00 до 16:00.
• Комфортный и современный офис в Нижнем Новгороде, Максима Горького, 117.

Мы ценим каждого кандидата и внимательно изучаем все резюме. Если ваше резюме будет отобрано, мы свяжемся с вами для личной встречи.

Присоединяйтесь к команде профессионалов!

Чем предстоит заниматься

Управление командой

• Управлять кросс-функциональной командой из бизнес-аналитиков, дата-инженеров и разработчиков
• Приоритезировать задачи спринта исходя из ёмкости команды, финансового эффекта реализации и потребности бизнес-заказчика
• Консультировать бизнес-потребителей данных по реализованным дата-продуктам и общему дата-ландшафту банка
• Отслеживать приоритеты и сроки выполнения задач
• Управлять бэклогом команды

Аналитика

• Формулировать и описывать ТЗ (превращаем пожелания \ идеи бизнеса в технические требования)
• Проводить полный флоу работы по задаче: общение с заказчиком - обсуждение задачи - написание ТЗ - оценка по задаче - утверждение сроков - прототипирование - реализация задачи - тестирование и приемка - визуализация результатов в понятной для заказчиков форме
• Проводить системную аналитику для осуществления интеграционных работ
• Писать сложные SELECT запросы, объединения, подзапросы, CTE, оконные функции
• Проводить профилирование и тюнинг запросов (использование индексов, переписывание запросов, изменение планов выполнения) для повышения производительности
• Разбирать сложные инциденты с качеством данных

Поддержка ETL процессов

• Разрабатывать и поддерживать процедуры загрузки, трансформации и выгрузки данных (ETL) с использованием Informatica и Airflow, Spark
• Обеспечивать корректность и целостность данных при перемещении между источниками
• Тестирование и валидация реализованного функционала

Что мы ждем от вас

• Высшее образование в области информатики, компьютерных наук, прикладной математики, экономики или смежных специальностей
• Навыки управления командой аналитиков \ дата-инженеров от 1 года
• Опыт работы от 5 лет в разработке аналитических решений
• Умение выстраивать доверительную и конструктивную коммуникацию с заказчиками всех уровней
• Продвинутый уровень SQL (T SQL, PL/SQL, PostgreSQL, MySQL, Iceberg и т.п.)
• Опыт написания сложных запросов, хранимых процедур, функций, триггеров, представлений
• Опыт работы с ETL инструментами (Spark, Airflow, Informatica) или написания скриптов загрузки данных
• Понимание Python, архитектуры БД Data Mash (необязательно, но плюс), принципов работы Data LakeHouse

Что мы предлагаем взамен

• Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования + квартальная премия по результатам KPI
• Полную удалёнку или гибрид на выбор, а также уютный ИТ-хаб в Москве, Санкт-Петербурге, Екатеринбурге и сезонный коворкинг в Сочи
• Сложные и интересные задачи, современный стек технологий
• Заботу о вашем здоровье: программа ДМС с первых дней работы, куда входит стоматология, обслуживание в лучших клиниках города, страхование и полная компенсация 10-ти дней больничного
• Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни
• Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий
• Предложения от Банка только для сотрудников: собственные спортзалы (Москва, Санкт-Петербург, Екатеринбург), а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины

Мы строим технологичную финтех-компанию ИТ Контакт: с 2019 года мы создаем современные цифровые платформы, которые позволяют упростить процессы, снизить затраты и повысить безопасность сделок, связанных с приобретением жилья.

Благодаря нашей работе множество людей по всему миру смогли воплотить в жизнь мечту о собственном доме. Нас уже более 700 человек, и, в связи с активным ростом компании, мы находимся в поисках Data Engineer в нашу команду.

Технологии: SQL, Python, Pandas, SQLAlchemy, Requests, MS SQL Server, Apache Airflow, Git, CI/CD, REST API, SFTP, Jira, Confluence, GitHub Copilot​​​​​​​

Требования к кандидату:

• Отличное владение SQL и практический опыт работы с MS SQL Server.
• Практический опыт работы с Apache Airflow или другим инструментом оркестрации и готовность быстро углубиться в Airflow.
• Уверенное владение Python для задач обработки и интеграции данных, включая Pandas, SQLAlchemy и Requests.
• Хорошее понимание архитектуры DWH, принципов организации слоев хранения данных и построения Data Mart.
• Опыт разработки, сопровождения и рефакторинга ETL/ELT-процессов.
• Опыт интеграции данных из различных источников: SQL-баз, API, файлов и SFTP.
• Навыки оптимизации SQL-запросов и понимание принципов эффективной работы с базами данных.

Будет плюсом:

• Опыт переноса ETL-процессов, SQL Jobs или Python-скриптов в Airflow.
• Опыт работы с Git и понимание принципов version control.
• Понимание CI/CD применительно к data pipelines.
• Опыт работы с Jira и Confluence.
• Опыт использования LLM-инструментов, например GitHub Copilot, в процессе разработки.
• Опыт подготовки данных для аналитических систем или Power BI.
• Базовые навыки работы в Linux.

Чем вы будете заниматься:

• Рефакторить существующие ETL-процессы и структуру базы данных, содержащей данные из Jira и Bitbucket.
• Разрабатывать и сопровождать ETL/ELT-пайплайны.
• Переносить ETL-процессы и трансформации из SQL Server Jobs в Apache Airflow.
• Переносить существующие Python-скрипты в управляемые пайплайны Apache Airflow.
• Настраивать интеграции с различными источниками данных, включая базы данных, API, файлы и SFTP.
• Оптимизировать SQL-запросы и повышать производительность процессов обработки данных.
• Участвовать в развитии DWH и создании слоя Data Mart.
• Подготавливать данные для аналитических задач и внутренних заказчиков.

Что мы предлагаем?

• Аккредитованная IT-компания
• Комфортный офис в центре Санкт-Петербурга
• Предсказуемый график работы 5/2
• Мультикультурная амбициозная команда
• Общение на иностранных языках с коллегами и клиентами
• Внутреннее комьюнити для сотрудников: кафетерий льгот, сообщества по интересам, спортивные турниры, благотворительные программы и т.д.