Data Engineer / Ведущий аналитик / Data Analyst (Freedom Holding)

Itransition is looking for a talented Data Engineer that is willing to solve complex technical issues while developing high quality software systems using modern technologies.

Requirements:

• 2+ years with Python including strong knowledge of data libraries (pandas, multiprocess, Google Cloud SDK)

• 2+ years of experience in ETL/ELT technologies (REST API, GraphQL, DBT, etc. ) and data pipeline orchestration (e.g., Airflow, Astronomer, DBT cloud, etc)

• Hands-on experience with Snowflake

• Problem-solving and root cause analysis in live production systems along with experience querying and transforming large volumes of data, data quality and data validation

• Experience in SQL (SQL Server, Oracle, MySQL, BigQuery, Snowflake)

• Comfortable working with serialized data format (JSON, AVRO, XML, CSV) as well as compressed and encoded files

• Comfortable with ingesting data using REST APIs, data transformations and data loading/unloading techniques

• English proficiency sufficient to work in an international environment

Nice to have:

• Capable of designing and implementing data pipelines over cloud architecture
• Experience working with CI/CD deployments
• Experience working with GIT

We can offer:

• Projects for such clients as PayPal, Wargaming, Xerox, Philips, adidas and Toyota
• Competitive compensation that depends on your qualification and skills
• Career development system with clear skill qualifications
• Options to work remotely
• Compensation for medical expenses
• English courses online
• Corporate parties and events for employees and their children
• Internal conferences, workshops and meetups for learning and experience sharing
• Gym membership compensation, corporate sport competitions (cybersport included)
• 5 days of paid sick leave per year with no obligation to submit a sick-leave certificate

Мы запустили новый продукт - LLM-платформу для наших клиентов из госсектора и enterprise-сегмента и развиваем его.
Сейчас мы усиливаем усиливаем продуктовую команду и ищем Ведущего инженера данных, который будет отвечать за организацию и подготовку данных для AI-решений (от подключения внешних источников и проектирования модели данных до подготовки данных для поиска и RAG).

КАКИЕ ЗАДАЧИ НЕОБХОДИМО РЕШАТЬ:

• Определять источники данных для AI-решений: базы данных, документы, API, файловые хранилища, внешние системы и потоки обновлений;
• Проектировать модели данных: сущности и связи, версии, метаданные, lineage, права доступа и правила актуализации;
• Организовывать сбор и обработку данных из внешних источников: очистку, нормализацию, дедупликацию, классификацию и разметку;
• Формировать единое эталонное представление объекта (golden record) при объединении данных из нескольких источников;
• Подготавливать данные для поиска и RAG: chunking, embeddings, индексация, векторный и гибридный поиск;
• Настраивать retrieval и reranking, обеспечивать обновление индексов при изменении исходных данных;
• При необходимости готовить датасеты для обучения или дообучения моделей, если задача не решается с помощью RAG;
• Определять показатели качества данных и retrieval, организовывать их мониторинг: полнота, актуальность, precision/recall, latency и другие показатели;
• Взаимодействовать с LLM-инженерами, аналитиками и разработчиками при проектировании AI-решений.

НАШИ ОЖИДАНИЯ:

• От 4 лет опыта в Data Engineering, Data Platform, Data Architecture или смежной области;
• Уверенное знание SQL и реляционных баз данных;
• Опыт построения ETL/ELT-процессов и data pipelines;
• Опыт интеграции данных из различных источников: БД, API, файлов и внешних систем;
• Практический опыт проектирования моделей данных и работы с качеством данных, метаданными и версиями;
• Практический опыт подготовки данных для поиска, ML или LLM/RAG-систем;
• Понимание принципов chunking, embeddings, vector search и hybrid search;
• Опыт работы с векторными хранилищами или поисковыми системами;
• Умение самостоятельно разбираться в структуре и качестве новых источников данных.

БУДЕТ ПЛЮСОМ:

• Опыт разработки и эксплуатации RAG-систем в production;
• Опыт оптимизации retrieval и reranking;
• Python для обработки данных и разработки data pipelines;
• Kafka или другие системы потоковой обработки данных;
• Airflow или аналогичные инструменты оркестрации;
• PostgreSQL, ClickHouse, Elasticsearch/OpenSearch, векторные хранилища и аналогичные технологии;
• Опыт подготовки датасетов для supervised learning / fine-tuning;
• Понимание метрик оценки RAG: retrieval quality, groundedness, faithfulness, coverage.

SberData - департамент по управлению данными всего Сбербанка. SberData строит централизованное хранилище данных - Корпоративную аналитическую платформу, объем которого превышает 100 ПБ. Это продуктово-ориентированная инженерная команда с функциями развития выделенных технологических направлений, отражающих новый подход Сбербанка к данным и к применению AI.

Обеспечим развитие и интересные задачи в направлениях: работа над сопровождением крупных проектов хранилищ данных на базе Apache Hadoop и Kubernetes; Hadoop Ecosystem: Apache Spark, Hive, HBase, Kafka, NiFi; оптимизация процессов: Performance Tuning, улучшение SLA поставки данных; мониторинг качества данных, управление Мастер-данными и поддержание доступности платформ.

Задачи:

• разбор и решение инцидентов по платформам и сервисам: Spark, Kafka, Hive, K8s
• взаимодействие с разработчиками, бизнесом и 2-й линией
• анализ причин проблем, выработка предиктивных мер и корректирующих действий
• участие в приемо-сдаточных испытаниях прикладного ПО
• исследование поведения системы, локализация дефектов, сопровождение патчей
• консультации бизнес-пользователей и 2-й линии по вопросам работы с платформой.

Требования:

• опыт работы Data Engineer / Support Engineer от 1,5 лет
• уверенное владение SQL
• опыт работы с СУБД (Oracle, PostgreSQL, Teradata)
• знание клиент-серверных и микросервисных архитектур, понимание принципов построения интеграций через REST API
• английский язык: чтение технической документации.

Будет плюсом:

• опыт работы со стеком Hadoop: Apache Hive, Spark, Kafka
• python — для написания скриптов автоматизации
• опыт создания дашбордов мониторинга: Grafana, Prometheus
• опыт работы с продуктами Atlassian: Jira, Confluence
• владение PSQL
• понимание принципов функционирования хранилищ данных (OLTP/DWH) и систем хранения.

Условия:

• комфортный современный офис: БЦ Даниловский форт, рядом с М.Тульская, Верхние котлы
• график работы – офис
• ежегодный пересмотр зарплаты, годовая премия
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• подписка Прайм с возможностью совместного использования на трёх близких
• вознаграждение за рекомендацию друзей в команду Сбера.