Data Engineer Mid+ (Python)

Чем предстоит заниматься:

• Готовить данные и корпоративный контекст для прототипирования ассистента: выгрузка, очистка, нормализация и объединение данных из различных источников.
• Собирать PoC и технические прототипы для проверки гипотез до передачи в промышленную IT-разработку.
• Реализовывать прототипы получения данных через API, SQL, файловые источники, Каталог и другие корпоративные системы.
• Подготавливать данные для RAG/retrieval, тестировать поиск, сопоставление сущностей и качество получаемого контекста.
• Совместно с бизнес- и data-аналитиками формировать golden dataset из реальных Discovery-кейсов и эталонных результатов.
• Автоматизировать тестирование ассистента: массовый прогон сценариев, сравнение фактического результата с эталонным, фиксация ошибок.
• Формировать и автоматизировать метрики качества: полнота требований, корректность найденных источников/сущностей, пропуски, hallucinations, качество retrieval.
• Формировать regression-набор и проверять, что изменения логики, prompts, RAG или модели не ухудшают ранее работающие сценарии.
• Анализировать результаты пилотов совместно с аналитиками и локализовывать причины ошибок: данные, retrieval, контекст, правила или реализация.
• Передавать в IT проверенные прототипы, алгоритмы обработки данных, результаты экспериментов и технические требования для промышленной реализации.

Для нас важно:

• 3+ лет в data engineering/автоматизации/разработке аналитических решений.
• Уверенное знание Python и SQL, опыт обработки и преобразования данных.
• Опыт работы с API, JSON, ETL/ELT, интеграции различных источников данных.
• Умение быстро собирать PoC и прототипы для проверки технических и продуктовых гипотез.
• Понимание DWH, моделей данных, Data Quality, опыт работы с корпоративными данными.
• Понимание принципов LLM, RAG, retrieval, embedding.
• Опыт подготовки датасетов, автоматизации проверок и анализа результатов.
• Умение самостоятельно исследовать источники данных и находить способ технической реализации задачи.

Главный принцип SkillStaff - Выбирай!

• РАЗНООБРАЗИЕ ПРОЕКТОВ. Выбирай из сотен компаний и проектов то, что интересно и полезно для твоего роста. SkillStaff помогает реализовывать ежегодно порядка 500 различных ИТ-проектов для крупного бизнеса.
• КОМФОРТ. SkillStaff — аккредитованная IT-компания, белая зарплата и удобный график работы. Создавай идеальные условия для своей работы: удаленная работа или возможность работать как в офисе клиента, так и в комфортном офисе SkillStaff в центре Москвы на Воздвиженке.
• РАЗВИТИЕ. Выбирай сам путь, по которому ты хочешь развиваться. Используй возможность обмена опытом и получение знаний через участие в разных проектах, совместную работу с высококвалифицированными коллегами.
• КУЛЬТУРА. Нашу культуру создают сами сотрудники – мы их слышим и помогаем развиваться, чтобы #вместе переходить на новый уровень!

iFuture – продуктовая IT-компания, мы разрабатываем собственный международный продукт с многомиллионной аудиторией в сфере спортивной аналитики и развлечений уже на протяжении 29 лет.

Мы ищем опытного инженера данных, который будет играть ключевую роль в построении и поддержке архитектуры хранения и обработки данных.
Если вы умеете работать с большими объемами информации, сложными системами и стремитесь к постоянному улучшению процессов - мы будем рады видеть вас в команде :)

Основные задачи позиции:

• Разработка и поддержка конвейеров обработки данных в рамках существующей архитектуры DWH
• Реализация и оптимизация ETL/ELT-процессов
• Разработка моделей данных и трансформаций на DBT
• Работа с аналитиками: уточнение требований, подготовка витрин, контроль качества данных
• Поддержка метаданных, схем и моделей данных по принятым в команде стандартам
• Участие в код-ревью и agile-процессах команды​​​​​​​

Мы ожидаем:

• Опыт в Data Engineering от 3 лет
• Опыт работы с ClickHouse: движки таблиц, партиционирование, написание эффективных запросов
• Уверенный SQL: оконные функции, CTE, чтение планов запросов
• Python для разработки data pipeline'ов
• Опыт работы с Apache Airflow: написание и поддержка DAG'ов
• Понимание принципов DWH: слои, схемы, SCD
• Опыт работы с DBT или готовность быстро освоить​​​​​​​

Будет плюсом:

• Опыт работы с Apache Spark и/или Kafka
• Опыт работы с BI-инструментами (Tableau, Power BI, Superset)
• Опыт внедрения тестов и проверок качества данных (dbt tests, Great Expectations)
• Участие в миграции данных или построении хранилища
• Базовое понимание data governance: доступы, lineage, каталогизация
• Умение документировать техническое решение​​​​​​​

​​​Мы предлагаем:

• Конкурентоспособную заработную плату
• Гибкую и понятную систему роста между ролями и грейдами, постоянные performance review
• Помощь опытного ментора в период адпатации, индивидуальный план онбординга
• Оформление по ТК РФ с первого рабочего дня в аккредитованную IT-компанию
• Корпоративный ДМС + Стоматология
• Компенсацию занятий любым спортом/фитнесом, корпоративные скидки в сеть фитнес клубов
• Изучение английского языка с преподавателем в офисе или онлайн
• Оплату профильного обучения (курсы, конференции, вебинары, учебники и пр.)
• Гибкий график работы: присутственные часы с 11 до 17 (GMT+3)
• Удобный формат работы – из дома или в комфортном офисе (в 5 минутах от ст.м. Старая Деревня (Санкт-Петербург)

Компания ООО ИЦ «АЙ-ТЕКО» - ведущий российский системный интегратор и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-10 крупнейших IT-компаний России.

В связи с активным развитием проектов в компании открыта вакансия Data Engineer.

ВАМ ПРЕДСТОИТ:

• Проектировать и разрабатывать новые, а также поддерживать существующие data pipeline’и в облачной среде;
• Заниматься тюнингом и оптимизацией производительности пайплайнов (написание эффективного кода, работа с "горячими" точками, распределенные вычисления);
• Настраивать мониторинг, алертинг и участвовать в создании дашбордов для отслеживания здоровья данных;
• Внедрять и развивать практики Data Quality и DataOps;
• Поддерживать и развивать техническую документацию.

НАШИ ОЖИДАНИЯ ОТ УСПЕШНОГО КАНДИДАТА:

• Опыт работы от 3х лет (Обязательно);
• Отличные знания SQL: умение писать сложные запросы, оптимизировать их, читать и понимать планы выполнения (execution plans), знать внутреннюю работу движка (алгоритмы джойнов, распределение данных, индексы);
• Опыт промышленной разработки на Scala от 2 лет (или уверенный Python/PySpark, если ты готов(а) работать с нашим Scala-ядром;
• Уверенное знание Apache Spark: понимание архитектуры, работы с памятью, оптимизации Spark-задач;
• Понимание архитектуры Lakehouse: знание концепций DWH и Data Lake, понимание слоев (Raw, Clean, Core, Mart), витрин и агрегатов;
• Опыт работы с оркестраторами: Airflow, Dagster или аналогичными планировщиками задач;
• Уверенная работа с Git, понимание принципов CI/CD для данных.

БУДЕТ ПЛЮСОМ:

• Опыт работы со стриминговым ETL: Kafka, Spark Structured Streaming или Apache Flink;
• Опыт работы с современными табличными форматами (Apache Iceberg, Delta Lake или Hudi);
• Понимание принципов работы Kubernetes (опыт деплоя Spark-приложений или Airflow в K8s);
• Опыт работы с инструментами Data Quality (dbt, Great Expectations и аналоги);
• Базовое понимание ML-процессов (как модели потребляют данные, feature store).

МЫ ПРЕДЛАГАЕМ:

• Работа в аккредитованной ИТ-компании;
• Оформление в соответствии с ТК РФ с первого дня работы;
• Формат работы: Офис/гибрид в Москве, также возможен полностью удаленный формат работы в пределах РФ;
• ДМС с первого дня работы (включая стоматологию);
• Корпоративный спорт: скидки на посещение фитнес-клубов, футбольная и волейбольная секции, собственный йога класс;
• Работа в команде, использующей гибкий подход к разработке;
• Работа в развивающемся IT-проекте с командой специалистов высокого уровня, возможность развития и обмена опытом.