vk

Инженер данных (Python)

Мы — команда продуктовой аналитики бизнес-юнита по экосистемным сервисам. Работаем с данными трёх продуктов сразу: VK Pay, VK ID и VK SMS & Push. Это три потока задач, три продукта и три команды аналитиков и продактов, с которыми вы будете…

vk

Зарплата не указанаРоссияМоскваГибрид

Мы — команда продуктовой аналитики бизнес-юнита по экосистемным сервисам. Работаем с данными трёх продуктов сразу: VK Pay, VK ID и VK SMS & Push. Это три потока задач, три продукта и три команды аналитиков и продактов, с которыми вы будете в постоянном контакте.

Вы станете единственным дата-инженером в команде, но не останетесь один: у вас будет функциональный руководитель и включение в сообщество дата-инженеров компании — еженедельные битсинги, менторинг, обмен экспертизой и метап-тренинг. Это среда, где можно быстро прокачиваться в новых инструментах и не чувствовать изоляции.

Задачи

Вы отвечаете за весь пайплайн данных — от источников до готовых витрин:
  • Проектировать, разрабатывать и сопровождать пайплайны и ETL/ELT-процессы: от подключения источников до регулярного обновления данных для аналитики
  • Строить и развивать витрины, агрегаты и пользовательские слепки для продуктовых исследований, отчётности и A/B-тестов — вместе с аналитиками определять состав данных, детализацию и требования к обновлению
  • Собирать требования от аналитиков и продактов, оценивать объём работ и технические ограничения; согласовывать с разработкой и командами DWH изменения в источниках, схемах и поставках данных
  • Участвовать в миграции данных и расчётов из ClickHouse в YTsaurus: переносить загрузки и зависимости, сверять результаты, обеспечивать непрерывность обновления
  • Настраивать проверки свежести, полноты и согласованности данных, выявлять дубли и пропуски, разбирать расхождения между источниками и устранять их причины
  • Обеспечивать стабильную работу регулярных расчётов: мониторинг и уведомления, разбор сбоев, восстановление загрузок, предотвращение повторных проблем
  • Оптимизировать тяжёлые запросы, расчёты и хранение данных: предагрегаты, сроки хранения, сокращение расхода ресурсов с учётом потребностей аналитики
  • Организовывать пересчёт истории при изменении логики, схем и состава метрик — делать его воспроизводимым и проверять корректность результата
  • Развивать существующие решения: разбирать технический долг, заменять ручные операции автоматическими процессами, документировать источники, структуру витрин и зависимости между расчётами
  • Делать ревью витрин и скриптов, которые пишут аналитики, помогать оптимизировать их расчёты

Требования

  • Опыт работы дата-инженером от четырёх лет
  • Самостоятельно разрабатывали и запускали пайплайны обработки данных в продакшен, занимались их поддержкой и развитием
  • Уверенный SQL: сложные запросы, чтение планов выполнения, оптимизация расчётов на больших объёмах данных
  • Python: разработка загрузок, преобразований данных и инструментов автоматизации; умение разбираться в существующем коде и дорабатывать его
  • Понимание принципов построения DWH и проектирования моделей данных: структура таблиц, детализация, правила обновления и хранения истории под задачи аналитики
  • Опыт работы с ClickHouse и распределёнными системами хранения и обработки данных — Hadoop, Spark или YTsaurus. Понимание, как устройство хранения и партиционирование влияют на скорость запросов и расход ресурсов
  • Опыт разработки ETL/ELT-процессов и работы с оркестраторами (например, Airflow): зависимости, инкрементальные загрузки, повторные запуски, пересчёт истории
  • Умение обеспечивать качество и надёжность данных: проверки и мониторинг, поиск причин расхождений, восстановление загрузок после сбоев
  • Работа с Git, знакомство с практиками тестирования, код-ревью и CI/CD
  • Умение обсуждать задачи с аналитиками, продактами и разработчиками: уточнять требования, предлагать техническое решение и доводить его до запуска
  • Софты: автономность и самостоятельность, многозадачность, умение приоритизировать, зрелость, способность самому находить задачи

Будет плюсом

  • Опыт работы с YQL, YTsaurus, Apache Superset, но важнее способность быстро осваивать новое

Мы предлагаем

  • Гибридный формат работы, офис рядом со станцией метро  «Аэропорт», БЦ Skylight. Также возможна работа из Санкт-Петербурга
  • Официальное оформление по ТК РФ с первого дня
  • Влияние на технические решения: вы сами проектируете архитектуру решения — ограничений только два: используются YT и ClickHouse
  • Рост и развитие: возможность погружаться в новые инструменты через сообщество дата-инженеров — еженедельные битсинги, менторинг, обмен экспертизой, метап-тренинг
  • Три продукта сразу: VK Pay, VK ID и VK SMS & Push — возможность влиять на данные трёх направлений и видеть результат своей работы в продуктах, которыми пользуются миллионы
  • Прозрачный процесс: понятное планирование, задачи через Jira, регулярные статусы и выравнивание приоритетов
  • Программу ДМС для сотрудников и их детей с первого месяца работы
  • Компенсацию питания
  • Систему гибких льгот с 14 категориями на выбор 

И многое другое, о чём мы расскажем на собеседовании :)

Похожие вакансии Data Engineer

hh.ru
гку инфогород
Зарплата не указанаРоссияМоскваГибрид

Департамент информационных технологий Москвы создает и развивает цифровые проекты, которые делают столицу комфортнее, а жизнь горожан — удобнее и мобильнее. Для системы управления столицей технологии — это незаменимый инструмент, который применяется во всех отраслях экономики, городского хозяйства и социальной сферы. А для миллионов горожан — повседневный помощник, который позволяет получать сотни услуг и сервисов в удобном цифровом формате в режиме 24/7.

Что нужно делать:

  • проектировать и внедрять решения на базе существующих бизнесс потребностей в масштабируемую мультисервисную архитектуру с использованием Python (FastAPI), Kubernetes, Docker, gRPC/REST, Kafka/RabbitMQ и CI/CD (GitLab CI, ArgoCD)
  • анализировать текущие подходы и разработка новых методов автоматизации прикладных задач с применением Python, NumPy/Pandas, а также фреймворков машинного обучения (PyTorch, scikit-learn) и инструментов обработки данных (Spark, Airflow)
  • разрабатывать аналитические инструменты и сервисы обработки данных, включая построение пайплайнов (ETL/ELT), визуализацию (Superset, Grafana) и сервисы анализа на основе Python, SQL и распределённых систем хранения (ClickHouse, PostgreSQL, S3)
  • разрабатывать, обучать, оптимизировать и внедрять модели машинного обучения и LLM-агентов с использованием PyTorch, Hugging Face Transformers, vLLM, TensorRT, включая задачи инференса, RAG (FAISS, Qdrant), prompt engineering и оптимизации (квантование, batching, KV-cache)
  • вести техническую документацию по задачам и решениям (архитектура, API, пайплайны, модели) с использованием Markdown, Confluence, Swagger/OpenAPI и поддержание её актуальности в рамках CI/CD процессов

Какие знания и навыки важны:

  • высшее образование (магистратура/специалитет) в области Computer Science, Data Science, прикладной математики, ИТ или смежных дисциплин
  • опыт работы от 3 лет в разработке программных решений, анализе данных или машинном обучении
  • опыт работы с мультисервисными и масштабируемыми архитектурами (микросервисы, Kubernetes, облачные решения)

Технические навыки:

  • уверенное владение Python (основные библиотеки: pandas, numpy, scikit-learn, TensorFlow/PyTorch)
  • опыт разработки backend-сервисов (FastAPI/Flask), проектирование REST/gRPC API
  • опыт построения и эксплуатации LLM-инференса (vLLM, SGLang, Triton, HuggingFace Inference) и оптимизации (квантование, batching, latency)
  • уверенное владение SQL
  • (Greenplum, Hive)
  • опыт работы с системами очередей и стриминга данных (Kafka, RabbitMQ)
  • опыт разработки и внедрения ML-моделей (классические алгоритмы, нейросети, ансамбли) или LLM-агентов (RAG, fine-tuning, LangGraph, LlamaIndex)
  • практический опыт разработки, деплоя и эксплуатации сервисов в Kubernetes
  • знание методов автоматизированного анализа данных (Feature Engineering, AutoML, оптимизация гиперпараметров)
  • умение проектировать и разрабатывать аналитические инструменты (Dash, Streamlit, BI-системы: Tableau, Power BI)
  • понимание принципов распределённых систем и работы с большими данными (SQL/NoSQL, Spark, Dask, Airflow)
  • опыт работы с GitLab CI / ArgoCD, Docker, Git
  • аналитические и управленческие навыки
  • умение формализовать и декомпозировать задачи, оценивать сложность и приоритезировать решения
  • навыки работы с документацией (технические спецификации, архитектурные схемы, отчеты).
  • ведение архитектурной и технической документации (API, сервисы, пайплайны, модели; Swagger, Confluence)
  • опыт взаимодействия с заказчиками и смежными командами (аналитики, инженеры, разработчики, DevOps)

Личные качества:

  • системное мышление – способность видеть взаимосвязи в сложных системах
  • самостоятельность – умение работать с минимальным контролем
  • критическое мышление – анализ эффективности решений, поиск оптимизаций
  • коммуникабельность – чёткое изложение идей, аргументация решений

Будет плюсом:

участие в open-source проектах или научные публикации в области ML/AI

Что предлагаем:

  • официальное трудоустройство в аккредитованную ИТ-компанию
  • график работы гибрид 5/2
  • ежегодное премирование по результатам работы
  • материальную помощь в случае важных событий в жизни
  • корпоративное обучение и доступ к онлайн-библиотеке
  • скидки от партнеров на ДМС, связь, развлечения, подарки, спорт и т.д.
  • корпоративные тренировки и спортивные активности - бег, футбол, волейбол, баскетбол, теннис и другие

  • Стань частью команды ДИТ Москвы и воплощай в жизнь цифровые проекты столицы!

Соц.сети
betera

Data Engineer (Airflow, dbt)

betera
Зарплата не указанаНе указана странаЛокация не указанаГибрид

Всем привет! 🤩

Продолжаю знакомить вас с возможностями в Betera и сегодня хочу позвать в нашу команду Data Engineer!

Ищем опытного специалиста, которому интересно работать с большими объёмами данных, развивать DWH, строить пайплайны и внедрять современные data-решения

Что важно:

• От 3 лет опыта в Data Engineering;

• Уверенный SQL и Python;

• Опыт работы с Apache Airflow и dbt;

• Понимание архитектуры DWH и Data Quality.

В работе ждут интересные задачи с Trino, Apache Iceberg, S3 и разными источниками данных.

А ещё у нас классная команда, гибридный формат работы, бонусы, компенсация обучения, спорта и медицинской страховки, а также насыщенная офисная жизнь 💫

Если тебе интересно или знаешь человека, которому может подойти эта возможность, буду рада откликам и рекомендациям!

Пиши в личные сообщения — расскажу подробнее 💚

Сайты компаний
СБЕР

LLM Data Evaluation Engineer

СБЕРАвтоподнятие
Зарплата не указанаРоссияМоскваОфис

Мы помогаем государству проводить disrupt госуправления через внедрение AI/GenAI и ускорять национальное развитие AI/GenAI, организуем одно из крупнейших в мире профильных мероприятий – AIJourney, объединяем бизнес, государство и международное научное сообщество, чтобы обеспечить GenAI-трансформацию страны.

• cтроить и развивать систему оценки качества LLM, RAG и агентов: тестовые наборы, метрики, автоматические прогоны, отчёты

• проводить регрессионное тестирование в CI при смене моделей, промптов и настроек, контролировать качество перед релизами и показами

• оценивать агентов по траекториям: успешность задач, ошибки вызова инструментов, лишние шаги

• калибровать автоматическую оценку (LLM-as-a-judge) против экспертной разметки

• строить пайплайны обработки документов: PDF, сканы, OCR, таблицы, восстановление структуры

• готовить датасеты для дообучения, включая синтетические данные и траектории вызова инструментов.

• от 3 лет в Data Science, Data Engineering или ML, из них не менее года с LLM-проектами

• опыт построения с нуля системы оценки качества LLM или RAG

• знание метрик поиска (recall@k, MRR, nDCG) и метрик ответов (faithfulness, полнота, корректность)

• опыт оценки агентных систем или многошаговых сценариев

• прикладная статистика: доверительные интервалы, значимость различий, размер выборки

• опыт обработки реальных документов в продакшене, включая OCR

• Python на уровне production-кода, уверенный SQL

• оркестрация пайплайнов (Airflow, Prefect, Dagster или аналоги), версионирование данных и трекинг экспериментов (DVC, MLflow или аналоги).

Будет плюсом:

• работа с юридическими, нормативными или канцелярскими текстами на русском языке

• классический NLP: NER, классификация, извлечение сущностей

• опыт с русскоязычными бенчмарками

• работа с персональными данными по 152-ФЗ

• Elasticsearch, OpenSearch, векторные базы данных.

  • гибридный формат работы по адресу Кутузовский пр-кт 32к3
  • ежегодный пересмотр зарплаты и годовая премия
  • более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
  • расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
  • подписка Прайм с возможностью совместного использования на трёх близких
  • вознаграждение за рекомендацию друзей в команду Сбера.
Эта вакансия также есть на:hh.ru

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.