Вакансии vk: работа в IT и digital

Команда DWH Одноклассников — 30 PiB данных и 1000+ ежедневных расчётов. Строим витрины и отчёты, готовим данные для A/B-тестов, отдаём данные другим бизнес-юнитам и переводим расчёты на новые технологии. 

Стек: YTsaurus, ClickHouse, Java, Spark, Airflow, Superset, Grafana.

В команду, занимающуюся анализом и хранением данных, ищем человека на роль Data Engineer. Основной задачей будет построение и оптимизация ETL-процессов на базе YTsaurus стека технологий.

Опыт с конкретными технологиями не критичен, важно понимание основных принципов работы с большими данными, алгоритмов их обработки и умение работать без чётких ТЗ, плотно взаимодействуя с заказчиком.

Задачи

• Построение новых и рефакторинг старых ETL-процессов
• Ad hoc задачи по выгрузкам / подготовке данных, их автоматизация при необходимости
• Участие в доработках платформы и фреймворка расчётов
• Разработка отчётов в SuperSet
• Автоматизация процессов с использованием LLM

Требования

• Опыт работы с SQL и большими объёмами данных
• Опыт построения сложных ETL-процессов
• Знание базовых алгоритмов и структур хранения данных, понимание принципов работы распределённых систем
• Желателен опыт работы с ClickHouse, Spark, Hadoop-стеком, Java, Airflow

Будет плюсом

Создаём единую коммуникационную платформу, которая станет универсальным решением для всех платформ группы по общению пользователей.

Задачи

• Проектировать, реализовывать и оптимизировать сложные ETL-процессы (в том числе разрабатывать DAG для автоматизации)
• Участвовать в проработке и пилотировании нового: Data Quality, развитие собственного ETL-фреймворка, тесные интеграции с аналитическими инструментами
• Работать с данными на каждом этапе их трансформации: от появления информации в конкретном источнике до принятия решений на данных
• Извлекать из исходных данных ценную информацию и скрупулёзно обрабатывать её для последующего анализа
• Реализовывать стабильный расчёт бизнес-метрик вместе с командой аналитиков
• Поддерживать и модифицировать созданные решения, обеспечивать доступность сервиса и корректность данных для принятия решений

Требования

• Уверенно знаете Python на уровне написания собственного фреймворка и SQL на уровне оптимизации запросов
• Умеете проектировать DWH: слои, модели хранения данных, процессы ETL
• Хорошо понимаете принципы работы распределённых систем Hadoop или YTsaurus, ClickHouse
• Использовали Airflow, Luigi или другой оркестратор
• Умеете выбирать технологии для решения конкретных задач
• Понимаете принципы работы инструментов мониторинга и способны настраивать алерты для отслеживания состояния ETL-процессов
• Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными
• Эффективно общаетесь с людьми, находите общий язык с разными специалистами

VK Реклама — платформа, которая объединяет все крупнейшие в России и СНГ социальные сети и сервисы с общим охватом более 140 млн человек. Благодаря VK Рекламе у рекламодателей есть единая точка доступа к аудитории рунета и колоссальному объёму мобильного трафика высокого качества.

Ядро рекламной системы — аукцион, обеспечивающий эффективную реализацию выбранных рекламодателями стратегий ставок и подбор рекламы для пользователей. Мы ищем руководителя в команду вертикалей рекламы, которому интересно глубоко погрузиться в механику аукциона, растить эффективность рекламных продуктов и стратегий ставок с помощью методов машинного обучения.

Что предлагаем:

• Возможность внедрять решения, влияющие на ~100 млн пользователей ежедневно
• Интересную предметную область — реклама сочетает в себе рекомендательную систему и аукцион со множеством дополнительных механизмов
• Технологические платформы компании, упрощающие внедрения в рантайм

Задачи

• Руководить командой: наём, развитие, performance review
• Декомпозировать бизнес-цели и проекты до уровня задач для команды
• Повышать эффективность рекламы при помощи ML-алгоритмов
• Предлагать новые решения и проводить A/B-эксперименты для оценки гипотез
• Обеспечивать стабильность ML-решений в высоконагруженном рантайме

Требования

• Опыт руководства командой ML или разработки от двух лет
• Опыт развития команды, проведения code review
• Практический опыт разработки на Java, Python или C++
• Знание классических методов машинного обучения (линейные модели, градиентный бустинг, матричные факторизации, методы NLP) и DL
• Понимание принципов и методов предобработки данных, feature engineering и оценки моделей
• Знание алгоритмов и структур данных

Будет плюсом

• Опыт разработки рекомендательных систем
• Опыт работы с большими данными (Spark, Hadoop, YTsaurus)

🔥 WANTED! Ищем Дата Инженеров в VK Видео и VK Музыку — от мидлов до ведущих. Тимлидов тоже ждём!

Мы строим DWH как полноценный продукт: десятки петабайт данных, 80+ аналитиков и инфраструктура, которая напрямую влияет на крупнейшие стриминговые сервисы России.

Что предстоит делать:

• создавать сервисы и инструменты для аналитиков;

• проектировать миграции, интеграции и новые компоненты платформы;

• много общаться с аналитиками и заказчиками, находить их боли и превращать их в системные решения;

• строить и развивать ETL и архитектуру DWH;

• отвечать за качество данных от клиента до витрины.

Например, мы сами построили Data Catalog с зависимостями, SLA, метаданными и описанием всего хранилища.

🛠️ Релевантный стек: Python, SQL, Hadoop, Airflow, ClickHouse.

YTsaurus — большой плюс.

📩 Пишите мне в личку или в Telegram https://t.me/ikkalinkin, а также рекомендуйте друзьям и знакомым!

Исаак Калинкин

t.me

Ищем DWH Engineer для команды VK Видео — одного из крупнейших и самых популярных видеосервисов в России!

Задачи

• Разрабатывать и поддерживать процессы обработки и доставки данных для аналитических и ML команд
• Собирать витрины, оптимизировать
• Писать адхоки и выгрузки, раздебаги
• Собирать требования

Требования

• Понимание работы параллельных вычислений на кластере
• Опыт с Airflow, Spark, Hadoop, ClickHouse, YT (опционально)
• Знание Python: алгосы базовые (для понимания оптимального кода), классы и прочий сложный код (для чтения исходников и создания велосипедов типа операторов/сервисов)
• Знание Git и работа с кодом в команде (ревью)