Data QA Engineer

Мы в поиске "Инженера данных"

Платформа А/Б - приложение для проведения пилотирования и тестирования гипотез в рамках процессов подразделений взыскания и урегулирования, с автоматизированной подготовкой сегментов портфеля, осуществлением равномерного распределения на пилотные и контрольные группы и интеграциями с потребителями для применения стратегий и инструментов взыскания и урегулирования, расчета метрик и статистической значимости - для оперативного принятия решения об успешности пилота и его тиража, подтверждения или не подтверждения бизнес гипотез.

Чем предстоит заниматься?

• Поиск и анализ систем-источников, оценка качества их данных и проектирование способов выгрузки
• Проектирование потоков данных (Data Flow Diagram / Lineage)
• Проектирование и оптимизация моделей данных
• Проектирование и оптимизация производительности ETL-процессов
• Участие в оценке сроков и декомпозиции задач
• Выстраивание процессов взаимодействия с бизнес подразделениями и смежными подразделениями платформы данных в части архитектуры
• Создание и поддержание архитектурной документации.

• Высшее образование (желательно техническое, математическое, экономическое)
• Опыт проектирования и внедрения корпоративных хранилищ данных от 3-5 лет
• Опыт моделирования данных (3NF, Data Vault, Star Schema)
• Опыт работы с СУБД (Greenplum, PostgreSQL, Hadoop, ClickHouse)
• Опыт оценки эффективности и целесообразности решений
• Знание принципов организации слоев данных в хранилищах
• Знание принципов организации загрузки источников данных и интеграции с хранилищем данных
• Глубокое знание SQL, PL/pgSQL.

• Конкурентная заработная плата, годовая премия
• Оформление согласно ТК РФ, выплаты 5 и 20 числа каждого месяца
• Пятидневка с «короткой» пятницей
• Доступ в СберКлуб: корпоративные скидки и программы от партнеров экосистемы Сбера
• Бесплатная подписка «СберПрайм+» (Окко, Сбермобайл, СберЗвук, бесплатные доставки и скидки сервисов Сбера (Delivery, СберМаркет, СберМегаМаркет и т.д.)

Привет! Команда Evrone занимается продуктовой разработкой стартапов и помогает в цифровой трансформации бизнеса в России, США и Европе. Думаю, что вы о нас слышали от Григория Петрова (Evrone Devrel).

Ищем Data/Lineage инженера уровня Senior. Заработная плата зависит от уровня и определяется после прохождения технического собеседования.

Проект в домене MedTech, формирование устойчивого контура идентичности, схем данных, происхождения и хранения артефактов в платформе in-silico drug discovery.

Стадия проекта: рабочий прототип, целевая архитектура не зафиксирована окончательно.

Среда: преимущественно on-prem и air-gap, возможны shared trust zone, dedicated cell и burst-очередь во внешний cloud.

Бизнес-задача роли: не допустить потери истории кандидатов и результатов вычислительных экспериментов при развитии платформы и замене отдельных инфраструктурных компонентов. Downstream-стадии должны получать входные данные по устойчивому идентификатору предшественника и ссылке на объектное хранилище, а не по локальному пути на GPU-ноде.

Задачи:

• Разобрать текущие источники данных, lineage-теги, выходные схемы и сценарии, где успешный статус задачи не гарантирует наличие скачиваемого файла;
• Зафиксировать правила идентичности сущностей. На текущем этапе — дисциплина тегов при enqueue; целевой контур — compound registry с соответствием `InChIKey ↔ internal id`;
• Версионировать `output_schema` и extractors для Vina, OpenFE, ADMET, Lilly, triage, nomination и MADD;
• Обеспечить читаемость старых артефактов после появления новых версий схем;
• Настроить происхождение между стадиями в формате OpenLineage `START / COMPLETE / FAIL` или эквиваленте;
• Реализовать audit exporter без создания второго журнала статусов рядом с оркестратором;
• Ввести QC артефактов. Объект в MinIO/S3 должен скачиваться и парситься; `completed` без файла должен завершаться явной ошибкой;
• Перевести downstream-получение входов на идентификаторы и `s3://`, исключив зависимость от локальных путей;
• Согласовать контракты схем через JSON Schema и YAML handoff, а также glossary научных метрик совместно с backend и R&D;
• Закрепить инварианты автоматизированными тестами и передать документацию внутренней команде

Что для нас важно:

• Уверенный Python;
• SQL и PostgreSQL, включая миграции и понимание Row-Level Security;
• Опыт построения пайплайнов, где объектное хранилище является source of truth;
• Практический опыт data contracts, schema evolution и lineage;
• Работа с файловыми и бинарными артефактами, а не только с таблицами DWH;
• Опыт проектирования устойчивой идентичности сущностей независимо от оркестратора;
• Умение фиксировать инварианты тестами и передавать решение внутренней команде

Будет ОГРОМНЫМ плюсом:

• Понимание семантики OpenLineage, Marquez или DataHub без привязки решения к конкретному бренду;
• Опыт MLOps или научных пайплайнов с артефактами: ClearML, MLflow, Flyte, Nextflow или Airflow;
• RDKit, SDF и Parquet, JSON Schema;
• Опыт on-prem или air-gap окружений

Результат первых 60–90 дней:

• Карта разрывов lineage на пути `enqueue → nomination`;
• Работающие инварианты «нет обязательных тегов — нет enqueue» и «нет файла — нет успешного завершения»;
• Версии extractors согласованы с `tools.manifest`;
• Принято решение по audit-событиям без появления второго source of truth;
• Зафиксирован контракт данных, не зависящий от API ClearML;
• Критичные инварианты покрыты тестами, документация передана внутренней команде

Вне скоупа:

• Интерпретация SAR и критерии nomination;
• SDTM/ADaM, SEND, ELN/LIMS, RWE и GLP system of record;
• GPU-очереди и выбор замены ClearML как workload manager;
• BFF и UI, кроме стыков по схемам, скачиванию и идентичности;
• Построение нового data lake или DWH

Почему Evrone:

• Мы занимаемся технически сложными, высоконагруженными, наукоёмкими проектами, проектами с большой бизнес логикой или большой серверной инфраструктурой. Нам доверяют: аналитику, проектирование интерфейсов и дизайн, разработку, инфраструктуру и эксплуатацию. Мы становимся технической командой проекта целиком или консультируем и расширяем возможности существующих команд наших клиентов.
• Кроме того, Evrone помогает развиваться сообществу разработчиков. Мы делаем самую большую в России конференцию по Ruby — RubyRussia, проводим технические митапы, делаем свой новостной дайджест, а также спонсируем и помогаем в проведении конференций по Go, Python, React/Vue и функциональным языкам.
• Наши инженеры выступают на ведущих конференциях России и Европы и вносят вклад в Open Source проекты, мы берем интервью у лидеров комьюнити и пишем статьи на самые горячие темы индустрии. В этом году мы ставили стенд и выступали на конференциях Highload и TeamLeadConf.
• Вся команда работает удаленно с 2008 года. Мы знаем как организовать распределенную разработку комфортно и эффективно. Есть офисы для работы и встреч в Москве и Воронеже, а также офисы продаж в Сан-Франциско и Берлине.

Что предлагаем:

• Удаленную фултайм работу и мягкий график. Достаточно синхронизировать тайм-зоны и иметь пересечения рабочего времени с командой;
• Качественный онбординг и hr-менеджмент (1:1, Grow Review). По желанию меняем проекты, не даем стагнировать. При формировании команды проекта учитываем профессиональные или личные интересы разработчиков;
• Работу в разновозрастном, разнополом и потрясающе дружном и профессиональном коллективе;
• Хорошо организованный воркфлоу, отсутствие бюрократии. Работа на доверии.
• Наши разработчики работают только над одним проектом. Без постоянных переключений между ними.

Одна из ценностей Evrone – работа с удовольствием.

Для этого мы придумали Evrone Benefits. Каждому из нас выделяется годовой бюджет, автоматически пополняемый каждый новый год вашей работы в Evrone. Его можно потратить на полезные категории трат, направленные на:

• ДМС и здоровье;
• Спорт и абонемент для фитнеса или инвентарь для спорта;
• Курсы иностранного языка;
• Техника для работы и улучшение рабочего места;
• Обучение: курсы, тренинги, мастер-классы, семинары, книги и конференции.

Бонусы и премии:

• Повышение зарплаты по мере роста компетенций (по результатам ассесмента);
• Премии за привлечение новых сотрудников и новых клиентов;
• Дополнительная премия за выступления на конференциях и митапах;
• У вас есть возможность принять участие в проведении технических интервью специалистов, которые могут стать вашими коллегами. Проведение интервью оплачивается.

Обучение и рост компетенций:

• Проводим митапы. Вы можете быть как и слушателем, так и спикером;
• У нас есть культура менторства. В повседневных задачах и планировании карьеры будет помогать наставник;
• Развивать профессиональный уровень можно с помощью системы ассессмента Evrone Challenge;
• Есть внутренняя библиотека с электронными книгами и записанными курсами;
• Работаем и дружим с западными заказчиками, есть возможность практиковать свой английский.

Возможность стать докладчиком или автором:

• Если вы хотите выступить на оффлайн конференции, мы поможем вам подготовить контент для доклада и сделаем крутые слайды. DevRel Evrone (Григорий Петров) поможет подготовиться к выступлению на конференции, окажем поддержку на самой конференции и подготовим материалы с вашим докладом.
• Если вы хотите выступить на онлайн конференции, помимо помощи по подготовке доклада и подбору конференции, мы организуем вам студийную съемку или трансляцию вашего доклада;
• У нас есть блоги на всех популярных платформах России и мира. Наши редакторы и профессиональные авторы еженедельно выпускают новые материалы;
• Если вы написали статью, мы нарисуем для нее иллюстрации и поможем вам ее оформить и опубликовать. Если у вас есть только идея - редакторы помогут сформулировать мысли, оформить пост самостоятельно и правильно опубликовать для максимального охвата.

Возможность прокачаться в Open Source:

• Если у вас есть популярные open source проекты – мы поможем с их продвижением и окажем поддержку в развитии;
• Если вы контрибьютите в популярные проекты с открытым исходным кодом, мы оплатим часы, которые вы на это потратили.
• Если вы ничего этого не делаете, но очень хочется начать – в Evrone есть менторы, которые помогут вам сделать первые шаги: подберут задачки для старта, помогут решить их и правильно оформить pr.

Отдых и развиртуализация:

Мы проводим ежегодный фестиваль Evrone Fest, на котором собирается вся наша команда, а также тематические встречи в различных городах. Поэтому, где бы вы ни находились, мы будем рады увидеться лично.

Мы ООО «Датаномика», собираем инженерные команды под задачи крупного бизнеса. 6+ лет на рынке, 160+ инженеров в штате, 45+ реализованных проектов в финсекторе, телекоме и ретейле. Развиваем шесть направлений экспертизы: высоконагруженные банковские системы, хранилища данных (DWH), генеративный ИИ, комплаенс-системы, кибербезопасность и импортозамещение софта. Аккредитованная ИТ-компания.

Сейчас у нас открыта вакансия Data-инженера в команду крупного российского Банка.

Что входит в задачи:

• Разработка и поддержка ядра репликации:
  • Проектирование и реализация высоконагруженных пайплайнов потоковой передачи данных из ERP-системы в КХД.
  • Разработка механизмов гарантированной доставки (at-least-once, exactly-once semantics) и обработки сбоев без потери целостности финансовых данных.
  • Оптимизация производительности потоков Kafka и Spark Streaming (управление партиционированием, сжатием, батчингом).
• Работа с витринами данных:
  • Разработка ETL/ELT-процессов трансформации модели данных Банка.
  • Написание сложных SQL-запросов, оконных функций и хранимых процедур для агрегации банковских метрик.
  • Поддержка актуальности витрин данных, оптимизация их переформирования при изменении источников
• Миграция данных (Data Migration):
  • Участие в проектах вывода из эксплуатации легаси-систем (включая исторические АБС).
  • Разработка утилит-перекладчиков для извлечения, очистки, обогащения и загрузки исторических массивов данных в новую модель с сохранением ссылочной целостности.
• Качество данных и мониторинг:
  • Внедрение автоматических проверок качества данных (Data Quality checks): профилирование, поиск дублей, проверка консистентности контрольных сумм.
  • Настройка мониторинга задержек репликации (lag) и алертинга через Prometheus/Grafana или аналоги.
• Взаимодействие: Работа по методологии Agile (Scrum/Kanban). Плотное взаимодействие с архитекторами DWH, администраторами БД PostgreSQL, владельцами продуктов (Product Owners) и аналитиками.
• AI-native: Опыт проектирования с использованием ИИ-инструментов (LLM, Промт-инжениринг, GIT c Агенты).

Технические навыки и инструменты:

• Язык программирования Java: уверенное владение Core, понимание многопоточности и принципов эффективной работы со стримами. Опыт промышленной разработки от 2 лет.
• Apache Spark: опыт разработки приложений на фрейморке Spark. Глубокое понимание архитектуры (драйверы, исполнители), управления памятью. Умение читать планы выполнения запросов (Explain plan).
• Apache Kafka: практический опыт настройки продюсеров и консьюмеров, идемпотентности и распределенных коммитов оффсетов.
• Базы данных и SQL: хороший уровень написания SQL (оконные функции, CTE, рекурсивные запросы). Опыт оптимизации тяжелых запросов через анализ планов исполнения. Желателен опыт работы с СУБД, Hive, Greenplum (приветствуется).
• Инструменты CI/CD и версионирования: Git (умение работать с ветками, разрешать конфликты, писать понятные мерж-реквесты), Maven, Docker. Базовое понимание Jenkins/GitLab CI для автоматизации сборки артефактов.
• Форматы данных: хорошеее понимание Avro (схема-на-лету, эволюция схем), Parquet (колоночное хранение, predicate pushdown).
• Легаси и миграция: опыт анализа чужого кода на PL/SQL; умение проектировать мэппинг полей между старой и новой моделями.

Мы предлагаем:

• Гибридный формат работы;

• Работа в аккредитованной ИТ-компании;
• Проекты в крупнейших банках и корпорациях — реальная нагрузка и масштаб (mission-critical системы, высоконагруженная обработка данных);
• Регулярное обучение и профильные конференции за счёт компании, современное оборудование;
• Официальная «белая» зарплата, оформление с первого рабочего дня, полное соблюдение ТК РФ;
• Интересные амбициозные задачи с достижимым результатом