Data Engineer (ETL-миграция) (Telegram)

Aston — аккредитованная аутсорсинговая IT-компания, работающая с 2007 года. Наш штат насчитывает 2500+ специалистов. Мы разрабатываем программное обеспечение и IT-решения в сферах Finance, Healthcare, eCommerce, IoT, Media, Big Data, ML и многом другом.

Предлагаем присоединиться в роли Data Engineer и работать над проектом заказчика.

Заказчик - крупнейший коммерческий банк страны, лидер по объему активов и цифровому развитию. Активно продвигает мобильные сервисы, ценит скорость, гибкость и неформальный подход внутри команд. Многократно отмечен престижными наградами, в том числе «Bank of the Year in Russia 2019» (The Banker) и «Best Mortgage Bank in CEE» (Global Finance).

Чем предстоит заниматься?

• реализовывать высоконагруженные конвейеры обработки данных для обеспечения надежной и бесперебойной репликации данных из ИТ-систем;
• реализовывать комплексные задачи по подготовке данных в целевых аналитических хранилищах (DataLake, SandBox, FeatureStore) для построения признаков, необходимых для разработки моделей машинного обучения;
• разрабатывать и поддерживать в актуальном состоянии документацию по разработанному функционалу;
• своевременно отражать статусы выполнения задач в Jira;
• проверять качество кода, написанного инженерами данных.

Чего мы ждем от специалиста?

• опыт работы в роли Data Engineer от 4-х лет;
• отличные знания Python: структуры данных и алгоритмов, ООП и функциональное программирование;
• опыт написания модульных и интеграционных тестов, знание и опыт применения NumPy, Pandas;
• опыт разработки и внедрения в промышленную эксплуатацию сервисов загрузки и обработки неструктурированных данных (текст, xml, json) из внешних источников;
• способность разобраться с API поставщиков данных, используя доступную документацию;
• отличное знание SQL: сложные запросы с использованием аналитических оконных функций, инструменты профилирования для оптимизации их производительности;
• опыт работы с БД Oracle, Postgres, Greenplum;
• опыт работы с инструментами разработки, планирования и мониторинга рабочих процессов (workflow engines) пакетной обработки данных Airflow;
• опыт разработки сложных, высоконагруженных приложений обработки данных на основе PySpark;
• опыт работы с Apache Kafka: продюсеры/консьюмеры на Python, consumer groups;
• опыт разработки сервисов потоковой обработки данных с использованием инструментов Spark Structured Streaming, Flink;
• опыт работы с Flink.

Что мы предлагаем?

• Хорошая зарплата: уровень обсуждается индивидуально, есть доплаты за менторство и профактивности.

• Развитие: долгосрочные проекты от российских заказчиков, возможность менять направления, прозрачная система Performance Review.

• Комфорт и свобода: релокейт между офисами, выбор формата работы (удалённо, офис, гибрид), адаптация для новых сотрудников.

• Обучение: доступ к корпоративному порталу, митапам, конференциям (и как гость, и как спикер).

• Социальный пакет: ДМС со стоматологией, частичная компенсация спорта, бесплатный английский, оплачиваемый отпуск и больничные.

• Корпоративная жизнь: тимбилдинги, детские праздники, внутренние мероприятия.

Наши офисы:

• Москва (ул. Вильгельма Пика, 11, БЦ «Ботаника», 13 эт., оф. 1310),

• Санкт-Петербург (Владимирский проспект, д. 23, 8 этаж),

• Казань (Н. Ершова, 76/1),

• Нижний Новгород (ул. Новая, 28, коворкинг "VMESTE").

• Ищем ведущего инженера, который возьмёт на себя действующую информационно-аналитическую систему AI SilkNet: сопровождение, перевод с Laravel на микросервисы Go, размещение на государственной облачной платформе QazTech и развитие новых модулей. Важно не только создавать новое, но и разобраться в уже созданной системе и аккуратно её развивать.

  Обязанности

  • Сопровождать действующую систему (Laravel, PHP, PostgreSQL) и обеспечивать её стабильную работу.

  • Завершить перевод системы на микросервисы Go: сверка поведения со старой версией, перенос данных, документирование.

  • Проектировать архитектуру, базы данных и модели данных; разрабатывать REST API.

  • Строить ETL/ELT-процессы: загрузка, очистка, нормализация, сопоставление и регулярное обновление научных, патентных и статистических данных.

  • Встраивать новые модули: патентная аналитика, AI-ассистент (совместно с AI/ML-инженером), кластеры KISTI, региональная аналитика.

  • Дорабатывать веб-интерфейс и аналитические дашборды.

  • Разместить систему на QazTech: контейнеризация, Kubernetes, CI/CD, DevSecOps, мониторинг, резервное копирование; подготовить документы для испытаний по ИБ и ввода в эксплуатацию; взаимодействовать с АО «НИТ».

• Ключевые требования

  • Опыт разработки и развития информационно-аналитических систем и web-приложений от 6 лет.

  • Уверенное владение Go и Python; современные backend-фреймворки.

  • Опыт работы с PHP/Laravel на уровне чтения и сопровождения чужого кода.

  • Уверенное владение SQL, PostgreSQL на глубоком уровне (схемы, индексы, производительность, миграции и репликация).

  • Опыт проектирования архитектуры приложений, баз данных и моделей данных; опыт миграции монолита в микросервисы.

  • Опыт разработки REST API и интеграции внешних информационных систем и источников данных.

  • Опыт построения процессов ETL/ELT и работы с большими и разнородными массивами структурированных и неструктурированных данных.

  • Понимание принципов полнотекстового и семантического поиска.

  • Docker, Kubernetes, Git, CI/CD в промышленной эксплуатации.

  • Опыт frontend-разработки на React / Next.js / TypeScript либо способность дорабатывать существующий web-интерфейс; навыки разработки дашбордов и визуализации данных.

  • Способность анализировать существующий код и архитектуру, документировать решения и развивать ранее созданную систему, а не только создавать продукт с нуля.

Social Discovery Group (SDG) is a group of social discovery companies. SDG solves the problems of loneliness, isolation, and disconnection - transforming virtual intimacy into the new normal. SDG’s products redefine the way people interact and connect with one another.

Our portfolio includes social entertainment platforms designed to connect people online across different cultures and regions of the world.

We bring together a team of like-minded people and IT professionals who specialize in creating and developing globally impactful social discovery products. Our international team of digital nomads works remotely from all over the world.

We’re proud to be a two-time “Great Place to Work” winner (USA & Japan, 2024–2025) and a Top-5 Company for Work-From-Anywhere Jobs (FlexJobs, 2025).

We are the Data Engineering team at SDG, looking for a Senior Data Engineer to strengthen our cloud expertise and help accelerate the migration of our on-premise MS SQL data warehouse to Google Cloud. You will work hands-on with the team on building and evolving our cloud data platform and migrating existing data products to the new architecture. After the migration is completed, you will remain part of the team, helping us develop new data products, improve the platform, and advance our engineering and AI automation practices.

Your main tasks will be:

- Migrate data products and analytical workloads from MS SQL Server to a modern cloud data platform.

- Analyze legacy SQL, ETL processes and business logic and redesign them for the target architecture.

- Build and maintain scalable batch data pipelines and analytical models.

- Validate migrated data, investigate discrepancies and ensure data quality.

- Work with analysts and business stakeholders to clarify requirements and business logic.

- Contribute to platform reliability, performance, cost optimization and engineering practices.

- Develop and improve AI-assisted engineering automation for Data Engineering workflows, including shared agent harnesses, specifications, reusable skills, evaluation frameworks and quality controls

We expect from you:

- Strong Data Engineering background with advanced SQL and relational databases.

- Strong hands-on experience with the GCP data stack (or any other Cloud), including deep practical knowledge of managed services such as BigQuery, Cloud Composer, and GCS.

- Experience building production ETL/ELT pipelines and analytical data models.

- Experience deploying, configuring and operating managed cloud data services, including workflow orchestration, managed/serverless compute and analytical warehouses.

- Strong Python skills (or another general-purpose programming language) and experience applying them across data engineering, platform automation, and analytical workloads.

- Good understanding of cloud infrastructure concepts: IAM, networking, monitoring, CI/CD and infrastructure configuration.

- Experience working with legacy data warehouses and complex business logic.

- Fluent Russian

What do we offer:

• REMOTE OPPORTUNITY to work full-time;
• The initial pay level or pay range for this role will be shared with candidates during the recruitment process and before the commencement of employment;
• Vacation 28 calendar days per year;
• 7 wellness days per year (time off) that can be used to deal with household issues, to lie down and recover without taking sick leave;
• Bonuses up to $5000 for recommending successful applicants for positions in the company;
• 50% payment for professional training, international conferences, and meetings;
• Corporate discount for English lessons;
• ​Health benefits. According to the paychecks, if you are not eligible for corporate medical insurance, the company will compensate you with up to $ 1,000 gross per year per employee. This can be spent on self-purchase of health insurance or on doctor’s fees for yourself and close relatives (spouse, children);
• ​Workplace organization. The company provides all employees with an equipped workplace and all the necessary equipment (table, armchair, wifi, etc.) in our offices or co-working locations. In the other locations, the company provides reimbursement of workplace costs up to $ 1000 gross once every 3 years, according to the paychecks. This money can be spent on the rent of the co-working room, on equipping the working place at home (desk, chair, Internet, etc.) during those 3 years;
• Internal gamified gratitude system: receive bonuses from colleagues and exchange them for our merchandise, team building activities, massage certificates, etc. 

Sounds good? Join us now!