Data Engineer

About the role

At ClickHouse, we believe in making product decisions grounded in data, not gut feelings. To support that, we've built a comprehensive internal data warehouse — read more about it on our blog. It powers analytics, forecasting, and decision-making across every team in the company.

Our stack centers on ClickHouse as the core storage and processing engine, complemented by dbt, Airflow, S3, AWS, Superset, and GitHub Actions. We ingest data from 30+ distinct external sources, process over 2.5 PB of data, and deliver most data marts to business consumers with a 1-hour end-to-end latency - a standard that demands highly optimized, rock-solid transformation pipelines.

We're looking for a Senior Data Engineer to help evolve the DWH platform, push its technical boundaries, and deliver reliable, high-performance data models to business users across the organization.

Key Responsibilities

1. DWH Platform Development

   • Design and develop reusable Airflow components - operators, connectors, and hooks - along with custom integrations tailored to our data architecture.

   • Build reusable dbt macros and abstractions: incremental strategies, ETL building blocks, and generic data quality tests, all optimized for ClickHouse-specific behavior and our data patterns.

   • Develop DataOps tooling - CI pipelines, data migration frameworks, and security controls - with a strong focus on reliability, self-service usability, and scale.

2. Team contributions

   • Conduct thorough code reviews for team members and other team contributors.

   • Actively participate in technical and architectural design discussions.

   • Drive technical leadership in specific areas of our stack.

   • Continuously improve the team's development environment, with a focus on automation - including AI-assisted workflows.

   • Contribute to platform stability through proactive troubleshooting and timely incident resolution.

3. Data modeling

   • Develop, refactor, and optimize business data models in line with our modeling standards and ClickHouse best practices.

   • Mentor and support contributors through code reviews and technical guidance.

   • Lead the design and implementation of the most technically demanding data marts - particularly those involving high data velocity, large volumes, or complex business logic.

Qualifications

Required:

• Exceptional SQL skills - this is non-negotiable.

• Strong hands-on experience with Airflow, dbt, and Python.

• Proven track record building and optimizing large-scale, high-throughput data pipelines.

• Solid understanding of data warehousing fundamentals: ETL/ELT, dimensional modeling, and data quality.

• Bachelor's degree in Computer Science or a related field.

• Comfortable thriving in a fast-paced startup environment — exciting and dynamic, but sometimes wonderfully chaotic.

Preferred:

• Hands-on experience with ClickHouse - a significant advantage.

• Familiarity with AWS or other cloud platforms.

• Experience with CI/CD development, especially using GitHub Actions.

Perks

• Flexible work environment - ClickHouse is a globally distributed company and remote-friendly. We currently operate in over 25 countries.

• Healthcare - Employer contributions towards your healthcare.

• Equity in the company - Every new eligible team member who joins our company receives equity.

• Time off - Flexible time off in the US, generous entitlement in other countries.

• A USD$500 Home office setup if you’re a remote employee.

• Global Gatherings – We believe in the power of in-person connection and offer opportunities to engage with colleagues at company-wide offsites.

Culture - We All Shape It

As part of a rapidly scaling start-up, you will be instrumental in shaping our culture.

Are you interested in finding out more about our culture? Learn more about our values here. Check out our blog posts or follow us on LinkedIn to find out more about what’s happening at ClickHouse.

Equal Opportunity & Privacy

ClickHouse provides equal employment opportunities to all employees and applicants and prohibits discrimination and harassment of any type based on factors such as race, color, religion, age, sex, national origin, disability status, genetics, protected veteran status, sexual orientation, gender identity or expression, or any other characteristic protected by federal, state or local laws.

Please see here for our Privacy Statement.

Data engineer #алматы

#FreedomHolding

#3п от 1,2 млн и выше

#tg @kzk888 Обязанности

- Разработка и сопровождение ETL/ELT-пайплайнов на Python и Apache Airflow.

- Разработка и оптимизация SQL-запросов в Greenplum.

- Построение потоковой обработки данных с использованием Apache Kafka.

- Интеграция данных из различных источников: БД, REST API, файловые системы.

- Разработка REST API и микросервисов на FastAPI.

- Проектирование структур данных, витрин и моделей хранения в DWH.

- Оптимизация производительности загрузки и обработки больших объёмов данных.

- Настройка мониторинга, логирования и обработки ошибок в пайплайнах.

- Обеспечение качества, целостности и актуальности данных.

Требования

- Опыт работы Data Engineer от 3 лет.

- Уверенное знание Python (обработка данных, интеграции, автоматизация).

- Продвинутый SQL: сложные запросы, оконные функции, CTE, оптимизация.

- Практический опыт работы с Greenplum или PostgreSQL.

- Опыт разработки DAG в Apache Airflow.

- Понимание принципов работы Apache Kafka: topics, partitions, consumer groups, offsets.

- Опыт разработки REST API на FastAPI.

- Понимание архитектуры DWH, ETL/ELT и принципов построения Data Pipelines.

- Опыт работы с Git и Linux. Мы предлагаем:

ДМС

Внешнее обучение

Компенсация за фитнес

Скидки, бонусы от компаний входящих в холдинг

Мы разрабатываем аналитические системы на базе единой платформы, которые позволяют безопасно работать с данными независимо от их формата, метода хранения и эксплуатации. Платформа основана на концепции Infrastructure as Code (IAC) и состоит из нескольких независимых программных продуктов и сервисов на базе Scala и Kubernetes. Она обеспечивает высокий уровень потоковой обработки и хранения данных, управления доступом и метаданными, а также контролем их использования в периметре частных облачных сред.

Основные задачи:

• Реализация процессов загрузки данных на платформу из различных источников (s3, hdfs, samba, sftp) в различных форматах (csv, parquet, json, xml) в разные точки назначения (scylla, postgres, opensearch, clickhouse, nebula)
• Определение и согласование нефункциональных требований к процессам построения витрин
• Декомпозиция задач, оценка сроков выполнения
• Выполнение Code review и контроль правильности реализации принятых технических решений
• Участие в процессе автоматизации SDLC с помощью LLM

Технологический стек:

• Хранение и обработка данных: Scylla, S3, Kafka, Spark, Nifi, Airflow, PostgreSQL, Clickhouse, Opensearch
• Мониторинг и логирование: Grafana, Victoria Metrics, Prometheus
• Прочие технологии и фреймворки: Docker, Kubernetes(Openshift), Helmwave, ScalaTest, GitlabCI, Typelevel (Cats Effect, Circe, Doobie, Weaver)

Наши ожидания:

• Опыт работы по специальности от 3 лет
• Опыт разработки на Scala от 2 лет
• Знание особенностей реализации различных алгоритмов и структур данных
• Опыт работы в команде

Что мы предлагаем:

Здоровье и спорт:

• ДМС со стоматологией
• Корпоративные скидки в сети фитнес-клубов World Class
• Корпоративный тариф на абонементы FITMOST
• Программа корпоративных скидок Best Benefits – на спорт и не только
• Спортивные мероприятия (турниры по футболу, волейболу, киберспорт, забеги, шахматы)

Обучение и развитие:

• Курсы английского языка, в том числе с носителем языка
• Сообщества по интересам: вместе читаем книги, ходим на интересные мероприятия и делимся маршрутами путешествий
• Внешние профессиональные курсы и конференции, сертифицированное обучение, которые вы выбираете сами
• Профильные митапы – организовываем, проводим и принимаем участие
• Билеты со скидкой в Музей криптографии для сотрудников и их семей

А также:

• Работа в офисе или в гибридном формате
• Комфортные офисы в Москве, Санкт-Петербурге и Нижнем Новгороде с кофе-поинтами и разнообразными снеками каждый день
• Насыщенные и яркие корпоративные праздники
• Классный мерч