Middle / Senior Data Engineer (Python)

Domclick.ru - единственный в России продукт, обеспечивающий полный цикл операций с недвижимостью. Доступен на всех популярных платформах (Web, iOS, Android). Решаем любые вопросы с недвижимостью, делая сложное простым, с заботой о каждом клиенте. Мы ищем единомышленников, чтобы вместе помогать людям исполнять мечту о собственном жилье.

Проект:

Мы - платформенная команда, и не занимаемся построением отчетов. Вместо этого мы разрабатываем базовый слой данных, который используется конечными потребителями.

Наш стек:

Python, PostgreSQL, Airflow, Trino, Greenplum, Clickhouse, Kafka, RabbitMQ, Go, K8s.

Чем предстоит заниматься:

• построением базового слоя витрин данных с применением SQL и Python;
• развивать и улучшать существующие продукты и сервисы;
• участвовать в проработке и реализации интеграций с другими сервисами и командами (кстати, у нас полностью микросервисная архитектура);
• обеспечивать высокое качество кода и улучшать процессы в своей команде;
• участвовать в развитии инфраструктурных решений для работы с big data.

От вас мы ожидаем:

• экспертное знание SQL;
• продвинутый уровень Python;
• навык оптимизации запросов;
• понимание особенностей работы с различными хранилищами данных: PostgreSQL, Greenplum, Clickhouse;
• владение архитектурой данных.

Будет плюсом:

• опыт работы с Airflow, Trino, Superset, k8s;
• опыт построения аналитического хранилища данных.

Мы предлагаем:

• работу в аккредитованной IT компании;
• конкурентную заработную плату;
• полис ДМС с первого месяца работы;
• современную технику для работы;
• корпоративный университет, онлайн-курсы для повышения квалификации, конференции, митапы;
• фитнес-зал в здании офиса;
• льготную программу ипотеки для сотрудников;
• комфортный офис класса А в 5 минутах от станции метро и МЦК Кутузовская;
• гибкое начало рабочего дня и возможность работать в гибридном или удаленном формате в пределах РФ.

Ozon Банк расширяется, поэтому мы ищем Старшего дата-инженера в команду платформы данных. Специалисты автоматизируют ETL-процессы, разрабатывают компонентные решения для аналитиков и внедряют новые инструменты работы с данными.

Всё это необходимо, чтобы правильно и быстро реагировать на изменяющиеся потребности бизнеса, оптимизировать процессы и создавать мощную основу для принятия стратегических решений.

Наш стек: Python, Airflow, ClickHouse, PostgreSQL, Vertica, Kafka, S3, Spark, Hadoop, FastAPI, Flask, Kubernetes, Helm, Superset, Prometheus, Grafana, GitLab, Jira, Confluence.

Вам предстоит:

• Разрабатывать инструменты доставки данных.

• Проектировать и реализовывать фабрики пайплайнов.

• Обновлять актуальные данные и следить за их своевременным поступлением.

• Строить систему качества данных.

• Обучать аналитиков и дата-сайентистов современным практикам работы с данными.

• Настраивать и поддерживать системы мониторинга и алертинга.

Для нас важно, что вы:

• Более 3 лет работаете на языке Python.

• Более 3 лет работаете дата-инженером — знаете Apache Spark (PySpark), понимаете принципы работы СУБД и умеете оптимизировать запросы.

• Знаете, как работать с ClickHouse, PostgreSQL, Vertica.

• Понимаете принципы работы хранилища данных.

• Умеете писать компоненты Airflow.

• Поддерживаете порядок в коде, Git и документации.

• Тестируете свои решения при помощи Pytest.

• Умеете и любите быстро учиться, сразу применяете новые знания, можете самостоятельно находить ответы на сложные вопросы.

• Имеете высшее техническое образование.

Будет плюсом, если вы:

• Умеете работать с Kubernetes, Prometheus, Superset, Helm, FastAPI, Flask.

• Имеете опыт общения с аналитиками и дата-сайентистами.