Эксперт дисциплины “Инфраструктура big data”
Мы - Центр педагогического дизайна и онлайн обучения Института дистанционного образования ТГУ . Создаем онлайн-магистратуры, являемся оператором проекта “Цифровые кафедры” в ТГУ — IT-программы для обучающихся любых специальностей.
национальный исследовательский томский государственный университет На сервисе с: 06.10.26 08:28
Мы - Центр педагогического дизайна и онлайн обучения Института дистанционного образования ТГУ. Создаем онлайн-магистратуры, являемся оператором проекта “Цифровые кафедры” в ТГУ — IT-программы для обучающихся любых специальностей.
Сейчас в рамках одной из наших флагманских онлайн-магистратур “Науки о данных” мы находимся в поиске эксперта-разработчика дисциплины “Инфраструктура big data”.
Основная задача курса – научить обучающихся строить надежную инфрастуктуру из Kafka, Spark и ClickHouse для сбора больших объемов данных и работы ML-моделей в реальном времени, а также дать теоретико-методологическую базу для обоснования архитектуры данных в ВКР.
Скиллсет дисциплины:
• развернуть в Docker и связать между собой главные инструменты работы с большими данными: Kafka, Spark, ClickHouse и Airflow
• настроить процессы получения, фильтрации и обработки данных в режиме реального времени
• строить пайплайны, которые автоматически собирают, очищают и передают терабайты данных в нейросети и ML-модели для прогнозов
• проектировать схемы таблиц, оптимизировать индексы и сжатие для сверхбыстрой записи и агрегации миллиардов записей временных рядов (ClickHouse)
• уметь объяснить выбор базы данных и схемы связей, опираясь на фундаментальные правила ИТ (CAP-теорему, принципы работы LSM-деревьев)
• описать, как система справляется с задержками данных, путаницей во времени событий и потерей пакетов
• применить методологию проверки системы на прочность (исследование задержек и пропускной способности инфраструктуры под стресс-нагрузкой)
Какие задачи ожидают:
-
Разработка педагогического сценария дисциплины в рамках существующей магистратуры, в соответствии с заданными компетенциями, задачами, объемом (в согласовании с педагогическим дизайнером), с отчуждением авторских прав в пользу ТГУ.
-
Разработка лонгридов, сценариев видеоконтента, презентаций и аннотаций к лекциям, заданий; подбор дополнительных учебных материалов и списка литературы.
-
Составление рабочей программы дисциплины и оценочных материалов.
-
Запись видеоконтента в студии ИДО или скринкаста при удаленной работе.
- Проведение вебинаров (синхронных занятий) с обучающимся в удаленном формате. Вебинары проходят в вечернее время в будние дни и по субботам – есть возможность выбрать подходящее время.
- Поддержание коммуникации с обучающимся в рабочем пространстве.
Требования:
-
Высшее образование (обязательно).
-
Опыт работы с высоконагруженными распределенными системами и потоковой обработкой в реальном времени.
-
Практический опыт создания, развертывания и масштабирования Big Data платформ с нуля.
-
Экспертное владение инструментами анализа данных: вычисления и обработка данных.
-
Опыт преподавания, разработки учебных программ и материалов и проведения вебинаров приветствуется.
-
Договор о создании произведения (онлайн-курса) с отчуждением авторских прав.
-
Удаленный формат работы.
-
Заработная плата обсуждается индивидуально.
Почему стоит откликнуться:
Томский государственный университет – это бренд с более чем вековой историей, ведущий вуз с высокими стандартами качества. У нас вы найдете поддержку и возможности для профессионального роста, которые помогут раскрыть ваш потенциал.
Работая с нами, Вы будете частью команды, которая формирует будущее образования в России!
Похожие вакансии Data Engineer
Head of DWH
🏢 Компания: ggsel
💰 ЗП: по договоренности
🌍 Формат: удалённая работа, из любой точки мира
🕒 Занятость: полная занятость, полный рабочий день
О компании:
Гgsel — маркетплейс цифровых товаров (игровые ключи, аккаунты, карты пополнения, подписки). На рынке с 2017 года, более 6 млн пользователей в месяц и рост в 4 раза за последний год. Сейчас продукт проходит трансформацию и компания масштабируется с целью выхода на международный рынок.
Задачи:
• Формирование и защита стратегии развития DWH на 1–3 года: масштабирование, миграции и внедрение новых технологий.
• Управление командой инженеров данных: найм, постановка задач, code review, performance review и развитие культуры данных.
• Взаимодействие с бизнесом: сбор и приоритизация требований, согласование data contracts, презентация roadmap и защита инициатив перед руководством.
Требования:
• Опыт работы от 5 лет и опыт управления командой инженеров данных.
• Глубокие знания ClickHouse: проектирование схем, оптимизация запросов, администрирование кластера и backup/restore.
• Опыт с оркестрацией и трансформацией данных: Airflow, dbt; построение DQ, мониторинга и data contracts.
• Владение Python и экспертный уровень SQL.
• Опыт с инфраструктурой и DevOps-инструментами: Docker, Git, CI/CD, Terraform/Ansible, мониторинг (Prometheus, Grafana).
• Навыки roadmap-планирования, бюджетирования и стейкхолдер-менеджмента; понимание data governance и compliance.
Стек:
ClickHouse, SQL, Python, Airflow, dbt, PostgreSQL, Docker, Git, Terraform/Ansible, Prometheus, Grafana
Условия:
• Удалённая работа из любой точки мира.
• Конкурентная зарплата + performance премия 2 раза в год.
• Гибкий график, оплата обучения, курсов и конференций.
• Возможность реально влиять на продукт и команду.
📩 ••••••••
Привет! На связи ggsel 💚
Мы ищем Head of DWH - лидера, который сочетает глубокую техническую экспертизу в DWH/ClickHouse, архитектурное мышление и управленческие навыки.
Стек: ClickHouse, SQL, Python, Airflow, dbt, PostgreSQL, Docker, Git.
✅ Ключевые требования и задачи
- ClickHouse - основная экспертиза: проектирование MergeTree, партиционирование, TTL, оптимизация запросов, шардирование/репликация, бэкапы в S3.
- ETL/ELT и оркестрация: Airflow, dbt, data quality, тесты, мониторинг свежести данных, data contracts.
- Управление командой: найм, онбординг, развитие, performance review, процессы разработки, roadmap, OKR, бюджет.
- Бизнес и Data Governance: сбор требований, приоритизация, коммуникация с C-level, каталог данных, lineage, GDPR/152-ФЗ, разграничение доступа.
✅ Условия
- Удаленная работа из любой точки мира.
- Конкурентная зарплата + performance премия 2 раза в год.
- Гибкий график и фокус на результат.
- Оплата обучения, курсов и конференций.
- Возможность реально влиять на продукт и команду.
Узнать подробности и оставить отклик можно на нашем корпоративном портале
➡️ https://lnkd.in/euePmH7n
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.