Технический аналитик на LLM-Router (экономика и качество LLM API)

Сбер в поисках Руководителя направления аналитики (Центр сопровождения гос. продуктов и платежных сервисов)

Обязанности

• управление доходами и расходами центра: формирование тарифной модели, понимание структуры и состав плат, формирование предложений по их снижению
• управление стоимостью и эффективностью сервиса: понимание методики формирования стоимости, формирование предложений по снижению стоимости, в том числе за счёт новых технологий
• построение системного подхода в формировании прогнозов входящего потока и повышения их точности
• управление нагрузкой на процессах.

Требования

• высшее образование (математическое, техническое, экономическое, анализ данных)
• опыт работы в аналитике от 3 лет, из них от 1 года — управление командой аналитиков
• продвинутый SQL: сложные запросы, оптимизация, большие объёмы данных
• Python или R для анализа (Pandas, NumPy, Scikit-learn; R — аналогично)
• BI-инструмент: Tableau / Power BI / Qlik Sense (дашборды, метрики, автоотчётность)
• СУБД: PostgreSQL, MySQL, Oracle; плюсом — Hadoop, Spark
• статистика: A/B-тесты, регрессионный и кластерный анализ, cohort-анализ, предиктивные модели, LTV, сегментация
• регулярно использует LLM-инструменты в повседневной работе

личные качества:

• умение доносить сложное простым языком
• умение мотивировать, делегировать , задать структуру и процесс, добиться управленческого качества результата, а не просто корректных цифр и отвечать за результат
• проактивность: находит проблемы и выносит инициативы, не дожидаясь запроса
• устойчивость к неопределённости и быстрая адаптация
• приоритизация задач и управление временем
• опыт работы с ИИ инструментами.

Условия

• официальное трудоустройство
• работа в крупнейшем банке России
• формат дохода: оклад + годовая премия
• расширенный ДМС с первого дня и льготное страхование для близких
• подписка Прайм с возможностью совместного использования на трёх близких
• корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ.

• Образование: Высшее образование по направлениям: информационные технологии, прикладная математика и статистика, экономика (анализ данных). Дополнительное образование в области Data Science / искусственного интеллекта — преимущество.

• Стаж работы: Не менее 1 года трудового стажа в сфере информационных технологий, цифровизации или аналитики данных.

• Сфера работы: Цифровизация, аналитика данных и отчётность, искусственный интеллект и автоматизация бизнес-процессов.

• высшее техническое, математическое, экономическое или IT-образование;
• обязательные практические навыки программирования на Python и/или Delphi;
• практические навыки анализа данных и автоматизации;
• умение эффективно работать с нейросетями и проверять полученные результаты;
• умение работать с таблицами, базами данных и средствами визуализации;
• внимательность к качеству данных и достоверности расчётов.

• Опыт работы в промышленности или железнодорожной отрасли будет преимуществом.

Ключевые навыки:

• Понимание технологий искусственного интеллекта и машинного обучения.
• Уверенное практическое владение современными ИИ-инструментами (ChatGPT, Claude, Gemini, Copilot, средства автоматизации типа n8n/Make), навыки составления эффективных промптов и встраивания ИИ-инструментов в ежедневные рабочие процессы подразделения.
• Работа с данными: SQL (базовый или средний уровень), Excel на продвинутом уровне, Power BI или Tableau; построение дашбордов и управленческой отчётности; понимание принципов ETL, хранилищ данных (DWH) и витрин данных.
• Навыки программирования не являются обязательными, однако необходимо понимать логику работы программного обеспечения, API и интеграций, читать техническую документацию и самостоятельно формировать технические задания.
• Описание и моделирование бизнес-процессов (BPMN), подготовка функциональных требований, пользовательских сценариев и участие в приёмочном тестировании.
• Аналитическое мышление, внимание к деталям, умение структурировать большие объёмы информации и работать в команде.
• сбор, очистка, проверка и анализ производственных данных;
• создание аналитических панелей, расчётных моделей и цифровых двойников;
• автоматизация обработки данных и отчётности;
• анализ производственных процессов, отказов, ремонтов и загрузки мощностей;
• применение нейросетей для анализа данных, автоматизации и разработки цифровых решений;
• тестирование разработок и подготовка понятных материалов для пользователей.

Обязанности:

• Подготовка технических заданий и функциональных требований для ИТ-подразделений и вендоров, согласование архитектуры решений.
• Участие в разработке, тестировании и внедрении моделей и сервисов на базе искусственного интеллекта и аналитики данных.
• Построение и сопровождение аналитических отчётов и дашбордов.
• Контроль качества данных, участие в развитии хранилища данных и витрин отчётности.
• Подготовка отчётов о ходе реализации цифровых проектов и предложений по повышению их эффективности.

Условия:

• официальное трудоустройство по ТК РФ;
• своевременная з/п, аванс;
• полный соц. пакет;
• санаторно-курортное лечение для сотрудников и путевки в детские лагеря для детей сотрудников;
• компенсация ж/д и авиа билетов по РФ 1 раз в год для Вас и вашей семьи.

We're Osome - an international fintech startup making the lives of entrepreneurs easier. We help thousands of businesses kick admin, accounting and bookkeeping out of their day-to-day, so they can spend more time on what's important to them. We've developed a unique solution that combines SaaS with a human-in-the-loop approach to provide full-fledged services in real-time.

We're experiencing tremendous growth in both clients and team members. We have over 500 people in our global offices. We're looking for more bright minds who'd love to change the world by solving complex problems.

About the role:

As Product Analyst – Intelligence, you’ll help Osome understand how well our AI-powered features and agents perform, where they fall short, and how they improve customer and operational outcomes.

You’ll partner with Product, Engineering, and Operations to turn product usage, AI outputs, and human feedback into clear recommendations. Your work will span product analytics, AI evaluation, and experimentation, using our data stack: dbt, BigQuery, Spectacles, and Looker.

What you'll do:

• Define and track metrics for AI-powered features, including adoption, task completion, output accuracy, human intervention, response time, and cost per completed task.

• Analyse AI outputs, product usage, and user feedback to identify failure patterns, explain changes in performance, and recommend improvements to the Intelligence team.

• Build and maintain dashboards in Looker to monitor AI quality, customer experience, and operational impact, including time saved, rework, and escalations.

• Partner with Product and Engineering to define tracking events, validate instrumentation, and maintain reliable datasets that connect AI activity to product and business outcomes.

• Work with domain experts to build and maintain evaluation datasets, scoring criteria, and human-review processes; check that automated evaluation scores reflect real-world quality.

• Design and analyse experiments to compare changes to prompts, models, and workflows, measuring quality improvements alongside cost, speed, and customer outcomes.

• Communicate findings clearly and help the team define launch criteria, monitor performance after release, and prioritise opportunities for reliable automation.

Who you are:

• A degree in a quantitative discipline, or equivalent practical experience in analytics.

• Proven experience in product analytics or a similar analytical role, with examples of insights that influenced product decisions.

• Advanced SQL skills and experience working with complex datasets, data quality checks, and BI dashboards.

• Strong grounding in statistics and experimentation, including defining success metrics, interpreting results, and explaining uncertainty.

• Ability to turn ambiguous product questions into measurable analyses and communicate practical recommendations to technical and non-technical stakeholders.

• Familiarity with AI/LLM products and their evaluation challenges, including variable outputs, incorrect answers, and the need for human review.

Nice to have:

• Python skills for data analysis, working with APIs, or automating evaluation workflows.

• Hands-on experience analysing AI-powered features, building evaluation datasets, or using LLM evaluation and observability tools.

• Experience with dbt, BigQuery, Looker, Amplitude, or similar tools.

• Experience in fintech, accounting, or operational automation, and handling sensitive data responsibly.