Senior Product Analyst (AI направление)

🚀 Senior Product Analyst в MEDvidi (AI направление)

MEDvidi — продуктовая medtech-компания, которая трансформирует сферу психиатрической помощи на территории США, делая её более доступной и недорогой. Команда масштабирует AI-powered системы на критически важные части продукта — ищут аналитика, чтобы оценивать, мониторить и улучшать AI-агентов и LLM-воркфлоу в проде.

Задачи:

• Анализировать поведение AI-агентов, систем автоматизации и LLM-воркфлоу в продакшене;
• Работать с логами, диалогами, сырыми выходами системы и операционными датасетами для поиска паттернов и инсайтов;
• Разрабатывать подходы к оценке и аналитические фреймворки для измерения качества и надёжности AI-систем;
• Строить системы мониторинга и дашборды для отслеживания производительности AI;
• Выявлять операционные и продуктовые риски, привносимые автоматизацией;
• Тесно взаимодействовать с командами Product, Engineering, QA и Operations.

Требования:

• 3+ лет опыта в аналитических ролях, связанных с AI-системами, ML-продуктами или сложными production-системами;
• Уверенное владение Python для глубоких аналитических расследований и работы с большими текстовыми данными;
• Продвинутое знание SQL;
• Понимание ограничений LLM: галлюцинации, evaluation challenges, prompt sensitivity, model trade-offs и режимы сбоев;
• Опыт построения систем мониторинга, аналитических фреймворков или операционных дашбордов для production-систем;
• Свободное владение русским языком; английский B2+.

Будет плюсом:

• Опыт работы с conversational AI или AI-агентами;
• Опыт оценки выходов LLM или качества аннотаций;
• Знакомство с AI quality metrics и evaluation-методологиями;
• Опыт работы с Langchain-инфраструктурой;
• Опыт работы с ML data pipelines или генерацией синтетических данных;
• Понимание anomaly detection.

Условия:

• Полностью удалённая работа из любой точки мира (кроме РФ), долгосрочное B2B-сотрудничество;
• Вилка по ЗП до 5000$;
• Страховка после испытательного срока;
• Компенсация занятий спортом / 19 рабочих дней отпуска + 3 дополнительных дня велнес в год;

📎 Как откликнуться?

• Рекрутер: @SmartIt_recruiter

#product_analyst #senior #международка #MedTech