AI Call Quality Analyst
A stealth-mode AI-powered Cloud-Native Health-Tech company is looking for an AI Call Quality Analyst.
трт · На сервисе с: 06.08.26 17:17
A stealth-mode AI-powered Cloud-Native Health-Tech company is looking for an AI Call Quality Analyst.
The Business Domain revolves around providing Better Care for the US Patients; meaning, it’s about Treating Patients well. The company was founded more than five years ago.
It’s not vaporware, their platform supports US Physician Networks (IPAs) by enabling Smarter, Risk-Adjusted, and more Predictive Care that improves real patient outcomes.
Compensation and Benefits:
Paid Time Off
The company has Unlimited PTOs Policy and compensated New Years Holidays on top of that. The misuse of the policy isn’t welcomed, though it’s definitely possible to take at least two weeks – and fully compensated – vacation, or more.
Corporate Hardware
The company provides Corporate Hardware for employees who completed their Probationary Period, as well as proven their value.
Means of Communication
We use Google Workspace, Slack, Zoom, and similar collaboration tools for messaging, meetings, and document sharing across the organization. We don’t use Microsoft Outlook, Microsoft Team and similar software.
Cloud-Native
There’s real ability to make most solutions in a Cloud-Native and Third-Party Integrations manner, rarely spinning something self-hosted (e.g., over GKE). Fully Serverless Approach, based on Cloud Functions and Cloud Run is definitely not welcomed.
Team Building
The company partially compensates Team Building events, when multiple teammates are located in nearby countries.
Responsibilities
Own the quality of our AI-driven patient communications - define what "good" means, catch where it breaks, and drive the fixes across the agent, the flow, and the checks.
Key Focus Areas
-
Conversation QA: review AI voice/chat interactions and score them against a defined behavioural rubric.
-
Evaluation & monitoring: own the automated checks and the human review loop; keep the quality signal trustworthy.
-
Continuous improvement: turn findings into concrete changes to the agent, the conversation flow, and the test suite.
What You'll Own:
-
Define and maintain the quality rubric - the behavioural checks (off-script, hallucination, resolution, emergency handling, "cringe"/weird behaviour) and their pass/fail criteria.
-
Monitor production calls - review a smart sample, run human annotation, and measure & correct the drift of the automated LLM judge.
-
Root-cause and route every defect - decide whether it belongs to the agent prompt, the conversation flow, the data pipeline, or the telephony config.
-
Drive fixes with the AI team - bring prioritized, reproducible findings to engineers, propose the prompt change where the defect sits in a prompt, and add regression/autotest cases before each release.
-
Align changes with the business - agree flow and script changes with clinical/ops stakeholders, balancing patient experience, compliance, and outcomes.
-
Report quality in plain language - trends, dashboards, and release-readiness calls for non-technical stakeholders.
Required Experience:
-
3+ years in QA / quality analysis of customer communications (contact-center, CX, or conversational AI) - monitoring and scoring live interactions against rubrics, giving actionablefeedback, and owning it through to verified implementation (not just reporting – confirming the fix shipped and worked).
-
Experience running an evaluation loop for LLM/agent quality - LLM-as-a-judge, human annotation, regression on golden sets. Comfortable reading transcripts and structured logs (JSON) and using basic SQL / data literacy to slice metrics.
-
Hands-on prompt engineering - writing, versioning and iterating production prompts: system prompts for LLM voice/chat agents, and evaluator prompts for LLM-as-a-judge checks.
-
Hands-on experience evaluating voice and/or chat AI agents (RetellAI or similar LLM-agent platforms). Practical understanding of conversation flows, intents, and failure modes - barge-in, ASR/TTS errors, voicemail handling, escalation and fallback paths.
-
Strong analytical and communication skills - translate technical findings into business impact and back and own the quality bar across teams without formal authority (bridge business ↔ AI team).
-
Experience in Healthcare, Health-Tech, and MedTech is a major advantage
Languages
-
English - C1 or higher; ability to present work and lead discussions with US-based teammates, customers, and stakeholders.
-
Fluent Russian for collaboration with Russian-speaking teammates.
-
Spanish - a plus; our patients are served in English and Spanish.
Компания, занимающаяся разработкой облачных технологий для здравоохранения на базе искусственного интеллекта, ищет талантливого AI Call Quality Analyst для долгосрочного сотрудничества. Это не виртуальный продукт: их платформа поддерживает сети врачей (IPA), обеспечивая более интеллектуальное, адаптированное к рискам и прогнозируемое лечение, которое улучшает реальные результаты лечения пациентов.
Вы присоединитесь к международной команде первоклассных профессионалов, которые с энтузиазмом создают продукты, улучшающие качество медицинских услуг.
Обязанности
Отвечать за качество наших коммуникаций с пациентами, основанных на ИИ — определять, что означает «хорошее качество», выявлять нарушения и обеспечивать внедрение исправлений на уровне оператора, сценария взаимодействия и контрольных механизмов.
Ключевые направления работы
-
Контроль качества диалогов: анализировать голосовые и текстовые взаимодействия с ИИ и оценивать их по установленным критериям поведения.
-
Оценка и мониторинг: отвечать за автоматизированные проверки и цикл проверки людьми; обеспечивать достоверность показателей качества.
-
Непрерывное совершенствование: преобразование выявленных проблем в конкретные изменения, затрагивающие агента, хода диалога и набора тестов.
Похожие вакансии Автоматизация тестирования
- Разработка и поддержка автоматизированных тестов на Python
- Автоматизация управления конфигурацией системы обработки трафика
- Написание тестовых скриптов для генерации/воспроизведения мобильного трафика, валидация соответствия трафика спецификациям 3GPP
- Нагрузочное тестирование системы обработки мобильного трафика: выявление узких мест (в том числе связанных с оборудованием)
- Разработка и поддержка веб-интерфейса для конфигурирования и мониторинга системы (FastAPI/JS)
- Интеграция тестов в CI/CD
- Взаимодействие с разработчиками: воспроизведение, диагностика, локализация дефектов
Стек:
- Языки: Python (pytest), Bash, C/C++ (чтение кода), HTML/CSS/JS (базовое)
- Тестирование телекоммуникационных систем: протоколы 3GPP (GTP, S1AP, RANAP, RRC, X2AP), сбор и анализ трафика (scapy, tshark, pcap)
- Производительность и системная инженерия: устройство Linux, NUMA, DPDK, eBPF (bpftrace), инструменты профилирования (perf, sysstat)
- Автоматизация и CI/CD: GitLab CI, Ansible, написание и поддержка автотестов на базе pytest
- Мониторинг: Prometheus, node_exporter, Grafana
- API и интерфейсы: FastAPI (REST API), интеграция с фронтендом (HTML/CSS/JS на уровне понимания)
- Доменные знания: высоконагруженные системы (>10 млн пакетов в секунду), ядро мобильной сети (2G–4G)
- Опыт автоматизации тестирования от 3 лет, с акцентом на системное/тестирование высоконагруженных систем
- Опыт написания скриптов на Python и Bash (работа с pcap, CLI-командами, управление сетью, SSH)
- Умение анализировать pcap-файлы, валидировать соответствие протоколам (3GPP и др.)
- Знание тест-фреймворков: pytest, контекстные фикстуры, параметризованные тесты
- Глубокое знание Linux: файловая система, процессы/потоки, сеть (TCP/IP, NUMA, PCI/PCIe), мониторинг (sysstat, eBPF, perf)
- Понимание аппаратной платформы: NUMA-распределение, DPDK, сетевые карты Intel X710, irq affinity, DMA, влияние CPU-топологии на latency
- Навыки работы с метриками: сбор (prometheus/node_exporter), анализ (p95/p99 latency, throughput, context switches)
- Опыт разработки веб-интерфейсов на Python/JS (FastAPI, Flask или аналогичные): создание REST API, обработка HTTP-запросов, интеграция с фронтендом (HTML/CSS/JS — базовое понимание)
- Опыт с CI/CD-инструментами (GitLab CI/Jenkins), интеграция тестов в pipeline
- Английский язык — B1 (чтение спецификаций, технической документации)
Что мы предлагаем:
Здоровье и спорт:
- ДМС + стоматология
- Корпоративные скидки в фитнес-клуб World Class
- Корпоративный тариф на абонементы FITMOST
- Программа корпоративных скидок Best Benefits – на спорт и не только
- Спортивные мероприятия (турниры по футболу, волейболу, киберспорт, забеги, шахматы)
Обучение и развитие:
- Курсы английского языка, в том числе с носителем языка
- Сообщества по интересам: вместе читаем книги, ходим на интересные мероприятия и делимся маршрутами путешествий
- Внешние профессиональные курсы и конференции, сертифицированное обучение, которые вы выбираете сами
- Профильные митапы – организовываем, проводим и принимаем участие
- Билеты со скидкой в Музей криптографии для сотрудников и их семей
А также:
- Комфортный офис в Москве с кофе-поинтами и разнообразными снеками
- Насыщенные и яркие корпоративные праздники
- Классный мерч
Aston — аккредитованная аутсорсинговая IT-компания, работающая с 2007 года. Наш штат насчитывает 2500+ специалистов. Мы разрабатываем программное обеспечение и IT-решения в сферах Finance, Healthcare, eCommerce, IoT, Media, Big Data, ML и многом другом.
Предлагаем присоединиться в роли QA Automation Engineer (Java) и работать над проектом заказчика.
Заказчик — Компания развивает продукты, которые помогают клиенту ориентироваться в брокерском бизнесе и получать аналитику по рынку.
Привлекает клиентов в активные инвестиции, обучает их инвестиционно-финансовой грамотности.
А также рассказывает клиентам о новых услугах и акциях в брокерской деятельности.
Почему это будет интересно?
- возможность работать над задачами для крупнейшего банка, применять свои знания и развивать экспертизу;
- современный стек технологий.
Чего мы ждем от специалиста?
- опыт работы в роли QA Automation Engineer (Java) от 1,6 года;
- опыт автоматизации тестирования (Стек - Java, JUnit, RestAssured, Allure);
- опыт ручного функционального тестирования микросервисов и интеграций (REST API, Kafka);
- понимание теории тестирования и опыт применения различных техник тест-дизайна;
- ответственность, умение добывать информацию, инициативность, готовность договариваться, обучаемость;
- базовое понимание принципов работы REST, микросервисной архитектуры, брокеров сообщений, систем контейнеризации, CI/CD;
- уверенные знания SQL;
- навыки работы с командной строкой Linux;
- опыт работы с ИИ-агентами.
Будет плюсом:
- опыт тестирования gRPC.
Что мы предлагаем?
Хорошая зарплата: уровень обсуждается индивидуально, есть доплаты за менторство и профактивности.
Развитие: долгосрочные проекты от российских заказчиков, возможность менять направления, прозрачная система Performance Review.
Комфорт и свобода: релокейт между офисами, выбор формата работы (удалённо, офис, гибрид), адаптация для новых сотрудников.
Обучение: доступ к корпоративному порталу, митапам, конференциям (и как гость, и как спикер).
Социальный пакет: ДМС со стоматологией, частичная компенсация спорта, бесплатный английский, оплачиваемый отпуск и больничные.
Корпоративная жизнь: тимбилдинги, детские праздники, внутренние мероприятия.
Наши офисы:
Москва (ул. Вильгельма Пика, 11, БЦ «Ботаника», 13 эт., оф. 1310),
Санкт-Петербург (Владимирский проспект, д. 23, 8 этаж),
Казань (Н. Ершова, 76/1),
Нижний Новгород (ул. Новая, 28, коворкинг "VMESTE"),
Самара (IT парк Монте Роза).
Откликайтесь, если вы готовы расти и развиваться вместе с командой ASTON! Наш рекрутер свяжется с вами, чтобы обсудить детали.
2GIS CDP – это внутренняя Customer Data Platform, лежащая в основе стратегии развития всего 2ГИС на ближайшие годы.
CDP объединяет данные из десятков источников, строит единые пользовательские профили, рассчитывает метрики, интересы и модели поведения, помогает запускать real-time персонализацию прямо в продукте и управлять персонализированной рекламой и коммуникацией.
Это стартап внутри большой компании – со свободой в архитектуре и технологиях, с задачами уровня highload и с реальным влиянием на бизнес-результаты.
О команде
Мы объединяем инженеров, аналитиков и ML-специалистов, которые строят систему, меняющую подход к данным в 2ГИС.
Работаем с большими объемами событий, продумываем архитектуру под масштаб и надежность, ценим простые и элегантные решения.
Каждый в команде влияет на архитектуру, подходы и направление развития CDP.
Наш стек
- Backend: Go, gRPC
- Frontend: TypeScript, React
- Autotests: Python, Playwright, Allure
- Infrastructure: Kubernetes, Kafka, ClickHouse, Spilo/PostreSQL, Spark, Airflow
Стек только формируется – ты сможешь повлиять на его развитие и архитектуру.
Тебе предстоит
- Внедрять стандарты и лучшие практики тестирования программного обеспечения.
- Проводить анализ требований и код-ревью.
- Предлагать и воплощать улучшения платформы.
- Автоматизировать тестирование сложных инженерных задач: склейка идентификаторов, расчеты метрик, real-time агрегации, построение витрин.
- Проводить интеграционное тестирование сервисов, обрабатывающих миллиарды событий пользователей.
- Непосредственно участвовать в написании авто-тестов и интеграции авто-тестов в пайплайны CI/CD;
- Тестировать не только Backend сервисы, но и UI.
- Тестировать потоки данных и интеграции между CDP и другими системами 2ГИС.
- Влиять на архитектурные решения и качество кода.
- Развивать тестовую документацию платформы.
- Работать в распределенной команде, взаимодействуя с аналитиками, продактами и инженерами других направлений.
Ждем от тебя
- Опыт работы в тестировании от 3-5 лет.
- Опыт в автоматизации тестирования на Python от 3 лет.
- Понимание теории и целей тестирования, клиент-серверной архитектуры и принципов сетевого взаимодействия.
- Уверенные навыки интеграционного тестирования.
- Понимание принципов построения распределенных систем и микросервисов.
- Опыт работы с Unix, контейнеризацией, системами CI/CD и Git.
- Самостоятельность и проактивность — ты не ждешь постановок, а предлагаешь решения.
- Желание разбираться в бизнес-логике и создавать продукт, а не просто писать код.
Будет плюсом:
- Опыт работы с highload-системами.
- Опыт работы с Kafka, ClickHouse или другими системами потоковой и аналитической обработки данных.
- Опыт тестирования платформенного кода.
- Понимание подходов к персонализации, сегментации или real-time аналитике.
Почему это круто
- Масштаб: миллионы пользователей, миллиарды событий, сотни интеграций.
- Рост: CDP – стратегическое направление, растем быстро и даем расти команде.
- Свобода: минимум бюрократии, максимум ответственности.
- Видимый результат: все, что ты делаешь, влияет на продукт, коммуникации и рекламу 2ГИС.
Хочешь строить внутренний «мозг» 2ГИС? Присоединяйся к команде CDP.
Что мы предлагаем
- 2ГИС — аккредитованная IT-компания.
- У нас можно работать удалённо. Для нас важен специалист, а не его локация. Если хочешь работать в гибридном формате, у нас есть офисы в Москве, Санкт-Петербурге, два классных офиса в Новосибирске.
- Само собой, полностью белая зарплата. Дополнительные дни отпуска за стаж работы в компании.
- Заботимся о здоровье: ДМС и возможность получать онлайн — консультации и терапевта, невролога, психолога и медицинского агента.
- Если хочешь делиться своим опытом, мы только за — поможем с выступлениями на конференциях и статьями для Хабра.
- Есть собственный учебный центр: курсы, тренинги и книги для прокачки скиллов.
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.