СБЕР

QA-инженер (AI Sales помощник) (Python, Java)

Наш продукт — это ИИ-помощник, который разработан для помощи сейлзам и трейдерам, снимая с них часть рутинных задач и процессов.

СБЕР

Зарплата не указанаРоссияМоскваОфис

Наш продукт — это ИИ-помощник, который разработан для помощи сейлзам и трейдерам, снимая с них часть рутинных задач и процессов.

  • тестирование качества ответов AI-навыков: релевантность, полнота, корректность, отсутствие галлюцинаций и «уверенных, но неверных» ответов

  • формирование и поддержка эталонных датасетов (golden set) для регрессионной оценки LLM-ответов и промптов

  • тестирование промптов, RAG-конвейеров и маршрутизации оркестратора — правильный ли агент/навык выбирается под запрос, полные ли источники подтягиваются

  • оценка недетерминированного поведения: прогон запросов N раз, статистические метрики стабильности и качества, выявление регрессов качества между версиями моделей/промптов

  • разработка, ревью и поддержка тест-кейсов, чек-листов, тест-планов

  • взаимодействие с разработчиками, аналитиками, DS/ML-инженерами и PO для уточнения требований

  • ведение баг-трекинга в Jira, документирование в Confluence.

  • опыт в роли QA от 3 лет

  • опыт функционального и сквозного (E2E) тестирования

  • опыт тестирования API и интеграций: REST/gRPC, форматы запросов/ответов, работа с моками внешних сервисов

  • умение составлять и проверять тест-кейсы в Zephyr, анализировать покрытие

  • понимание принципов работы LLM и GenAI: промпты, RAG, температура/вариативность, ограничения моделей, типовые режимы отказа (галлюцинации, потеря контекста, неверная интерпретация запроса)

  • опыт оценки качества AI-ответов: эталонные наборы, ручная и полуавтоматическая разметка, метрики точности/полноты/faithfulness/relevancy

  • навыки написания скриптов на Python для прогона батчей запросов, сбора и сравнения результатов.

Будет плюсом:

  • опыт в финтехе / банковской сфере

  • опыт тестирования AI/ML-продуктов: чат-боты, ассистенты, рекомендательные системы

  • знание инструментов оценки LLM: LangSmith, DeepEval, Arize, RAGAS или аналоги

  • базовые знания автоматизации тестирования (Java, Python).

  • опыт работы с системами мониторинга (Grafana), включая мониторинг качества AI-ответов

  • понимание требований комплаенса и работы с чувствительными данными.

  • комфортный современный офис на Вавилова, 19

  • формат работы – гибрид

  • ежегодный пересмотр зарплаты, квартальная и годовая премия

  • корпоративный спортзал и зоны отдыха

  • более 400 образовательных программ СберУниверситета для профессионального и карьерного развития

  • программа адаптации и помощь руководителя на старте

  • расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа

  • гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ

  • подписка Прайм с возможностью совместного использования на трёх близких

  • вознаграждение за рекомендацию друзей в команду Сбера.

Похожие вакансии Ручное тестирование

hh.ru
до 200k ₽РоссияМоскваУдалёнка

ТЕСТОВАЯ ВАКАНСИЯ

О компании и проекте
Компания iFellow разрабатывает продукт Naimus. Мы ищем QA-инженера, который будет отвечать за качество и самих моделей, и данных, и продукта вокруг них.

Чем предстоит заниматься

  • Оценивать качество ML-моделей на разных наборах данных: считать и интерпретировать accuracy, precision, recall, F1-score, AUC-ROC и другие метрики в контексте конкретной задачи.
  • Проводить A/B-тесты разных версий моделей и анализировать результаты.
  • Выявлять переобучение (overfitting) и недообучение (underfitting) и разбирать их причины вместе с ML-командой.
  • Проверять модели на предвзятость (fairness): искать сценарии, где модель работает несправедливо по отношению к группам пользователей (пол, возраст, раса и др.).
  • Тестировать данные: полноту, консистентность, корректность форматов, качество обучающих и валидационных выборок.
  • Проверять AI-функциональность: корректность и уместность ответов, работу с контекстом, релевантность рекомендаций.
  • Искать граничные случаи и создавать adversarial-примеры, которые могут сломать или обмануть модель.
  • Проверять устойчивость модели к отравлению данных (data poisoning) и поведение на данных, сильно отличающихся от обучающей выборки (out-of-distribution).
  • Проводить функциональное тестирование продукта (API, интеграции, интерфейс).
  • Разрабатывать тест-планы, тест-кейсы и чек-листы, оформлять баг-репорты и проводить анализ первопричин (Root Cause Analysis).

Что мы ждём

Опыт и QA-база

  • Опыт в тестировании от 3 лет.
  • Уверенное владение техниками тест-дизайна, умение писать тест-кейсы, чек-листы и тест-планы.
  • Умение оформлять баг-репорты: чёткие шаги воспроизведения, логи, скриншоты.
  • Умение декомпозировать сложную проблему и находить корневую причину.

ML и данные

  • Понимание метрик качества классификации (accuracy, precision, recall, F1, AUC-ROC) и умение выбирать метрику под задачу.
  • Понимание, что такое переобучение, недообучение и смещение/дисперсия (bias-variance).
  • Базовое понимание того, как устроен процесс обучения и валидации моделей.

Технические навыки

  • SQL: SELECT, WHERE, JOIN (INNER и LEFT), GROUP BY, ORDER BY; опыт работы с PostgreSQL или MySQL.
  • Тестирование REST API: Postman, Swagger; форматы JSON и XML.
  • Опыт работы с баг-трекером (Jira или аналог).
  • Python (предпочтительно) или JavaScript/Java на уровне, достаточном, чтобы читать чужой код и писать автотесты.

Личные качества

  • Умеешь отстаивать позицию перед командой.
  • Самостоятельно планируешь работу и принимаешь решения.
  • Готов (а) находить и описывать новые классы дефектов, характерные для ML-систем.

Будет плюсом

  • Опыт тестирования ML-или LLM-продуктов.
  • Python-инструменты для анализа данных: pandas, scikit-learn, pytest.
  • Инструменты для проверки данных и мониторинга моделей (Great Expectations, MLflow, Evidently и аналоги).
  • Опыт работы с Kafka, ELK, DevTools, СУБД
  • Базовые знания статистики (доверительные интервалы, статистическая значимость в A/B-тестах).
  • Опыт работы с Zephyr

Условия

  • Зарплата: 150 000-200 000 ₽ gross, итог зависит от опыта и результатов собеседования.
  • Формат: гибрид/удалённо.
  • График: полный день, 5/2
  • Оформление: [ТК РФ / Самозанятость].
  • Премии: по результатам завершённых проектов
  • Развитие: обучение за счёт компании [бюджет или формат], рост в направлении ML QA Lead, Data Quality / MLOps или автоматизации тестирования ML-систем.
  • Дополнительно: [ДМС, компенсация курсов; корпоративные мероприятия и тимбилдинги
hh.ru
перфоманс лаб
до 90k ₽РоссияМоскваУдалёнка

Приветствуем тебя, дорогой соискатель! :)

Перфоманс Лаб – эксперт в области тестирования и обеспечения качества. На рынке с 2008. Тестируем IT-продукты и повышаем их качество. Занимаемся этим пятнадцать лет, очень любим свое дело!

Всегда находимся в поиске – идеальных решений, лучших методик и профессионалов, которые умеют стратегически мыслить и идти к общей цели. У нас ты можешь развиваться в разных направлениях, изучать новые инструменты и прокачивать свои навыки!


Соотношение автоматизированного/ручного тестирования - в зависимости от команды

Требования:
  • Опыт работы в роли тестировщика от 1 года на проектах автоматизированного и ручного тестирования;
  • Опыт тестирования REST API;
  • Опыт написания автотестов на Java;
  • Хорошие знания SQL, опыт написания сложных запросов (индексы, вложенные запросы, JOIN);
  • Знание техник тест-дизайна и умение применять их на практике;

Условия и преимущества:

  • Белая зарплата, трудоустройство по ТК РФ;

  • 31 день оплачиваемого отпуска в год;

  • ИПР – Индивидуальный план развития для каждого сотрудника;

  • Активная корпоративная культура с Online и Offline мероприятиями;

  • Добровольный ДМС (50% оплата от компании);

  • Корпоративные внутренние курсы: автоматизация тестирования на Java, нагрузочное тестирование;

  • Частичная компенсация пройденных курсов на различных платформах;

  • Добровольная международная сертификация ISTQB с компенсацией от компании;

  • Корпоративные занятия английским языком;

  • Оборудование от компании;

  • Реферальная программа "Приведи друга";

  • Дружный коллектив, лояльное руководство.

Соц.сети

QA Manual + Auto (Playwright, JavaScript/TypeScript)

до 200k ₽РоссияМоскваОфис

Всем привет!😊

Вакансия: QA Manual + Auto (Playwright, JavaScript/TypeScript).

Уровень специалиста Junior+ / Middle/.Middle+

🚀Вакансия горящая и срочная!

✍🏻 Стек: TypeScript, JavaScript, Playwright
💼 Компания: ••••••••- разрабатываем свои программные решения для крупных торговых сетей РФ и СНГ. Нашими решениями пользуются миллионы людей
🌍 Локация офиса: Москва (м. Ленинский проспект). Не рассматриваем кандидатов из других городов
📝 Оформление: Полная занятость, оформление по ТКРФ,
🕺 Формат работы: офисный формат 6-8 месяцев и далее возможен гибрид, гибкое начало рабочего дня (формат работы связан с нашей спецификой продукта)
💰 ЗП: До 200 000 руб. на руки

Требования к опыту:

Обязательно:
- Опыт E2E-тестирования на Playwright — от 6 месяцев. Ключевое — уверенное владение инструментом: локаторы, ожидания, assertions, запуск тестов.
- Понимание базовых основ программирования: функции, условия, async/await, типы данных.
- Реальный опыт написания кода для автотестов (коммерческий, проектный или учебный) — важно понимание, что и зачем вы делаете.
- Умение читать и разбирать чужой код, работать с существующими тестами, а не только писать с нуля.
- Если есть опыт с TypeScript или JavaScript будет плюсом

Техническая база
-Git, Jenkins.
-Swagger, Postman, Curl, mock-сервисы.
-Реляционные и нереляционные СУБД.
-Желание учиться, работать с оборудованием (кассы, весы, сканеры, ККТ).
-Готовность отвечать за качество продукта.

Что нужно делать:
-Разработка и поддержка E2E-автотестов на Playwright + TypeScript
--Тестирование Frontend и пользовательских сценариев (включая работу с оборудованием: кассы, весы, сканеры, ККТ)
-Работа с Git, Jenkins (настройка и поддержка пайплайнов)
-Тестирование API через Swagger, Postman, Curl
-Настройка Mock-сервисов для изоляции тестового окружения
-Взаимодействие с реляционными и не реляционными СУБД (подготовка данных, проверка результатов)
-Анализ результатов прогонов, разбор флакающих тестов
-Заведение и отслеживание багов в Jira
-Участие в code review и планировании спринтов

Наш процесс устройства на работу:
1. Скрининг с рекрутером (10-15 минут)
2. Техническое собеседование (40 минут)
3. Оффер

Для отправки резюме ••••••••

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.