СБЕР

Senior/Lead QA Engineer (AI/LLM Products) (Python)

Мы разрабатываем AI-инструменты / LLM-платформу / автоматизацию на базе ИИ. Ищем QA-инженера, который будет отвечать за качество наших AI-продуктов: от классического функционального тестирования до оценки качества ответов LLM и устойчивост…

СБЕР

Зарплата не указанаРоссияМоскваОфис

Мы разрабатываем AI-инструменты / LLM-платформу / автоматизацию на базе ИИ. Ищем QA-инженера, который будет отвечать за качество наших AI-продуктов: от классического функционального тестирования до оценки качества ответов LLM и устойчивости промптов.

Тестирование AI-систем отличается от классического: результат недетерминирован, «правильный ответ» не всегда один, а баг может проявляться в 1 случае из 20. Нам нужен человек, которому интересно работать именно с этой спецификой.

Чем предстоит заниматься:

  • функциональное и регрессионное тестирование продуктов с LLM-компонентами (веб-интерфейсы, API, интеграции)
  • разработка и поддержка наборов тестовых сценариев для оценки качества ответов моделей (evaluation datasets, golden sets)
  • тестирование промптов: проверка устойчивости к перефразированию, edge-кейсам, инъекциям и джейлбрейкам
  • оценка ответов LLM по критериям: точность, полнота, галлюцинации, соответствие формату (structured output / JSON schema)
  • анализ недетерминированного поведения: воспроизведение плавающих дефектов, статистическая оценка стабильности
  • автоматизация рутинных проверок на Python (pytest): smoke-тесты API, прогоны evaluation-сценариев, скрипты для массовой проверки ответов модели
  • тестирование API-интеграций с LLM-провайдерами лимиты, ретраи, обработка ошибок, стриминг
  • ведение тестовой документации, баг-репортов, участие в приёмке фич
  • взаимодействие с разработчиками и ML-инженерами при разборе дефектов.

От кандидатов ждем:

  • опыт в тестировании от 5 лет (ручное + автоматизация)
  • практический опыт работы с AI-инструментами: ChatGPT, Claude, Copilot и аналоги — не на уровне «пробовал», а как рабочий инструмент
  • понимание основ промпт-инжиниринга: структура промпта, few-shot, chain-of-thought, sdd, работа с системными промптами
  • уверенное тестирование API (Postman / curl / HTTP-клиенты), чтение JSON, понимание REST
  • понимание специфики LLM: недетерминированность, галлюцинации, ограничения контекста, температура и параметры генерации
  • python на базовом уровне для автотестирования: умение написать и поддерживать автотесты (pytest / requests / playwright), понимание структуры тестового проекта, работа с фикстурами и ассертами
  • умение писать чёткие баг-репорты и тест-кейсы, включая случаи «модель ответила неправильно» с воспроизводимыми условиями.

Будет плюсом:

  • продвинутая автоматизация UI (Playwright / Selenium), опыт построения фреймворков с нуля
  • опыт построения LLM-evaluation пайплайнов (promptfoo, LangSmith, Ragas, собственные фреймворки)
  • понимание RAG-архитектур
  • опыт тестирования безопасности LLM: prompt injection, jailbreaks, утечки данных.

Мы предлагаем:

  • офисный формат работы на период испытательного срока, далее возможен гибридный формат
  • ежегодный пересмотр зарплаты
  • корпоративный спортзал и зоны отдыха
  • более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
  • программа адаптации и помощь руководителя на старте (для Junior позиций)
  • расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
  • гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
  • подписка СберПрайм с возможностью совместного использования на трёх близких
  • вознаграждение за рекомендацию друзей в команду Сбера.

Похожие вакансии Ручное тестирование

hh.ru
нпп куйбышевтелеком-метрология

QA Engineer (Middle+)

нпп куйбышевтелеком-метрологияАвтоподнятие
Зарплата не указанаРоссияСамараОфис

ООО «НПП КуйбышевТелеком-Метрология» Российский производитель приборов учёта газа и жидкостей приглашает на работу QA Engineer (Middle+). Работа В ОФИСЕ в г. САМАРА, п.г.т. Волжский. УДАЛЕННЫЙ ФОРМАТ РАБОТЫ НЕ РАССМАТРИВАЕТСЯ!

Обязанности:

  • Разработать стратегию тестирования системы: функциональное, интеграционное, регрессионное, нагрузочное и отказоустойчивое тестирование.
  • Анализировать технические требования, архитектуру, API-контракты и пользовательские сценарии.
  • Подготавливать тест-планы, чек-листы, тест-кейсы, тестовые данные и матрицу покрытия требований.
  • Проводить ручное и автоматизированное тестирование Admin Panel, серверных микросервисов и программного обеспечения тонкого клиента.
  • Тестировать REST API, WebSocket/SSE, асинхронные события и межсервисные интеграции.
  • Проверять основные микросервисы
  • Проверять сценарии многофакторной аутентификации, OTP, Presence Token, QR-аутентификации, блокировки и завершения пользовательских сессий.
  • Тестировать heartbeat, потерю связи, повторное подключение, восстановление сессий и работу при частичной недоступности компонентов.
  • Проверять интеграции с Kafka, PostgreSQL, Vault, ClickHouse и MinIO.
  • Проверять корректность обработки повторных событий, задержек, нарушения последовательности, дублирования и потери сообщений.
  • Разрабатывать API- и интеграционные автотесты.
  • Разрабатывать end-to-end-тесты критических пользовательских сценариев.
  • Интегрировать автоматизированные тесты в CI/CD.
  • Регистрировать дефекты, контролировать их исправление и проводить регрессионное тестирование.
  • Участвовать в подготовке программы и методики испытаний и приёмо-сдаточных испытаниях.

Задачи по нагрузочному тестированию:

  • Разработать методику нагрузочного тестирования и согласовать профиль нагрузки.
  • Подготовить эмуляторы тонких клиентов для формирования heartbeat, запросов аутентификации, событий присутствия и других типовых сообщений.
  • Реализовать нагрузочные сценарии для 1000, 10000, 20000 одновременно работающих виртуальных клиентов.
  • Проверить работу системы при длительных соединениях, массовом переподключении клиентов и одновременной отправке событий.
  • Проводить нагрузочные, стрессовые, пиковые и длительные испытания.
  • Определить максимальную устойчивую производительность системы и точку деградации.
  • Проверять время ответа API, пропускную способность, частоту ошибок и стабильность пользовательских сценариев.
  • Анализировать Kafka consumer lag, скорость обработки сообщений, работу партиций, повторную доставку и DLQ.
  • Анализировать нагрузку на PostgreSQL: время запросов, блокировки, соединения, транзакции и использование ресурсов.
  • Контролировать CPU, RAM, сеть, дисковые операции, состояние pod, количество рестартов и использование persistent storage в Kubernetes.
  • Проверять поведение системы при отказе pod, перезапуске сервисов, временной недоступности Kafka, PostgreSQL, Vault, ClickHouse или MinIO.
  • Проводить длительные soak-тесты для выявления утечек памяти, деградации производительности и накопления очередей.
  • Формировать отчёты с графиками, выявленными узкими местами и рекомендациями по оптимизации.
  • Повторно проводить испытания после устранения проблем и подтверждать достижение целевых показателей.
Требования:
  • Опыт тестирования программных систем от 3 лет.
  • Опыт автоматизации тестирования backend/API от 2 лет.
  • Практический опыт нагрузочного тестирования.
  • Уверенное владение одним или несколькими инструментами: k6, Apache JMeter, Gatling или Locust.
  • Опыт тестирования REST API с использованием Postman, Newman, REST Assured, pytest или аналогичных инструментов.
  • Опыт тестирования C++ и Go.
  • Умение разрабатывать автоматизированные тесты на Python
  • Опыт тестирования микросервисных и распределённых систем.
  • Понимание асинхронного взаимодействия и принципов работы Apache Kafka.
  • Понимание consumer groups, partition, offset, retry, DLQ, идемпотентности и повторной доставки сообщений.
  • Уверенное знание SQL и опыт проверки данных в PostgreSQL.
  • Опыт работы с Docker и базовое понимание Kubernetes.
  • Умение пользоваться Grafana, Prometheus и системами централизованного журналирования.
  • Опыт анализа логов, метрик, трассировок и причин деградации производительности.
  • Опыт интеграции тестов в GitLab CI, Jenkins, GitHub Actions или другую CI/CD-систему.
  • Опыт работы с системами управления тестированием и дефектами.
  • Знание видов тестирования, техник тест-дизайна и жизненного цикла дефекта.
  • Умение документировать результаты испытаний и аргументированно подтверждать наличие проблемы.

Будет преимуществом:

  • Опыт тестирования WebSocket, SSE и длительных сетевых соединений.
  • Опыт нагрузочного тестирования Kafka и баз данных.
  • Опыт работы с ClickHouse, MinIO и HashiCorp Vault.
  • Опыт тестирования систем управления удалёнными устройствами.
  • Опыт тестирования Linux-клиентов, VNC, SSH и механизмов автоматического обновления.
  • Понимание TLS/mTLS, PKI, сертификатов, RBAC, MFA и управления секретами.
  • Опыт использования Playwright или Cypress для тестирования Vue-приложений.
  • Опыт тестирования отказоустойчивости и проведения failover/chaos-сценариев.
  • Опыт подготовки программы и методики испытаний, протоколов испытаний и материалов для приёмки.
Условия:
  • График работы 5/2, с 9:00 до 18:00;
  • Работа на территории современного производства в пгт.Волжский;
  • ДМС;
  • Компенсация ГСМ или доставка транспортом предприятия;
  • Корпоративный спортивный зал;
  • Групповые занятия йогой;
  • Подарки детям сотрудников на Новый Год и 1 сентября;
  • Возможность профессионального роста и обучения;
  • Дружная команда профессионалов, поддержка и обмен опытом.
Соц.сети

QA Engineer

150k–200k ₽РоссияМоскваУдалёнка

QA Engineer ••••••••

Зарплата: 150–200 тыс. ₽ net
Местоположение: Москва
Формат работы: Удаленно
Опубликована: ••••••••

Требования:
• Владение инструментами анализа проблем и данных: SQL (PostgreSQL), SSH, логи
• Прямой вызов API: Postman, curl
• Уверенная работа с ИИ: Claude, Kimi и похожими

О компании:
•••••••• — российский разработчик РАИСа, информационной системы для анестезиологии и реанимации; аккредитованная ИТ-компания, резидент Сколково, член Ассоциации HL7 Россия.

Контакт: ••••••••

•••••••• опубликована в ••••••••

hh.ru
м13

QA-инженер

м13
Зарплата не указанаРоссияМоскваУдалёнка

«М 13» - продуктовая аккредитованная IT компания, занимающаяся разработкой продуктов для сбора и анализа информации из СМИ и социальных медиа вот уже более 12 лет. Наши продукты интересны и востребованы крупному, среднему бизнесу и госкорпорациям.

Мы разработали комплекс систем для удобного поиска, обработки информации и реагирования на события, которые получают широкий резонанс в цифровом пространстве.

Мы заинтересованы в стабильности продукта, поэтому:
- Тестируем постановки и дизайн;
- Разработчики покрывают функционал unit-тестами;
- Пользуемся результатами автотестирования;
- Проводим демо внутри команды перед релизом.

Команда тестирования работает со следующим стеком:
- MS SQL, Scylla, ClickHouse;
- GraphQL, REST API;
- RabbitMQ;
- Elasticsearch;
- TeamCity, Nomad и горизонтально масштабируемые сервисы;
- Grafana, Kibana;
- Фронт на Angular;
- Автотесты на C# + Puppeteer, Postman.

Команда поможет вам освоить инструменты и рабочие процессы, как для ручного, так и для автоматизированного тестирования.

Мы ищем опытного специалиста по ручному тестированию web-приложений (уровня Middle+ и выше).
Соотношение между ручным и автоматизированным тестированием у нас - 80 к 20.

Вам предстоит:
- Проведение ручного функционального и интеграционного тестирования;
- Тестирование REST API;
- Проведение тест-анализа и работа над тестовой документацией (тест-кейсы, чек-листы);
- Обнаружение и локализация дефектов, заведение баг-репортов и контроль процесса их исправления;
- Принятие решения о необходимости регрессионного тестирования и его проведение;
- Участие в принятии решения о готовности продукта к релизу;
- Обработка входящих сообщений о неисправностях в системе (не саппорт).

Что нужно, чтобы быть с нами:
- Опыт ручного тестирования от 5 лет;
- Опыт тестирования клиент-серверных систем;
- Опыт тестирования REST API сервисов (Swagger, Postman);
- Опыт тестирования веб-приложений (консоль разработчика);
- Опыт работы с метриками и логами (Grafana, Kibana);
- Опыт работы с брокерами сообщений (RabbitMQ и аналоги);
- Знания SQL на базовом уровне;
- Опыт составления тестовой документации (тест-кейсы, чек-листы, тестовые сценарии);
- Умение работать в Jira и Confluence (их аналогах).

Большим плюсом будет опыт работы с:
- Elasticsearch;
- Cassandra/Scylla;
- Gitflow;
- Nomad;
- GraphQL.

Мы предлагаем:
- ДМС и полную прозрачность компании с оформлением по ТК с 1-го дня;
- Адекватный и очень нацеленный на результат коллектив;
- Удаленный (РФ) либо офисный формат работы. Офисы компании работают в Москве и Казани;
- Участие в выездных встречах и корпоративах в Москве и Казани;
- Частичная компенсация расходов на обучение по профилю, корпоративные скидки в онлайн-школе Skyeng.

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.