K

QA Engineer ИИ-решений (Python)

Занятость: Проектная, долгосрочный проект (Фултайм)

kokoc_tech · На сервисе с: 02.10.26 14:20

до 1k ₽РоссияМоскваУдалёнка

#AI #вакансия #QA Engineer
Вакансия: QA Engineer ИИ-решений
Компания: Kokoc Tech
Грейд: Middle
Занятость: Проектная, долгосрочный проект (Фултайм)
Формат: Удаленно по РФ
Локация: Строго Москва, Саранск
Оформление: ГПХ, ИП
Вилка: До 1400р в час гросс

Важно: Не смотрим кандидатов с проектами Лимана, Петрович Тех, ВБ, Озон, Лента Тех, Яндекс маркет, М. Видео за последние 6 месяцев.

Проект: Специалист привлекается для поддержки AI-команды (RnD AI Team), которая реализует портфель ИИ-инициатив для бизнес-подразделений компании на внутренней платформе Dify (LLM-агенты, RAG, классификация, извлечение данных из документов, интеграции через API/MCP). Портфель — ~200 инициатив, одновременно в работе 10–15

Задачи:
1. Подготовка тест-кейсов на основании требований и критериев приемки инициатив;
2. Функциональное и интеграционное тестирование ИИ-агентов, workflow на платформе Dify, API-интеграций со внутренними системами;
3. Проверка позитивных, негативных и пограничных сценариев, включая нетипичные запросы пользователей и «галлюцинации» модели;
4. Регрессионное тестирование после изменений промптов, моделей, базы знаний (RAG) и интеграций;
5. Проверка соответствия результата согласованным требованиям и метрикам качества;
6. Формирование и поддержание тестовых выборок (golden set) совместно с бизнесом и ML-командой, участие в оценке качества ответов;
7. Фиксация дефектов, контроль их устранения, отчётность по качеству релизов;
8. Проведение приемочного тестирования перед выпуском в production и участие в приемке с бизнесом.

Требования:
Общий опыт работы: От 3 лет в тестировании ПО.
Опыт по требуемому стеку/направлению: От 1 года тестирования продуктов на основе ML/LLM или тестирования API и интеграций backend-сервисов; понимание специфики недетерминированных ответов модели.

Релевантный проектный опыт:
Не менее 2 проектов тестирования интеграционных / API-решений или ИИ-продуктов с выводом в промышленную эксплуатацию; опыт построения регрессионных наборов и тестовых выборок.
Отраслевой опыт: Желательно: e-commerce, ритейл, B2B-дистрибуция, клиентский сервис.

Обязательные технологии/инструменты:
Тест-дизайн, тестовая документация, работа с баг-трекером;
Тестирование REST API (Postman или аналоги), чтение JSON, логов;
SQL на уровне выборок для проверки данных;
Python на базовом уровне для скриптов проверки и подготовки тестовых данных;
Понимание принципов работы LLM, RAG, промптов и метрик качества ИИ (точность, полнота, оценка ответов по критериям).

Желательные технологии/инструменты:
Опыт работы с платформами оркестрации LLM (Dify, LangChain и т.п.);
Автоматизация тестирования API (pytest, requests) и LLM-eval инструменты (RAGAS, DeepEval, promptfoo или аналоги);
Опыт разметки и оценки ответов модели (LLM-as-a-judge, ручная оценка по рубрикам);
CI/CD, Git на базовом уровне.

Системы учета задач и документации: Jira / Yandex Tracker, Confluence / Yandex Wiki, Git, реестр ИИ-инициатив в Google Sheets.

Откликайтесь в личные сообщения с CV
•••••••• 🙂

Похожие вакансии Ручное тестирование

Соц.сети
K

QA Engineer ИИ-решений

kokoc_techНа сервисе с: 02.10.26 21:27
до 1k ₽РоссияМоскваУдалёнка

QA Engineer ИИ-решений в компанию Kokoc Tech

Специалист привлекается для поддержки AI-команды (RnD AI Team), реализующей портфель ИИ-инициатив для бизнес-подразделений компании на внутренней платформе Dify.

📝 Обязанности
1. Подготовка тест-кейсов на основании требований и критериев приемки инициатив;
2. Функциональное и интеграционное тестирование ИИ-агентов, workflow на платформе Dify, API-интеграций со внутренними системами;
3. Проверка позитивных, негативных и пограничных сценариев, включая нетипичные запросы пользователей и «галлюцинации» модели;
4. Регрессионное тестирование после изменений промптов, моделей, базы знаний (RAG) и интеграций;
5. Проверка соответствия результата согласованным требованиям и метрикам качества;
6. Формирование и поддержание тестовых выборок (golden set) совместно с бизнесом и ML-командой, участие в оценке качества ответов;
7. Фиксация дефектов, контроль их устранения, отчётность по качеству релизов;
8. Проведение приемочного тестирования перед выпуском в production и участие в приемке с бизнесом.

🔍 Требования
От 3 лет в тестировании ПО.
От 1 года тестирования продуктов на основе ML/LLM или тестирования API и интеграций backend-сервисов; понимание специфики недетерминированных ответов модели.
Не менее 2 проектов тестирования интеграционных / API-решений или ИИ-продуктов с выводом в промышленную эксплуатацию; опыт построения регрессионных наборов и тестовых выборок.
Желательно: e-commerce, ритейл, B2B-дистрибуция, клиентский сервис.
Тест-дизайн, тестовая документация, работа с баг-трекером;
Тестирование REST API (Postman или аналоги), чтение JSON, логов;
SQL на уровне выборок для проверки данных;
Python на базовом уровне для скриптов проверки и подготовки тестовых данных;
Понимание принципов работы LLM, RAG, промптов и метрик качества ИИ.

💎 Будет преимуществом
Опыт работы с платформами оркестрации LLM (Dify, LangChain и т.п.);
Автоматизация тестирования API (pytest, requests) и LLM-eval инструменты (RAGAS, DeepEval, promptfoo или аналоги);
Опыт разметки и оценки ответов модели (LLM-as-a-judge, ручная оценка по рубрикам);
CI/CD, Git на базовом уровне.

🕹 Условия
Проектная, долгосрочный проект (Фултайм).
Удаленно по РФ.
Локация: строго Москва, Саранск.
Оформление: ГПХ, ИП.
Вилка: до 1400р в час гросс.

📞 Контакты
Telegram: ••••••••

••••••••

hh.ru
Зарплата не указанаРоссияСанкт-ПетербургГибрид

Приглашаем Вас принять участие в отечественном проекте по автоматизации горных работ:

  • Это разрабатываемый инженерами и программистами «Полиметалла» программно-аппаратный комплекс, включающий в себя промышленные бортовые компьютеры собственной разработки и производства, серверное решение на базе микросервисной архитектуры и многофункциональный Web-интерфейс.
  • В проекте используются Python, JavaScript, NodeJS, GoLang, C, PostreSQL, Reddis, RabbitMQ, Kubernetes, Grafana, Zabbix, Docker, Gitlab. Разработаны и совершенствуются собственные алгоритмы управления движением карьерной техники, показавшие свою эффективность. Приступаем к разработке собственного решения по позиционированию подземной горной техники.
  • Система развернута уже на четырёх горных карьерах, готовится её внедрение на пятом, а также адаптация решения для подземных рудников. В разработке не стесняемся применять самые современные технологии, перед каждым разработчиком открыто широкое поле деятельности, где многое зависит именно от его способности формулировать и решать задачи, выбирать подходящие инструменты и способы реализации.

Обязанности:

  • Автоматизация тестирования: написание стабильных API- и UI-автотестов, интеграция и обеспечение их регулярного прохождения в CI.
  • Ручное тестирование (Manual QA): проведение исследовательского, функционального и регрессионного тестирования нового функционала симуляционной модели и модулей оптимизации.
  • Тестирование алгоритмов и бизнес-логики: верификация математических моделей транспортной оптимизации движения горной техники и алгоритмов расчета рудопотоков подземных горных работ.
  • Контроль данных: валидация корректности расчета качественных характеристик и объемов перемещаемой горной массы.
  • Развитие фреймворка: поддержка и развитие архитектуры тестового фреймворка (Python), контроль качества кода тестов (линтеры), поддержание автотестов в актуальном состоянии.
  • Тестовая документация и данные: разработка тест-кейсов, чек-листов и матриц покрытия для специфики горнодобывающих задач; подготовка и генерация тестовых данных в СУБД PostgreSQL.
  • Инфраструктура и CI/CD: поддержка работоспособности тестовых стендов, сопровождение пайплайнов в GitLab CI, оперативный разбор упавших или нестабильных (flaky) тестов.
  • Командное взаимодействие: тесное взаимодействие с разработчиками, аналитиками и математиками по тестируемому функционалу систем оптимизации.
Требования:
  • Опыт работы: успешный опыт работы в сфере тестирования ПО (с совмещением ручного тестирования и автоматизации).
  • Языки и инструменты: уверенное владение языком Python и специализированными фреймворками (Pytest, Playwright).
  • Теория тестирования: глубокое знание принципов HTTP API и UI-тестирования, умение проектировать надежные и поддерживаемые автотесты.
  • GitLab CI: практический опыт работы с GitLab CI (конфигурация jobs, stages, include/extends, управление артефактами).
  • Контейнеризация: уверенные знания Docker и Docker Compose для развертывания и поддержки тестового окружения.
  • Окружение и базы данных: уверенное владение ОС Linux, навыки написания Bash-скриптов, знание Git и СУБД PostgreSQL (написание запросов для проверки данных).
  • Будет преимуществом:
    Технологии: опыт работы с gRPC / Protobuf, брокерами сообщений (RabbitMQ) и кешем (Redis).
    Репорты: опыт настройки и генерации Allure-отчетов.
    Код: умение читать и анализировать код на JavaScript.
    Специфика: понимание принципов работы симуляционных моделей или базовые знания в области горного дела / логистики.
Условия:
  • Место работы: Санкт-Петербург, офис м. "Ленинский проспект" (10 минут пешком от метро, 5 минут до заезда на ЗСД);
  • График работы с 9-00 до 18-00 (возможен гибрид);
  • Работа в Управляющей Компании крупного горнодобывающего холдинга;
  • Оформление и социальные гарантии согласно ТК РФ;
  • Ежегодная индексация зарплаты;
  • Расширенный соц. пакет: ДМС с 1го дня работы, ДМС для детей до 10 лет;
  • Возможности для профессионального развития и обучения.
hh.ru
Зарплата не указанаРоссияМоскваУдалёнка
Обязанности:
  • Провести аудит текущего процесса QA и сформировать план улучшений;
  • Выстроить базовый процесс тестирования для продуктов направления 1С;
  • Определить критерии готовности, приоритеты, сроки и зоны ответственности;
  • Организовать функциональное, интеграционное, регрессионное и приёмочное тестирование;
  • Внедрить практичные чек-листы, тест-кейсы, тест-планы и единый реестр дефектов;
  • Сформировать риск-ориентированный регрессионный набор для критичных бизнес-процессов и интеграций;
  • Развивать стандарты и процессы QA.
Требования:
  • Опыт работы в тестировании решений на базе 1С от 3 лет;
  • Опыт функционального, интеграционного, регрессионного и приёмочного тестирования;
  • Опыт работы с тест-кейсами, чек-листами и дефектами;
  • Умение самостоятельно выстраивать процессы и отвечать за результат.
Условия:
  • Оформление согласно ТК;
  • Интересные и амбициозные задачи международной компании с возможностью профессионального и карьерного развития;
  • Финансовая стабильность: конкурентный уровень дохода, ежегодная индексация заработной платы;
  • Формат работы гибридный (1-2 раза офис) или полностью удаленный (если другой город);
  • Мы заботимся о сотрудниках и предлагаем: страховку от несчастного случая, ДМС, компенсацию затрат на занятия спортом и здоровье, компенсацию питания, скидки на фирменную продукцию, продуктовые наборы.
  • Корпоративный транспорт от м. 1905 г, жд Нахабино.

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.