Automation QA Engineer (JavaScript/TypeScript)

Инженер по качеству AI-агентов

О продукте

Uklad AI — AI-платформа для комплексной автоматизации работы компаний.

Мы создаём AI-сотрудников, которые помогают бизнесу управлять задачами, проводить встречи, работать с CRM и кассой, собирать отчёты и автоматизировать повседневные процессы. По сути, это полноценные цифровые помощники, которые понимают контекст компании, помнят договорённости и умеют самостоятельно выполнять рабочие задачи с помощью множества инструментов.

Наши агенты уже работают с реальными бизнес-процессами: от ресторанов и сервисных компаний до бухгалтерских фирм и производственных предприятий.

Сейчас мы развиваем платформу и хотим сделать работу AI-агентов ещё более надёжной и эффективной.

Мы ищем инженера, которому интересно разбираться в том, почему AI-агент не справился с задачей, находить причину проблемы и исправлять её так, чтобы в следующий раз агент работал лучше.

Что предстоит делать:

• Анализировать качество работы AI-агентов: изучать диалоги и результаты работы агентов, находить ситуации, в которых они не смогли правильно выполнить задачу пользователя.

• Находить причины ошибок: разбираться, почему агент не вызвал нужный инструмент, неправильно выбрал последовательность действий или не смог получить необходимые данные.

• Улучшать логику работы агентов: самостоятельно вносить изменения в код, который отвечает за выбор инструментов, выполнение задач и взаимодействие с ними.

• Проверять результат изменений: писать тесты, запускать проверки на реальных и тестовых сценариях, сравнивать качество работы агента до и после внесённых изменений.

• Работать с метриками качества: анализировать статистику ошибок, отслеживать динамику и понимать, какие изменения действительно улучшают результат, а какие не дают эффекта.

• Развивать систему автоматической оценки: работать с AI-судьёй, который оценивает, удалось ли агенту выполнить задачу пользователя, проверять точность его оценок и улучшать систему проверки.

• Работать напрямую с основателем: обсуждать основные проблемы продукта, определять приоритеты и регулярно показывать результаты своей работы.

Что для нас важно:

• У тебя есть опыт разработки на TypeScript или Node.js. Важно уметь самостоятельно читать, понимать и изменять код backend-приложений.

• Умеешь работать с SQL и базами данных: можешь самостоятельно анализировать логи, находить закономерности и собирать статистику по работе системы.

• Понимаешь, как устроены LLM и AI-агенты: что такое Tool Calling, как модели выбирают инструменты и почему иногда не используют нужные возможности.

• Есть опыт написания автоматических тестов и проверки качества работы программных систем.

• Умеешь работать с метриками: не просто находить ошибки, а измерять, насколько конкретное изменение повлияло на результат.

• Умеешь самостоятельно разбираться в технических проблемах, искать их первопричину и предлагать системные решения.

Будет преимуществом:

• Опыт работы с AI-агентами и LLM.

• Опыт построения систем автоматической оценки качества AI (LLM-as-a-Judge, Evals).

• Опыт работы с PostgreSQL и SQLite.

• Опыт настройки мониторинга и анализа работы backend-систем.

Кого мы ищем

Нам нужен инженер, которому действительно интересно разбираться в устройстве AI-агентов и делать их лучше.

Ты не просто фиксируешь, что агент ошибся, а пытаешься понять, почему это произошло, находишь причину в коде, исправляешь её и проверяешь результат на цифрах.

Нам близок подход, при котором каждое изменение можно проверить: было определённое количество ошибок, внесли исправление, повторили тесты и увидели, изменился ли результат.

Важно, чтобы ты не боялся признавать, что гипотеза не сработала, и спокойно возвращал изменения, если они не дали ожидаемого эффекта.

Нам подойдут специалисты с опытом backend-разработки, QA Automation или разработки и тестирования AI-агентов. Главное — техническая самостоятельность и желание работать с качеством AI-продукта.

Важно: эта позиция предполагает самостоятельную работу с кодом. Опыт только в написании промптов или ручном тестировании без навыков разработки не подойдёт.

Что мы предлагаем:

• Уровень дохода обсуждаем индивидуально — ориентируемся на твой опыт и ожидания.

• Удалённый формат работы.

• Полная занятость, пятидневка, 9-18 или 10-19 по мск.

• Возможность работать над реальным AI-продуктом, который уже решает задачи действующего бизнеса.

• Прямое взаимодействие с основателем и возможность влиять на техническое развитие продукта.

• Высокий уровень самостоятельности: ты будешь отвечать за качество работы AI-агентов и видеть непосредственный результат своих решений.

• Возможность развиваться на стыке backend-разработки, автоматизированного тестирования и современных AI-технологий.

Если тебе интересно не просто тестировать AI, а понимать, как он устроен внутри, находить причины ошибок и делать так, чтобы агенты действительно лучше справлялись с задачами пользователей, — будем рады познакомиться!

В сопроводительном письме расскажи об одном техническом улучшении, которое ты внедрил и результат которого смог измерить:
- какую проблему решал,
- что именно изменил,
- как проверял эффективность своего решения.

Чем предстоит заниматься

• Участвовать в формировании end-to-end QA-стратегии; внедрять и поддерживать её для веб-приложений, API и backend-систем
• Разрабатывать и поддерживать фреймворки автоматизированного тестирования (UI, API, интеграционное, нагрузочное и performance-тестирование)
• Писать качественные тестовые скрипты на Java, C#, TypeScript или аналогичных языках
• Обеспечивать создание и интеграцию CI/CD-пайплайнов для автоматизированных тестов
• Проектировать и проводить ручное исследовательское тестирование там, где автоматизация нецелесообразна
• Сотрудничать с разработчиками для обеспечения тестируемости и качества на этапах проектирования и разработки
• Выявлять, документировать и отслеживать дефекты, доводить их до устранения
• Проводить анализ первопричин (root cause analysis) и формировать практические рекомендации по качеству продукта
• Наставлять junior QA-инженеров, продвигая лучшие практики автоматизации и тестирования
• Продвигать подход shift-left testing и вносить вклад в постоянное совершенствование QA-процессов

Мы ожидаем

• Опыт работы в Quality Assurance от 5 лет, из них от 2 лет — в автоматизации тестирования
• Уверенное владение как минимум одним из современных инструментов/фреймворков автоматизации тестирования (например, Playwright, REST Assured, TestNG, xUnit, Selenium, Cypress, JUnit или аналогичными) и готовность при необходимости оперативно осваивать другие стеки и инструменты, используемые в компании
• Глубокий опыт тестирования API (Postman, Swagger и др.)
• Опыт тестирования микросервисной архитектуры и очередей сообщений (Kafka, RabbitMQ)
• Опыт интеграции тестов в CI/CD-пайплайны (Azure DevOps, Jenkins, GitLab CI и др.)
• Уверенные навыки работы с базами данных (SQL/NoSQL) и проверки бэкенд-данных
• Опыт работы с системами контроля версий (Git)
• Понимание принципов и методологий Agile/Scrum
• Сильные аналитические навыки, умение решать сложные задачи и работать самостоятельно
• Отличные коммуникативные навыки и лидерский потенциал

• Опыт тестирования приложений на базе cloud-native архитектуры (Kubernetes, Docker)
• Знакомство с инструментами нагрузочного тестирования и тестирования производительности (JMeter, k6, Gatling)
• Опыт построения или развития тестовых фреймворков «с нуля»
• Опыт наставничества или технического лидерства в QA-команде

Мы предлагаем

• Официальное трудоустройство в соответствии с Трудовым кодексом РФ
• ГИБРИДНЫЙ формат работы с офисом в г. Москва
• Конкурентную заработную плату — итоговый уровень обсуждается индивидуально по результатам собеседования, с учётом опыта и квалификации кандидата

Почему эта роль интересна

Вы будете работать над платформами, которыми ежемесячно пользуются сотни тысяч людей, и напрямую влиять на надёжность и безопасность финансовых сервисов. Роль предполагает реальную зону ответственности, участие в развитии QA-стратегии компании и возможность выстраивать культуру качества на всех уровнях технологического стека.