Principal Full-Stack AI

See yourself at Twilio

Join the team as our next Machine Learning Engineer III in Twilio’s Customer Memory Team..

About the job

In this role, you will build the foundational AI/ML capabilities that power intelligent engagement experiences for Twilio customers - letting any application, human or AI agent, or channel know who a customer is, what they have done, and how best to reach them.

This role requires a builder and curious mindset, someone who can bridge the gap across theoretical research, production-grade experimentation and enterprise quality software. You will lead rapid research cycles to solve complex problems regarding contextual intelligence and large scale ML problems ensuring every interaction feels seamless and personalized.

Responsibilities

In this role, you’ll:

• Build out new functionality within a fast moving product seeing rapid adoption. 
• Take a nebulous idea, design a rigorous experiment, and execute it within weeks.
• Conduct deep-dive research into state-of-the-art LLM orchestration, retrieval strategies, and data-driven personalization.
• Build ML systems that hold up at Twilio scale. 
• Rapidly acquire new technical skills and knowledge in a fast-paced, high-delivery environment.
• Proactively leverage and integrate the latest AI development stacks to bypass boilerplate engineering and focus on core differentiation.

Qualifications 

Twilio values diverse experiences from all kinds of industries, and we encourage everyone who meets the required qualifications to apply. If your career is just starting or hasn't followed a traditional path, don't let that stop you from considering Twilio. We are always looking for people who will bring something new to the table!

*Required:

• 5+ years applied ML/AI experience with a track record of owning technically ambitious systems end to end rather than contributing to someone else's design.
• Comfort operating in a 0-to-1 setting with ambiguous requirements and a strong bias for action.
• Proficiency in Python programming language.
• Experience building cloud-based services on AWS, GCP, or Azure, with high-volume data, streaming or real-time inference paths, and a range of data stores.
• Deep expertise in the design, architecture, and deployment of production-grade ML/AI systems, including LLM orchestration, embedding models, and vector stores.
• Strong fundamentals of statistical machine learning algorithms, transformer models, LLMs
• Ability to raise the technical bar of a team through mentorship, design review, and standards, without formal management authority.
• Experience in building cloud-based services using AWS, GCP, or Azure.
• Strong communication skills and highly effective collaborator who works well with teammates. 

Desired:

• Prior experience building autonomous agents that handle multi-turn conversations and maintain long-term context/consistency.
• Strong background in predictive modeling on user behavior, including experiment design and the causal or counterfactual methods needed when randomization is partial.
• Prior experience working in a globally distributed team.

Location

This role will be remote, and based in India - Karnataka, Tamil Nadu, Telangana State, Maharashtra and New Delhi.

Travel 

We prioritize connection and opportunities to build relationships with our customers and each other. For this role, you may be required to travel occasionally to participate in project or team in-person meetings.

What We Offer

Working at Twilio offers many benefits, including competitive pay, generous time off, ample parental and wellness leave, healthcare, a retirement savings program, and much more. Offerings vary by location.

Мы — команда, которая строит и развивает LLM-агентов для поддержки пользователей и внутренних бизнес-процессов. Делаем решения «под ключ»: от прототипов и экспериментов до промышленных сервисов с мониторингом качества, метриками и стабильной эксплуатацией.

Задачи

• Разрабатывать и развивать LLM-агентов: сценарии, инструменты (tools), оркестрацию, память, маршрутизацию, обработку ошибок и fallback-логики
• Проектировать и внедрять RAG: индексация, эмбеддинги, ретриверы, ранжирование, чанкинг, оценка качества поиска и ответа
• Интегрировать агентные решения в прод: сервисы, API, взаимодействие с Kafka/Redis и другими компонентами инфраструктуры
• Настраивать наблюдаемость и контроль качества: логирование/трейсинг, Langfuse, дашборды, алерты, анализ деградаций
• Проводить офлайн/онлайн-оценку качества: считать precision/recall/F1/F1-macro, строить датасеты, проводить A/B или квазиэксперименты, формулировать гипотезы улучшений
• Участвовать в улучшении пайплайнов данных и экспериментов: подготовка данных, разметка/валидация, хранение и воспроизводимость
• Писать поддерживаемый код: ревью, тесты, документация, CI/CD, участие в архитектурных решениях

Требования

• Уверенный Python (проектирование модулей, типизация, тестирование, работа с API/сервисами)
• Практический опыт работы с LLM/agentic-подходами: промптинг, tool calling, цепочки/графы, управление контекстом, обработка галлюцинаций и ограничений моделей
• Понимание и опыт оценки качества: precision/recall/F1, macro-F1, построение датасетов и интерпретация метрик
• Опыт построения или внедрения RAG (retrieval, embeddings, индексация, ранжирование, чанкинг, оценка retrieval-качества)
• Опыт разработки и эксплуатации сервисов: REST/gRPC, асинхронность, логирование, мониторинг, работа с Git
• Понимание очередей/кэшей/хранилищ (Kafka, Redis или аналоги), опыт интеграций

Будет плюсом

• Опыт с LangGraph / LangChain, Langfuse (трейсинг, промпт-менеджмент, датасеты, evaluation)
• Опыт с YTsaurus или другими распределёнными системами хранения/обработки данных
• Опыт low-code/конструкторов пайплайнов и быстрых прототипов, доведение их до production
• Знание подходов к ранжированию, rerank, hybrid search, query rewriting, guardrails/safety
• Опыт A/B-тестов, построения продуктовых метрик и причинно-следственного анализа
• Опыт работы с контейнеризацией и деплоем (Docker/K8s), CI/CD