Responsabilidades e atribuições

Este especialista terá a missão de elevar agentes de IA já prototipados ao nível de soluções robustas em produção, integrando LLM e dados reais da empresa

Será responsável por definir e aplicar técnicas avançadas de engenharia de prompt e estratégias de interação com LLMs para melhorar a precisão, consistência e controlabilidade das respostas desses agentes

O foco do papel é garantir que os agentes forneçam respostas úteis e seguras, alinhadas aos objetivos do negócio, por meio de prompts bem elaborados, uso de funções auxiliares e monitoramento contínuo do desempenho dos modelos em ambiente de produção

Implementar e gerenciar o deploy de modelos de linguagem (como APIs do OpenAI, modelos locais via Ollama ou outras plataformas), garantindo integração perfeita dos LLMs à nossa plataforma
Projetar, testar e otimizar prompts avançados para os agentes de IA, utilizando técnicas de prompt engineering (ex.: exemplos few-shot, chain-of-thought prompting) para guiar o raciocínio do modelo e controlar o formato/estilo das respostas conforme as necessidades de cada caso de uso
Desenvolver estratégias para incorporar funções auxiliares ou ferramentas de apoio ao LLM – por exemplo, integrações que permitam ao agente buscar dados em bases de conhecimento, executar cálculos ou consultar APIs externas – ampliando as capacidades dos agentes além do texto livre
Aplicar métodos de avaliação automatizada e humana da qualidade das respostas dos agentes: definir métricas objetivas (precisão, relevância, utilidade), implementar testes A/B de diferentes variantes de prompt/modelo e coordenar ciclos de feedback com usuários para melhoria contínua
Monitorar ativamente o desempenho dos modelos em produção (observabilidade do comportamento dos LLMs), criando logs e dashboards que rastreiem taxas de sucesso, tempos de resposta, custos de API e ocorrências de erros ou respostas indesejadas, a fim de identificar rapidamente oportunidades de ajuste
Colaborar com o Engenheiro de Arquitetura de Sistemas e Dados e com o Engenheiro de Dados para assegurar que os agentes de IA estejam utilizando dados atualizados e corretos, configurando pipelines de dados que alimentem o contexto dos modelos (por exemplo, implementação de RAG com base no data lake da empresa, quando aplicável)
Refinar os agentes de IA existentes, transformando-os em produtos estáveis: ajustar prompts e parâmetros do modelo para melhorar a exatidão das respostas, evitar ambiguidades e garantir consistência no tom e nas políticas definidas (incluindo filtros de segurança e conformidade nas respostas)
Executar testes rigorosos de comportamento dos agentes antes de cada release, incluindo cenários de borda e tentativas de uso indevido (prompt injection, perguntas capciosas), afinando os prompts ou adicionando validações para garantir robustez e segurança das interações em produção
Documentar as abordagens de prompt engineering adotadas, criando diretrizes reutilizáveis para desenvolvimento de futuros agentes de IA e contribuindo para o conhecimento interno da empresa em técnicas de LLM
Acompanhar as evoluções na área de IA generativa e LLMs (novos modelos, técnicas de prompt, ferramentas de avaliação) para incorporar as melhores práticas e manter os agentes atualizados com o estado da arte da tecnologia

Requisitos e qualificações

Experiência prática comprovada com implementação e integração de modelos de linguagem em aplicações do mundo real – por exemplo, ter trabalhado com APIs de serviços como OpenAI, Azure/GCP AI, ou implantado modelos open-source (GPT-Neo, LLaMA ou similares) em ambiente de produção
Domínio de técnicas de prompt engineering: capacidade de escrever prompts eficazes para diferentes objetivos, ajustar o tom e estilo das respostas, usar instruções de sistema vs. usuário apropriadamente e aplicar estratégias como cadeia de raciocínio (chain-of-thought) para melhorar a qualidade das respostas do modelo
Familiaridade com ferramentas e frameworks voltados a LLM Ops, tais como bibliotecas de orquestração de prompts (LangChain, LlamaIndex etc.) e metodologias de avaliação de respostas de IA (uso de datasets de teste, métricas de similaridade, detecção de alucinações)
Conhecimentos de avaliação de desempenho de modelos: saber configurar experimentos A/B, coletar feedback de usuários e medir melhorias ou regressões nas respostas do modelo de forma quantitativa
Habilidade de programar em linguagens comumente usadas em IA (Python etc.) para implementar pipelines de chamada aos modelos, processar resultados e integrar os outputs do LLM com o restante da plataforma (por exemplo, pós-processamento das respostas, chamadas a APIs adicionais)
Entendimento de conceitos de observabilidade e segurança em IA: monitoração do uso dos modelos (logs de consultas e resultados), identificação de respostas inadequadas, e aplicação de filtros ou ajustes nos prompts para evitar vazamento de informações sensíveis ou viés indesejado
Boa base em Processamento de Linguagem Natural (PLN), entendendo limitações e capacidades de modelos de linguagem, e noções de como dados de treinamento ou ajustes finos podem impactar as respostas
Graduação em Ciência da Computação, Engenharia,Fisica, Estatística ou área relacionada (ou experiência profissional equivalente), com capacidade de ler artigos técnicos e aplicar novas técnicas de IA conforme necessário
Perfil analítico e metódico, com atenção a detalhes na formulação de prompts e análise crítica das respostas do modelo, além de boa comunicação para traduzir necessidades do produto em configurações técnicas de LLM
Diferenciais Desejáveis:Experiência específica com chain-of-thought prompting e implementação de pipelines multi-etapas com LLMs (por exemplo, agentes que dividem tarefas complexas em etapas de raciocínio estruturado)
Conhecimento de técnicas de fine-tuning de modelos de linguagem ou uso de RLHF (Reinforcement Learning from Human Feedback) para ajustar modelos customizados, mesmo que a ênfase atual seja em prompt engineering
Familiaridade com bases de conhecimento e bancos de vetores para fornecer contexto às respostas dos LLMs, bem como com técnicas de Retrieval-Augmented Generation (RAG) para melhoria da qualidade e atualidade das informações fornecidas pelos agentes
Vivência em projetos envolvendo avaliação humana de IA (human in the loop), elaboração de guidelines de resposta e moderação de conteúdo gerado por IA para alinhamento com políticas da empresa
Contribuições ou participação ativa em comunidades de IA (Kaggle, fóruns técnicos, projetos open-source), indicando paixão por manter-se atualizado(a) na área
Inglês avançado, dada a rápida evolução do campo de LLMs e a necessidade de acompanhar documentação e pesquisas internacionais em prompt engineering e NLP
Experiencia com framework do crewai

Especialista em llm e prompt engineering

Just a Little Data

São Paulo / SP

Vagas da empresa

Sênior

Híbrido

PJ

A combinar

Responsabilidades e atribuições

Requisitos e qualificações

Benefícios de trabalhar com a gente

Vagas no WhatsApp

Candidatura destaque

Acredita que tem fit com a vaga?

Destacar minha candidatura

Candidatura enviada com destaque