Desafios do Benchmark CRMArena-Pro da Salesforce para Agentes de IA
O novo benchmark CRMArena-Pro da Salesforce revela grandes desafios para agentes de inteligência artificial em contextos empresariais. Mesmo modelos avançados, como o Gemini 2.5 Pro, alcançam apenas 58% de taxa de sucesso em interações simples, com desempenho caindo para 35% em diálogos mais extensos.
Desenvolvido para testar a atuação dos grandes modelos de linguagem como agentes em ambientes reais de negócios — especialmente em tarefas de CRM, como vendas, atendimento ao cliente e definição de preços — o CRMArena-Pro amplia o escopo do benchmark original. A ferramenta inclui funções empresariais adicionais, diálogos com múltiplas interações e testes de privacidade dos dados. Utilizando dados sintéticos dentro de uma organização Salesforce, foram criadas 4.280 instâncias de tarefas distribuídas por 19 tipos de atividades e três categorias de proteção de dados.
Taxa de Sucesso Cai com Diálogos Prolongados
Os resultados evidenciam as limitações dos modelos de linguagem atuais. Em tarefas simples, com uma única interação, mesmo modelos avançados atingem apenas cerca de 58% de acurácia. Contudo, quando o sistema precisa resolver conversas com múltiplas interações — fazendo perguntas para preencher lacunas de informações — o desempenho despenca para apenas 35%.
Testes extensivos realizados com nove LLMs indicaram que a maioria dos modelos tem dificuldade em formular as perguntas de acompanhamento corretas. Em uma análise de 20 tarefas multi-interação mal-sucedidas com o Gemini 2.5 Pro, quase metade dos casos falhou por não solicitar informações essenciais. Modelos que propõem mais perguntas demonstram melhor performance nesse cenário.
A Privacidade dos Dados Permanece em Segundo Plano
O benchmark também expõe lacunas na proteção dos dados. Por padrão, os LLMs raramente reconhecem ou rejeitam solicitações de informações sensíveis, como dados pessoais ou informações internas da empresa. Somente ao ajustar o prompt do sistema para incluir diretrizes explícitas de privacidade os modelos passam a recusar tais solicitações, embora isso prejudique seu desempenho geral.
Por exemplo, o GPT-4o aumentou sua capacidade de identificar dados confidenciais — de 0 a 34,2% —, mas essa melhoria acarretou uma queda de 2,7 pontos na taxa de conclusão das tarefas. Modelos de código aberto, como o LLaMA-3.1, demonstraram menor responsividade a esses ajustes, evidenciando a necessidade de um treinamento mais robusto para seguirem instruções priorizadas.
- A Salesforce lançou o CRMArena-Pro, um benchmark destinado a avaliar agentes de IA em cenários empresariais reais, incluindo diálogos multi-interação e verificações de proteção de dados no CRM.
- Modelos de ponta, como o Gemini 2.5 Pro, alcançam apenas 58% de sucesso em tarefas simples, com desempenho caindo para 35% em diálogos prolongados devido à falta de perguntas-chave.
- A percepção sobre a proteção de dados é limitada nos LLMs; somente instruções específicas elevam a detecção de informações sensíveis, embora isso impacte negativamente a performance geral em tarefas.
