Como auditar um agente de IA de vendas: o checklist antes de contratar
Auditar um agente de IA de vendas é conseguir responder, para qualquer conversa: o que a IA disse em nome da sua empresa, por que tomou cada decisão, se essa decisão foi revisada antes de ser executada e o que aconteceu com o lead depois.
Quase toda ferramenta mostra o histórico das mensagens. Poucas deixam você entender e corrigir as decisões da IA. Este checklist separa uma coisa da outra e lista as perguntas para fazer em qualquer demo, inclusive na da Dialogra.
Resumo rápido
- Histórico não é auditoria. Ver as mensagens mostra o que foi dito, não por que o lead foi qualificado ou descartado.
- A auditoria tem três momentos: antes de o agente falar com leads reais, durante cada conversa e depois que ela termina.
- O critério de qualificação é seu. Sem ele configurado e visível, não há contra o que comparar as decisões da IA.
- O melhor momento para pegar um erro é antes de a IA agir. Por isso conta tanto uma camada que revisa a decisão antes da execução.
- Auditoria sem correção não serve. O que você encontra precisa virar ajuste no agente, testado antes de voltar a campo.
Histórico de mensagens × auditoria de verdade
Na demo, quase toda ferramenta mostra uma tela com a conversa inteira. Use esta tabela para saber se é só isso.
| Pergunta que você precisa responder | Só históricolista de mensagens | Auditoriao que exigir |
|---|---|---|
| O que a IA disse ao lead? | ✓ | ✓ |
| Por que ela qualificou ou descartou? | ✕ | ✓ |
| Contra qual critério ela decidiu? | ✕ | ✓ |
| Alguém revisou a decisão antes de ela ser executada? | ✕ | ✓ |
| Quando um vendedor assumiu, e com qual contexto? | ~ | ✓ |
| Qual mensagem gerou opt-out ou atingiu a pessoa errada? | ✕ | ✓ |
| Como eu corrijo o comportamento e testo a correção? | ✕ | ✓ |
Checklist: 10 pontos para auditar antes de contratar
Organizados pelo momento em que cada um protege você: antes de ir a campo, durante a conversa e depois dela.
Antes de o agente falar com leads reais
1. Critério de qualificação configurável e visível
ICP, o que conta como lead qualificado, tom de voz, playbook, regras de follow-up e de repasse para humano. Tudo isso precisa estar escrito em um lugar que o gestor vê e edita. Sem critério explícito, não há contra o que auditar.
Pergunte na demo: onde eu configuro o critério de qualificação? Quem do meu time consegue mudar?
Sinal de alerta: "a IA aprende sozinha o que é lead bom".
2. Base de conhecimento com escopo
O agente só deve responder com o que está na base da sua empresa, separada por agente e por produto. É isso que evita a IA inventar preço, prazo ou funcionalidade.
Pergunte na demo: de onde vêm as respostas do agente? Consigo limitar o que cada agente sabe?
3. Ambiente de teste isolado
Antes de ir a campo, e depois de cada ajuste, você precisa conversar com o agente fazendo o papel do lead difícil, sem enviar nada para leads reais.
Pergunte na demo: consigo testar o agente com as objeções do meu mercado antes de ligar a operação?
Durante a conversa
4. Revisão antes da ação
O ponto mais importante do checklist. Uma camada de supervisão revisa a decisão do agente antes de ela ser executada (mandar a mensagem, qualificar, agendar, descartar), com um limiar de confiança que você ajusta. Auditar depois mostra o erro; revisar antes evita que ele chegue ao lead.
Pergunte na demo: existe revisão antes de a IA agir? O que acontece quando a confiança é baixa?
Sinal de alerta: a única garantia oferecida é "o modelo é muito bom".
5. Vendedor assume e devolve
Um vendedor precisa assumir qualquer conversa no meio, com o histórico completo, e devolver para a IA depois. Na auditoria, você confere se o repasse aconteceu no momento certo e se o vendedor recebeu contexto suficiente.
Pergunte na demo: mostre um vendedor assumindo e devolvendo uma conversa.
6. Regras de transparência e opt-out
A empresa decide se o agente se apresenta como IA sempre, nunca ou só quando perguntado. E todo pedido de "não quero mais receber" precisa ser detectado na conversa e checado antes de qualquer envio seguinte.
Pergunte na demo: onde eu configuro como o agente se apresenta? Como o opt-out é detectado?
Depois da conversa
7. Veredito registrado em cada etapa
Cada lead precisa sair com um veredito ligado ao seu critério, não só com uma etiqueta "interessado". É o que permite descobrir se um descarte errado foi culpa da IA, do critério ou da informação que o lead deu.
Pergunte na demo: abra uma conversa descartada e me mostre por que ela foi descartada.
8. Curadoria das conversas encerradas
Revisar conversas encerradas e transformar o que você encontra em ajuste no agente. Sem esse caminho de volta, a auditoria vira só um relatório.
Pergunte na demo: quando eu acho uma resposta ruim, como corrijo o agente?
9. Rastro fora da ferramenta
Qualificação, agendamento e descarte devem chegar ao seu CRM como eventos, com o resumo da conversa. Assim a auditoria não depende de alguém abrir a ferramenta de IA, e o histórico fica com a sua empresa.
Pergunte na demo: quais eventos vão para o meu CRM? O descarte também vai?
10. Dano atribuído à mensagem que o causou
Em prospecção, auditar também é saber qual passo da cadência gerou opt-out ou atingiu número errado, e separar pessoa errada e resposta automática das respostas reais. Senão a taxa de resposta parece melhor do que é.
Pergunte na demo: consigo ver opt-outs e números errados por etapa da cadência?
Como fazer a auditoria toda semana
Depois de contratar, uma rotina curta resolve a maior parte dos problemas. Faça toda semana no primeiro mês e sempre que mudar a oferta, o critério ou a base de conhecimento.
- Todos os repasses para humano. O repasse aconteceu no momento certo? O vendedor recebeu contexto suficiente para não repetir perguntas?
- Todos os descartes. Compare o veredito com o critério. Descarte errado é lead perdido sem ninguém saber.
- Uma amostra das qualificadas. O lead qualificado bate com o seu ICP? Se não bate, o problema costuma estar no critério, não na IA.
- Todos os opt-outs. Qual mensagem veio antes? Se a mesma etapa aparece várias vezes, reescreva essa etapa.
- Ajuste e teste. Corrija o perfil ou a base de conhecimento, teste o ajuste no ambiente isolado e só então volte a campo.
Como a Dialogra atende a este checklist
A Dialogra é uma plataforma de pré-vendas com agentes de IA (SDR e BDR) feita para ser gerenciada. É o que ela faz hoje, em produção:
- Antes de ir a campo: perfil de qualificação configurável (ICP, critérios, tom de voz, playbook, regras de follow-up e de repasse), base de conhecimento com busca vetorial e escopo por agente e produto, e Playground para testar o agente sem falar com leads reais.
- Durante a conversa: um segundo modelo revisa a decisão do agente antes de a ação ser executada, com limiar de confiança configurável. O vendedor assume quando quiser e devolve para a IA depois. A transparência é configurável e o opt-out é detectado na conversa e verificado antes de qualquer envio.
- Depois da conversa: veredito por etapa, curadoria das conversas encerradas para calibrar a IA e eventos de lead qualificado, agendado e descartado enviados ao seu CRM por webhook assinado. Pipedrive é nativo; HubSpot e RD Station têm ativação assistida.
- Em campanhas: opt-outs e números errados atribuídos ao passo que os provocou, e status próprios para pessoa errada e resposta automática, que não inflam a taxa de resposta.
- Canais oficiais: WhatsApp pela Cloud API da Meta (a Dialogra é Tech Provider verificado), Instagram Direct e e-mail pelo servidor da sua empresa.
Para quem a Dialogra não é: se a prioridade é disparar o maior volume possível pelo menor preço, sem acompanhar as conversas, existem ferramentas mais baratas. Veja também os 8 critérios para escolher uma ferramenta de SDR com IA e o que é SDR com IA.
Perguntas frequentes
O que é auditar um agente de IA de vendas?
É conseguir responder, para qualquer conversa, quatro perguntas: o que a IA disse em nome da empresa, por que ela tomou cada decisão, se alguém ou algum mecanismo revisou essa decisão antes de ela ser executada e o que aconteceu com o lead depois. Se a ferramenta só responde a primeira, você tem histórico, não auditoria.
Ver o histórico das conversas é suficiente para auditar a IA?
Não. O histórico mostra o que foi dito, mas não mostra por que o lead foi qualificado ou descartado, nem se a decisão foi revisada antes de a IA agir. Para auditar, você precisa de critério de qualificação configurado e visível, veredito registrado em cada etapa, uma camada de revisão antes da ação e um jeito de corrigir o comportamento do agente a partir do que encontrou.
Com que frequência devo auditar um agente de IA de vendas?
Toda semana nas primeiras semanas de operação e sempre que mudar a oferta, o critério de qualificação ou a base de conhecimento. Uma rotina curta funciona: revisar todos os repasses e descartes da semana, uma amostra das conversas qualificadas e todos os opt-outs, ajustar o perfil do agente e testar o ajuste antes de voltar a campo.
Como saber por que a IA descartou um lead?
A ferramenta precisa registrar um veredito em cada etapa, ligado ao critério de qualificação que a sua empresa configurou. Assim você compara a decisão com o critério e descobre se o erro foi da IA, do critério ou da informação que o lead deu. Peça para ver isso em uma conversa descartada durante a demo.
O agente de IA precisa dizer que é uma IA?
É uma decisão da política da sua empresa, e ela deve estar configurada, não deixada ao acaso. Na Dialogra, o agente pode se apresentar como IA sempre, nunca ou só quando o lead perguntar. O ponto de auditoria é conferir se o comportamento nas conversas reais segue a regra escolhida.
Audite a nossa IA na demo.
30 minutos com a sua oferta real. Leve este checklist e peça para ver cada ponto funcionando.
- 1Você traz o checklist e a sua ofertaA conversa segue os pontos que importam para você.
- 2Mostramos o agente conversando no seu cenárioCom as objeções que o seu lead costuma fazer.
- 3Você vê a supervisão, o veredito e o repasse na práticaE sai com uma proposta para o seu volume, sem compromisso.