Nos últimos anos, o comportamento do consumidor mudou, resultando em um atendimento mais próximo e eficaz. Por conta desse avanço, a tecnologia também passou por essa evolução, proporcionando o desenvolvimento dos chatbots que, atualmente, agem como facilitadores no relacionamento entre as empresas e os clientes.
A automação dos processos é algo que trouxe mais agilidade durante a comunicação com o consumidor, evitando filas de espera exaustivas e garantindo a satisfação. No último ano, mais de 100 mil bots foram criados no Brasil, de acordo com um levantamento Mapa do Ecossistema Brasileiro de Bots 2020, de Mobile Time/Opinion Box.
Um dos vários benefícios que os robôs digitais oferecem são as métricas. Esses dados podem ajudar na interpretação de possíveis problemas a serem solucionados, além de indicar se a estratégia usada durante o atendimento está sendo efetiva.
Métricas dos chatbots
Existem oito métricas que a empresa pode extrair dos chatbots. Abaixo, explico sobre cada uma delas:
1. Taxa de confusão: essa métrica está relacionada à quantidade de vezes que o bot não conseguiu compreender o que o usuário quis dizer. Nesses casos, o robô é programado para responder algo como “Desculpe, não entendi o que você falou”.
Uma boa prática para essa situação é sugerir caminhos para o usuário seguir com o atendimento, assim a fala se torna “Desculpe, não entendi o que você falou, mas posso te ajudar com X, Y e Z”.
2. Taxa de retenção: diz a respeito da quantidade de interações que o chatbot conseguiu realizar sozinho, sem a necessidade de transferir para um atendente humano.
3. Taxa de transferência: está relacionada ao volume de conversas que foram transferidas do bot para os operadores. O resultado pode ser positivo ou negativo, dependendo do objetivo para o qual o chatbot foi programado.
4. Taxa de satisfação: pode ser analisada caso o robô esteja programado para fazer uma pesquisa de satisfação ao final da interação com o cliente para entender sua opinião sobre o atendimento prestado.
Vale ressaltar que há quatro métricas que são obtidas pelo trabalho de curadoria, no qual os linguistas passam a realizar um trabalho de análise das interações dos usuários com o robô, são elas:
5. Acurácia: proporção de mensagens identificadas corretamente: verdadeiros negativos e verdadeiros positivos, com a soma de todas as classificações feitas pelo bot: verdadeiros positivos, falsos positivos, verdadeiros negativos e falsos negativos, é possível ter uma dimensão do quanto o bot está conseguindo identificar assuntos que ele trata e que não está apto a tratar.
6. Precisão: excluem-se as mensagens que o bot não conseguiu compreender, chamados de fallbacks, e se tem uma proporção das mensagens identificadas corretamente pelo bot, conhecidas como verdadeiros positivos, com a soma das mensagens identificadas pelo bot de forma correta ou não, denominados de verdadeiros positivos e falsos positivos.
7. Recall: é a proporção entre as mensagens identificadas corretamente pelo bot: verdadeiros positivos, e a soma das mensagens identificadas corretamente e as que ele deveria ter identificado, mas falhou, o falso negativo.
8. Medida F (ou F1 Score): diz a respeito da média harmônica entre precisão e revocação. Uma vez que seu valor está alto significa que a acurácia que obtivemos é relevante, ou seja, os valores de VP, VN, FP, FN aferidos não apresentam grandes distorções. Além disso, é possível interpretar como uma medida de confiabilidade da acurácia, que foi explicada no item seis.
Coleta dos dados
A coleta das métricas pode acontecer de forma automática pela plataforma que está sendo usada para gerenciar os chatbots e as interações que são realizadas através dos canais de atendimento, ou, como falamos anteriormente, com o trabalho de curadoria de conteúdo.
Para as empresas é válido observar as métricas para realizar possíveis ajustes nos processos, como treinar melhor o bot para que ele compreenda as solicitações dos usuários durante uma conversa, treinar a equipe para demandas mais complexas que estão sendo requisitadas e até realizar atualizações com base nos feedbacks dos clientes e, com isso, melhorar a operação e satisfação deles.
O uso das métricas contribui para ajustes mais precisos nos processos de comunicação entre a empresa e seus clientes.
