Objetivo
Este artigo explica como funciona a métrica de nota média avaliada por inteligência artificial na plataforma Ubots, detalhando as regras de cálculo, o que entra e sai da conta, como interpretar os resultados nos relatórios e como conferir os números passo a passo.
Descrição
A métrica representa a nota média atribuída pela inteligência artificial aos atendimentos finalizados dentro do período selecionado.
Essa pontuação é gerada a partir da leitura da conversa feita pelo recurso de avaliação inteligente, quando ele está ativo no sistema.
Por se basear na interpretação do diálogo e não em uma resposta enviada diretamente pelo cliente, essa métrica é diferente da pesquisa de satisfação tradicional (CSAT).
Como o número é calculado e exibido
O cálculo corresponde à média simples das notas de avaliação dos atendimentos:
Linha principal do relatório:
Exibe a média arredondada para uma casa decimal (por exemplo, 3,8).
Tela de detalhamento (número principal em destaque):
Também exibe o valor com uma casa decimal. Vale notar que essa apresentação é diferente do CSAT, onde o número em destaque tem duas casas decimais.
Tabela por grupo e gráfico de distribuição:
Dentro da tela de detalhamento, esses dois locais mostram o valor arredondado para duas casas decimais (por exemplo, 3,80).
Taxa de avaliação:
Apresentada na tela de detalhamento, mostra a proporção de atendimentos que receberam nota em relação ao total de atendimentos realizados.
O cálculo é: quantidade de atendimentos com nota dividida pela quantidade de atendimentos realizados.
Critérios de inclusão: o que entra e o que fica de fora
✧ O que entra:
Apenas os atendimentos que receberam uma nota da inteligência artificial.
Atendimentos selecionados de acordo com a data do protocolo configurada no relatório (a regra considera a data do atendimento e não a data em que a nota foi gerada, diferentemente do CSAT).
✧ O que fica de fora:
Atendimentos sem nota:
Continuam sendo contabilizados no total geral de atendimentos realizados, mas não entram na composição da média (não contam como zero nem como qualquer outro valor).
Atendimentos com nota zero:
Qualquer nota que, ao ser arredondada para uma casa decimal, resulte em zero é tratada pelo sistema como ausência de nota. Por esse motivo, esse atendimento é excluído da média e também fica de fora da taxa de avaliação.
Ambientes sem o recurso instalado:
Se a funcionalidade de inteligência artificial não estiver ativada na conta, nenhuma conversa recebe nota e a coluna correspondente fica vazia para todos os atendimentos.
Como interpretar as informações no dia a dia
Entendendo a cobertura de atendimentos:
Embora a proposta do recurso seja analisar as conversas de forma contínua, a taxa de avaliação pode ficar abaixo de 100%.
Isso acontece justamente porque atendimentos sem nota ou com nota arredondada para zero não são incluídos no cálculo.
Portanto, avalie a nota média sempre em conjunto com a taxa de avaliação para saber sobre quantas conversas aquele número foi gerado.
Média alta com percepção de atendimentos ruins:
Como a nota zero não é tratada como nota baixa, mas sim como falta de avaliação, um período com vários atendimentos ruins pontuados com zero não terá a média rebaixada.
Nesses casos, a equipe pode apresentar uma média alta e uma taxa de avaliação baixa.
Comparação com a pesquisa de satisfação (CSAT):
Não faça comparações diretas entre a nota da inteligência artificial e a média de CSAT. São métricas baseadas em origens e volumes diferentes: uma vem da percepção direta do cliente e a outra resulta da análise do texto da conversa. O recomendado é comparar cada indicador consigo mesmo, avaliando a evolução entre períodos diferentes.
Tempo de atualização:
Os dados podem levar até uma hora para refletir atendimentos recém-concluídos, acompanhando o mesmo tempo de processamento dos demais indicadores da tela.
Exemplo prático de cálculo
Imagine uma equipe com 10 atendimentos realizados entre os dias 1 e 7 de setembro:
Dia 3 de setembro:
O primeiro atendimento é concluído e recebe nota 5. Outros quatro atendimentos recebem as notas 4, 4, 3 e 3. Esses 5 atendimentos entram na média.
Dia 4 de setembro:
Um atendimento curto e insatisfatório é fechado e recebe nota 0. Essa nota vira ausência de avaliação e sai do cálculo da média e da taxa de avaliação. Outro atendimento do período passa pela mesma situação.
Dia 5 de setembro:
Três atendimentos são finalizados e não recebem nenhuma nota. Todos os três ficam de fora do cálculo da média.
Resultado:
Total de atendimentos:
10 (cinco com notas válidas, dois com nota zero e três sem nota).
Soma das notas válidas:
5 + 4 + 4 + 3 + 3 = 19.
Nota média:
19 ÷ 5 = 3,8 (exibida como 3,8 no número em destaque e 3,80 na tabela por grupo).
Taxa de avaliação:
5 ÷ 10 = 50%.(Caso os dois atendimentos zerados fossem considerados como nota, a média seria 19 ÷ 7 = 2,7 e a taxa seria de 70%.
Como eles são desconsiderados, a média do time aparenta um resultado superior ao que ocorreu nas conversas zeradas).
Particularidades e comportamentos do sistema
Identificação do recurso na tela:
Se o recurso de inteligência artificial não estiver ativo, a coluna de notas fica vazia. O sistema exibe essa coluna vazia da mesma forma que mostraria um período em que nenhum atendimento tivesse recebido avaliação.
Diferenciação entre sem nota e nota zero:
Para a exibição dos relatórios, o sistema trata a nota zero exatamente da mesma maneira que um atendimento não avaliado.
Faixas de pontuação no gráfico:
O gráfico de distribuição agrupa apenas notas arredondadas entre 1 e 5.
Caso ocorra alguma pontuação fora desse intervalo, ela será somada ao total de atendimentos avaliados, mas não preencherá nenhuma das barras visíveis de 1 a 5.Atribuição das notas:
A nota pertence ao atendimento em si. Se mais de um grupo participou do fluxo daquele protocolo, a nota é atribuída a todos os grupos envolvidos.
Horário de atendimento:
O indicador não separa notas de atendimentos feitos dentro ou fora do horário comercial.
Atendimentos diretos a um atendente:
Atendimentos que foram direcionados diretamente para um atendente sem passar pela fila de uma equipe não aparecem listados nos nomes dos times convencionais.
Eles são agrupados em uma linha específica chamada "Atendimentos Individuais", acessível pelo filtro de atendimentos individuais quando essa opção estiver disponível.
Passo a passo para conferir os valores manualmente
Você pode auditar e conferir os cálculos extraindo os dados diretamente da plataforma:
Exporte a planilha de atendimentos no objetivo Protocolo, selecionando o mesmo período e o mesmo critério de data utilizados no relatório de desempenho.
Certifique-se de incluir na exportação as colunas com a identificação do atendimento (Protocolo) e a avaliação (Ruby.IA Score | Avaliação).
Na planilha exportada, filtre apenas as linhas que possuem a coluna de avaliação preenchida com nota.
Calcule a média simples somando as notas dessas linhas e dividindo pela quantidade total de atendimentos com nota. Arredonde o resultado para uma casa decimal para conferir com o número principal, ou para duas casas para conferir com a tabela por grupo.
Para validar a taxa de avaliação, divida o número de linhas com nota preenchida pela quantidade indicada na coluna Protocolos Atendidos daquele mesmo período e objetivo.
Conclusão
A média da avaliação por inteligência artificial resume o nível das conversas analisadas pelo sistema Ubots.
Ao analisar esse resultado, considere sempre a taxa de avaliação em conjunto com a nota média e lembre-se de que atendimentos não avaliados ou com nota zero não compõem a base do cálculo.
Este artigo foi útil?
Que bom!
Obrigado pelo seu feedback
Desculpe! Não conseguimos ajudar você
Obrigado pelo seu feedback
Feedback enviado
Agradecemos seu esforço e tentaremos corrigir o artigo