Seis tipos de pedido, do familiar ao totalmente novo.
Passo 1 de 7: Como antes
Lida com novas formulações, e deteta os casos parecidos.
Depois de aprender dez tipos de pedido, o Duplex respondeu-lhes com qualquer formulação e passou à sua IA quase tudo o que não conhecia. Os pedidos vieram em seis níveis, desde formulações familiares a casos parecidos construídos para o enganar e pedidos de outro domínio.
- 7.5%Respostas erradas em pedidos parecidosUma cache 45.3%, cerca de 6× mais
- 98.98%Dos pedidos tratados corretamente: bem respondidos, ou passados à sua IAO Duplex respondeu ele próprio a 95.78% dos pedidos conhecidos
- 0.996Pontuação a distinguir o familiar do novo, em 1Uma cache 0.930
Os casos parecidos vão para a sua IA.
Em cada 100 pedidos que misturam dois pedidos aprendidos, quantos foram respondidos de forma errada.
Passo 1 de 3: Uma cache
Uma cache semântica responde com o que tem guardado de mais próximo, e erra 45.3% dos casos parecidos.
Responde ao que sabe, e passa o resto adiante.
Trabalho conhecido respondido, trabalho novo passado adiante, e quão bem cada abordagem os distingue.
Passo 1 de 3: Já conhecido
O Duplex respondeu sozinho a 95.78% dos pedidos conhecidos, contra 86.44% de uma cache.
Mais do seu trabalho, sem erros cometidos com confiança.
O máximo que cada abordagem conseguiu responder sozinha sem cometer nenhum erro com confiança.
Passo 1 de 2: Já conhecido
Sem margem para erros confiantes, o Duplex conseguia responder sozinho a 94.8% do trabalho conhecido, contra 59.8% de uma cache.
Como foi feito.
- O trabalho
- Dez tipos de pedido de apoio ao cliente e bancários, com 48 formulações de exemplo cada.
- Seis níveis
- Formulado como antes, sobre algo novo, numa frase nova, um caso parecido que mistura dois pedidos aprendidos, um tipo nunca aprendido, e outro domínio.
- Pontuação
- Um pedido passado adiante conta como tratado; responder a um que devia ter sido passado conta como erro.
- Escala
- Uma execução principal, depois dez execuções independentes num segundo ambiente de teste.
- Comparado com
- Uma cache semântica e um classificador com afinação online, com os mesmos exemplos.
- Igual para todos
- A configuração de cada abordagem foi escolhida num conjunto de validação separado, segundo a mesma regra, e nunca no conjunto de teste.
O que significa para o seu trabalho.
Respostas baratas em que pode confiar.
O Duplex respondeu ele próprio a 95.78% do trabalho conhecido, e passou quase todos os casos parecidos à sua IA.
Uma formulação nova continua a ser trabalho familiar.
Reformulados, reconstruídos ou sobre detalhes novos, os pedidos aprendidos foram respondidos, e bem respondidos.
O desconhecido vai para a sua IA.
Os novos tipos de pedido e os outros domínios foram passados adiante quase sempre: 3.2% foram respondidos na mesma.
Veja-o no seu próprio trabalho.
Do seu próprio assistente a cada agente que a sua empresa opera, um piloto põe o Duplex no seu próprio trabalho, com as métricas acordadas antes de começar.