Sex typer av förfrågningar, från välbekanta till helt nya.
Steg 1 av 7: Som förut
Hanterar nya formuleringar, och upptäcker de snarlika fallen.
Efter att ha lärt sig tio typer av förfrågningar besvarade Duplex dem i vilken formulering som helst och lämnade nästan allt obekant till din AI. Förfrågningarna kom på sex nivåer, från bekanta formuleringar till snarlika fall byggda för att lura den och förfrågningar från ett annat område.
- 7.5%Felaktiga svar på snarlika förfrågningarEn cache 45.3%, ungefär 6× fler
- 98.98%Av förfrågningarna hanterades korrekt: rätt besvarade eller lämnade till din AIDuplex besvarade 95.78% av kända förfrågningar själv
- 0.996Poäng för att skilja välbekant från nytt, av 1En cache 0.930
Snarlika fall går till din AI.
Per 100 förfrågningar som blandar två inlärda: hur många som besvarades fel.
Steg 1 av 3: En cache
En semantisk cache svarar med det närmaste den har lagrat, och har fel på 45.3% av de snarlika fallen.
Den svarar på det den kan, och skickar vidare resten.
Känt arbete besvarat, nytt arbete vidareskickat, och hur väl varje metod skiljer på dem.
Steg 1 av 3: Känt arbete
Duplex besvarade själv 95.78% av kända förfrågningar, mot 86.44% för en cache.
Mer av ditt arbete, utan självsäkra misstag.
Den största andel som varje metod kunde besvara själv utan ett enda självsäkert misstag.
Steg 1 av 2: Känt arbete
När inga självsäkra misstag tilläts kunde Duplex själv besvara 94.8% av det kända arbetet, mot 59.8% för en cache.
Så genomfördes det.
- Arbetet
- Tio typer av förfrågningar inom kundsupport och bank, 48 exempelformuleringar vardera.
- Sex nivåer
- Formulerad som tidigare, om något nytt, i en ny mening, ett snarlikt fall som blandar två inlärda förfrågningar, en typ som aldrig lärts in, och en annan domän.
- Poängsättning
- En förfrågan som lämnas över räknas som hanterad; att besvara en som borde ha lämnats över räknas som ett misstag.
- Omfattning
- En huvudkörning, sedan tio oberoende körningar i en andra testuppställning.
- Jämfört med
- En semantisk cache och en klassificerare som finjusteras online, med samma exempel.
- Lika för alla
- Varje metods inställning valdes på ett separat valideringsset enligt samma regel, aldrig på testsetet.
Vad det betyder för ditt arbete.
Billiga svar du kan lita på.
Duplex besvarade 95.78% av det kända arbetet själv, och lämnade nästan alla snarlika fall till din AI.
En ny formulering är fortfarande välbekant arbete.
Omformulerade, ombyggda eller om nya detaljer: inlärda förfrågningar besvarades, och besvarades rätt.
Det obekanta går till din AI.
Nya typer av förfrågningar och andra domäner skickades vidare nästan varje gång: 3.2% besvarades ändå.
Se det i ditt eget arbete.
Från din egen assistent till varje agent ditt företag kör sätter en pilot Duplex på ditt eget arbete, med mätetal som avtalas innan den börjar.