Kan overweg met nieuwe formuleringen, en herkent de dubbelgangers.
Na tien soorten verzoeken te hebben geleerd, beantwoordde Duplex ze in elke bewoording en gaf het bijna alles wat onbekend was door aan je AI. Verzoeken kwamen op zes niveaus, van bekende bewoording tot dubbelgangers die gemaakt waren om het te misleiden en verzoeken uit een ander domein.
- 7.5%Foute antwoorden bij dubbelgangersEen cache 45.3%, ongeveer 6× zoveel
- 98.98%Van de verzoeken correct afgehandeld: goed beantwoord, of overgedragen aan je AIDuplex beantwoordde 95.78% van de bekende verzoeken zelf
- 0.996Score voor het onderscheiden van bekend en nieuw, maximaal 1Een cache 0.930
Zes soorten verzoeken, van bekend tot gloednieuw.
Stap 1 van 7: Zoals eerder
Dubbelgangers gaan naar je AI.
Van elke 100 verzoeken die twee geleerde verzoeken mengen: hoeveel er fout werden beantwoord.
Stap 1 van 3: Een cache
Een semantische cache geeft het dichtstbijzijnde wat hij heeft opgeslagen, en heeft 45.3% van de dubbelgangers fout.
Het beantwoordt wat het weet, en geeft de rest door.
Bekend werk beantwoord, nieuw werk doorgegeven, en hoe goed elke aanpak ze uit elkaar houdt.
Stap 1 van 3: Bekend werk
Duplex beantwoordde 95.78% van de bekende verzoeken zelf, tegen 86.44% bij een cache.
Meer van je werk, zonder zelfverzekerde fouten.
Het meeste dat elke aanpak zelf kon beantwoorden zonder ook maar één zelfverzekerde fout te maken.
Stap 1 van 2: Bekend werk
Zonder ruimte voor zelfverzekerde fouten kon Duplex 94.8% van het bekende werk zelf beantwoorden, tegenover 59.8% voor een cache.
Hoe het is uitgevoerd.
- Het werk
- Tien soorten verzoeken uit klantenservice en bankieren, met elk 48 voorbeeldformuleringen.
- Zes niveaus
- Verwoord als eerder, over iets nieuws, in een nieuwe zin, een dubbelganger die twee geleerde verzoeken mengt, een soort die nooit is geleerd, en een ander domein.
- Beoordeling
- Een overgedragen verzoek telt als afgehandeld; een verzoek beantwoorden dat overgedragen had moeten worden, telt als fout.
- Omvang
- Één hoofdrun, daarna tien onafhankelijke runs in een tweede opzet.
- Vergeleken met
- Een semantische cache en een online gefinetunede classifier, met dezelfde voorbeelden.
- Gelijk gehouden
- De instelling van elke aanpak gekozen op een aparte validatieset met dezelfde regel, nooit op de testset.
Wat het betekent voor je werk.
Goedkope antwoorden die je kunt vertrouwen.
Duplex beantwoordde 95.78% van het bekende werk zelf, en droeg bijna elke dubbelganger over aan je AI.
Nieuwe formulering is nog steeds bekend werk.
Geherformuleerd, omgebouwd of over nieuwe details: geleerde verzoeken werden beantwoord, en goed beantwoord.
Het onbekende gaat naar je AI.
Nieuwe soorten verzoeken en andere domeinen werden bijna altijd doorgegeven: 3.2% werd toch beantwoord.
Zie het in je eigen werk.
Van je eigen assistent tot elke agent die je bedrijf draait: een pilot zet Duplex in op je eigen werk, met vooraf afgesproken maatstaven.