Elke instelling, in één grafiek.
Stap 1 van 4: Het model
Nauwkeuriger bij elke instelling, voor een zevende van de kosten.
Bij elk van zijn acht instellingen was Duplex nauwkeuriger dan een semantische cache bij elk van zijn vijf, of GPT-5.5 alleen bij zijn ene, op dezelfde 3,000 beslissingen. Drie extra runs, op nieuwe stromen, lieten dezelfde volgorde zien.
- 94.1 tot 94.8%Nauwkeurigheid van Duplex, bij elk van de acht instellingenHet beste wat een cache haalde: 77.3%
- 84 tot 91%Op drie nieuwe runs van 1,000 beslissingenHet beste wat een cache haalde: ongeveer 73%
Duplex op zijn slechtst verslaat een cache op zijn best.
De minst nauwkeurige instelling van Duplex tegenover de nauwkeurigste instelling van de cache.
Stap 1 van 2: Accuratesse
Bij zijn minst nauwkeurige instelling scoorde Duplex 94.1%. De cache scoorde bij zijn nauwkeurigste 77.3%.
Een cache afstellen levert geen nauwkeurigheid op.
Dezelfde cache, van de losste tot de strengste matching.
Stap 1 van 3: Strenger
Strenger matchen in een cache stuurt meer verzoeken naar het model: van 4 aanroepen naar 212.
Dezelfde volgorde, run na run.
Drie nieuwe runs van elk 1,000 beslissingen, in een tweede, onafhankelijke opzet.
Stap 1 van 2: Accuratesse
Over drie nieuwe runs in een tweede, onafhankelijke opzet scoorde Duplex 87.7%, en de beste cache 73.0%.
Hoe het is uitgevoerd.
- Het werk
- Dezelfde stroom klantoperaties als bij het kostenresultaat: één juiste actie uit zo’n negentien, of een weigering, met vijf interne regelwijzigingen.
- Instellingen
- Duplex op acht instellingen, van het meest bereid om zelf te antwoorden tot het voorzichtigst; een semantische cache op vijf, van de losste tot de strengste matching; GPT-5.5 alleen op de enige die het heeft.
- Omvang
- Één reeks van 3,000 beslissingen, daarna drie onafhankelijke runs van 1,000 beslissingen in een tweede opzet.
- Gelijk gehouden
- Dezelfde vastgelegde antwoorden van GPT-5.5 voor elk punt, dezelfde terugkoppeling en dezelfde weigerregels.
Wat het betekent voor je werk.
Stabiel bij elke instelling.
Alle acht instellingen van Duplex kwamen uit tussen 94.1% en 94.8% nauwkeurigheid.
Nauwkeurigheid die een cache niet haalt.
Over al zijn instellingen kwam de cache niet verder dan 77.3%, en na een regelwijziging niet verder dan 44.2%.
Overal goedkoper dan het model.
Zelfs de voorzichtigste instelling van Duplex kostte minder dan GPT-5.5 alleen, en was 34 punten nauwkeuriger.
Zie het in je eigen werk.
Van je eigen assistent tot elke agent die je bedrijf draait: een pilot zet Duplex in op je eigen werk, met vooraf afgesproken maatstaven.