Um modelo congelado, adaptado sem lhe tocar.
Passo 1 de 5: Congelado
Supera a afinação, sem nenhuma execução de treino.
O Duplex fez um modelo congelado comportar-se como se tivesse sido afinado, e superou o melhor adaptador de uma bateria ajustada de LoRA, QLoRA e DoRA nos seis testes: três conjuntos de dados públicos de intenções em duas famílias de modelos abertos, com três execuções cada.
- 6 / 6Testes em que o Duplex superou um adaptador afinado+30.3 pontos em média
- 0Retreino para passar para outra família de modelosOs adaptadores passaram em 0 de 6
- 60 a 79%Respondido com base no que aprendeuEm qualquer das famílias de modelos
À frente nos seis testes.
Precisão no BANKING77, no CLINC150 e no HWU64, com o Qwen2.5 e o SmolLM2.
Passo 1 de 3: Congelado
Sozinhos, os modelos congelados pontuaram entre 11% e 49% nos seis testes.
Continua a aprender em serviço.
À medida que chegam exemplos verificados, o Duplex responde mais vezes sozinho, e continua a acertar.
Passo 1 de 3: 40 exemplos
Após 40 exemplos verificados, o Duplex respondeu sozinho a 1.7% dos pedidos, sem nenhum erro.
Onde o Duplex vai mais longe do que a afinação.
Capacidade geral, remoção, mudança de modelo e pedidos repetidos, lado a lado.
Passo 1 de 4: Conhecimento geral
Numa verificação de conhecimento geral, o Duplex deixou o modelo inalterado nos seis testes. O adaptador custou-lhe 1 a 4 pontos.
Como foi feito.
- A tarefa
- Classificação de intenções: ler uma mensagem e devolver exatamente um rótulo de intenção.
- Conjuntos de dados
- BANKING77 (77 intenções), CLINC150 (151) e HWU64 (64), todos públicos.
- Modelos
- Qwen2.5-1.5b-instruct e SmolLM2-1.7b-instruct, congelados.
- Escala
- 300 exemplos de treino por execução, três execuções para cada conjunto de dados e família de modelos: 18 execuções.
- Comparado com
- O modelo congelado sozinho, e o melhor adaptador de um varrimento ajustado de LoRA, QLoRA e DoRA.
- Igual para todos
- O mesmo modelo congelado, os mesmos dados, as mesmas divisões, o mesmo prompt e a mesma análise das respostas para todas as abordagens.
O que significa para o seu trabalho.
Adaptação sem execução de treino.
O Duplex superou o adaptador ajustado em todos os testes, por 30.3 pontos em média.
O seu modelo continua a ser o seu modelo.
O conhecimento geral do modelo ficou inalterado, e o que o Duplex aprendeu pode ser removido, coisa a coisa, com exatidão.
Mude de modelo à vontade.
O que o Duplex aprendeu passou para a outra família de modelos sem retreino.
Veja-o no seu próprio trabalho.
Do seu próprio assistente a cada agente que a sua empresa opera, um piloto põe o Duplex no seu próprio trabalho, com as métricas acordadas antes de começar.