AI Benchmark
Anliegen-erkennung
Für die Untersuchung der Anliegeneerkennung haben wir einen Use Case gewählt, der in der Praxis mit unseren Kunden umgesetzt wird. Als Datengrundlage dienen 790 E-Mailanfragen von Endkunden an den Kundenservice. Die Anfragen sind sehr variantenreich, von förmlich bis umgangssprachlich und enthalten zum Teil auch ganze Mailkonversationen. In den Mails sind insgesamt 7 verschiedene Anliegen enthalten.
Alle potentiell interessanten Modelle wurden einem Vortest mit 5 Nachrichten unterzogen. Für die ausführlichen Tests wurden nur Modelle in Betracht gezogen, die bei den Vortests akzeptable Resultate erzielten.
AI Benchmark
Anliegen-erkennung
Für die Untersuchung der Anliegeneerkennung haben wir einen Use Case gewählt, der in der Praxis mit unseren Kunden umgesetzt wird. Als Datengrundlage dienen 790 E-Mailanfragen von Endkunden an den Kundenservice. Die Anfragen sind sehr variantenreich, von förmlich bis umgangssprachlich und enthalten zum Teil auch ganze Mailkonversationen. In den Mails sind insgesamt 7 verschiedene Anliegen enthalten.
Alle potentiell interessanten Modelle wurden einem Vortest mit 5 Nachrichten unterzogen. Für die ausführlichen Tests wurden nur Modelle in Betracht gezogen, die bei den Vortests akzeptable Resultate erzielten.
Qualität
Um einen besseren Überblick über die Qualität der verschiedenen Modelle zu erhalten, geben wir in der folgenden Grafik den F1-Wert als aussagekräftigste Metrik zur Beurteilung der Leistung der Modelle an. Zu sehen ist die Qualität für die 7 getesteten Anliegen.
Qualität der Anliegenerkennung
Das Modell mit der besten Leistung ist GPT-3.5 Turbo. Bei diesem LLM haben wir den Namen des Anliegens mit einem Beispiel in den Prompt eingefügt. Das Modell hat eine oder mehrere Zahlen als Ergebnis ausgegeben. Es gibt zwei weitere generative Modelle (Sprache rein - Sprache raus) in der Übersicht, FLAN-T5-XXL, das bei den meisten Anliegen ähnliche Ergebnisse wie GPT-3.5 Turbo zeigt, und FLAN-T5-XL, das ebenfalls sehr gute Ergebnisse zeigt, sogar im Vergleich zu seinem größeren Bruder. Die FLAN-Modelle können lokal ausgeführt werden, erfordern allerdings recht leistungsfähige GPUs.
Die zwei Modelle, die speziell für die Erkennung von Anliegen trainiert wurden (zero-shot, also nur mit Benennung des Anliegen), zeigen unterschiedliche Leistungen. Während mDeBERTa-v3-base-MNLI-XNLI bei den meisten Anliegen eine eher schlechte Erkennungsrate zeigt, liefert XLM-RoBERTa-large-XNLI vielversprechende Ergebnisse. Beide Modelle sind deutlich kleiner als die FLAN Modelle und damit effizienter zu nutzen.
Die beiden getesteten Embedding-Modelle wurden mit je 10 Beispielen pro Anliegen angelernt. Diese Modelle vergleichen die Embeddings der Testmails mit den Embeddings der Lernbeispiele. Diese beiden Embedding-Modelle zeigten in diesem Modellvergleich die schlechtesten Ergebnisse, abgesehen von weiteren kleinen Open-Source-Modellen, die zwar den Vortest bestanden haben, aber im Testdurchlauf so schlecht abgeschnitten haben, dass sie hier gar nicht gesondert aufgeführt sind.
Antwortzeit
Vergleich der Antwortzeiten bei der Anliegenerkennung
Bei der Antwortgeschwindigkeit liegen die Embedding-Modelle und die FLAN-Modelle weit vorne. GPT-3.5 Turbo liegt mit ca. 0.6 Sekunden pro Bearbeitung im Mittelfeld während die lokal ausgeführten Modelle XLM-RoBERTa-large-XNLI und mDeBERTa-v3-base-MNLI-XNLI rund doppelt so lange benötigen. Weit abgeschlagenen ist BART-large-MNLI mit extrem langen Antwortzeiten. Die lokalen Modelle liefen auf einem A40 GPU (bzw. A100 für FLAN-XXL) ohne jegliche Optimierung, so dass die Geschwindigkeit für den Einsatz im Live-Betrieb höchstwahrscheinlich verbessert werden könnte, wenn etwas Aufwand betrieben wird.
GPT-3.5 Turbo
Mittel: 0,6 Sek.
Median: 0,59 Sek.
Luminous Base Embedding
Mittel: 0,12 Sek.
Median: N/A
Ada
Mittel: 0,52 Sek.
Mean: 0,43 Sek.
BART-large-MNLI
Mittel: 6,67 Sek.
Median: 5,44 Sek.
mDeBERTa-v3-base-MNLI-XNLI
Mittel: 1,26 Sek.
Median: N/A
XLM-RoBERTa-large-XNLI
Mittel: 1,28 Sek.
Median: N/A
FLAN-T5-XXL
Mittel: 0,08 Sek.
Median: 0,07 Sek.
FLAN-T5-XL
Mittel: 0,12 Sek.
Median: 0,10 Sek.
Kosten
Angegeben sind jeweils die Kosten für 790 Mails (komplette Threads).
Die Kosten für GPT-3.5 Turbo sind entsprechend der möglichen Leistungen am höchsten. Dies ist unter anderem darauf zurückzuführen, dass es sich bei diesem Modell um ein Sprachgenerierungsmodell handelt, das deutlich mehr Rechenleistung erfordert, als reine Embedding oder Klassifizierungsmodelle. Das OpenAI-Embedding-Modell (Ada) ist wesentlich günstiger, während das Aleph-Alpha-Embedding-Modell (Luminous Base Embedding) laut den offiziellen Preisen des Unternehmens fast gleich viel kostet wie GPT-3.5 Turbo. Die anderen Modelle wurden lokal ausgeführt, so dass der Preis sehr stark von der Einrichtung und der verwendeten Hardware abhängt. Im Allgemeinen sind größere Modelle teurer als kleinere. Während mDeBERTa-v3-base-MNLI-XNLI eine Größe von 100 Millionen Parametern hat, weist XLM-RoBERTa-large-XNLI eine Größe von 355 Millionen Parametern auf, FLAN-T5-XL hat 3 Milliarden Parameter und FLAN-T5-XXL hat 11 Milliarden Parameter.
GPT-3.5 Turbo
Kosten: 1,20€
Luminous Base Embedding
Kosten: 1,11€
Ada
Kosten: 0,06€
BART-large-MNLI
Kosten: lokal
mDeBERTa-v3-base-MNLI-XNLI
Kosten: lokal
XLM-RoBERTa-large-XNLI
Kosten: lokal
FLAN-T5-XXL
Kosten: lokal
FLAN-T5-XL
Kosten: lokal
Hosting
GPT-3.5 Turbo
Hosting: Europa via Microsoft Azure
Luminous Base Embedding
Hosting: Deutschland
Ada
Hosting: Europa via Microsoft Azure
BART-large-MNLI
Hosting: VIER Frankfurt
mDeBERTa-v3-base-MNLI-XNLI
Hosting: VIER Frankfurt
XLM-RoBERTa-large-XNLI
Hosting: VIER Frankfurt
FLAN-T5-XXL
Hosting: VIER Frankfurt
FLAN-T5-XL
Hosting: VIER Frankfurt
Aufwand für das Setup
Bei GPT-3.5 Turbo ist der Aufwand am geringsten. Das Modell ist durch einen Prompt einfach zu bedienen und braucht keine Feinabstimmung, um bereits nahezu perfekt zu funktionieren für die Anliegenerkennung. Ähnlich einfach ist es bei den FLAN-Modellen. Allerdings ist hier das Ergebnis nur gut, wenn der Prompt Englisch ist. Zudem müssen die FLAN-Modelle lokal aufgesetzt werden. Für die kleineren lokalen Modelle (mDeBERTa-v3-base-MNLI-XNLI und XLM-RoBERTa-large-XNLI) kommt noch hinzu, dass verschiedene Formulierungen der Anliegen sowie Cut-Off Werte für die Klassifikation bestimmt werden müssen. Das erfordert einiges an Testung. Auch bei den Embedding-Modellen ist das Testen und Optimieren der verschiedenen Cut-Off-Werte und der Formulierungen der Beispiele notwendig. Dafür müssen diese Modelle aber nicht lokal aufgesetzt werden.
Jedoch sind alle genannten Aufwände vergleichsweise gering gegenüber der Option ein Modell von Grund auf für die Anliegenerkennung zu trainieren.
GPT-3.5 Turbo
Aufwand: gering
Luminous Base Embedding
Aufwand: eher gering
Ada
Aufwand: eher gering
BART-large-MNLI
Aufwand: mittel
mDeBERTa-v3-base-MNLI-XNLI
Aufwand: mittel
XLM-RoBERTa-large-XNLI
Aufwand: mittel
FLAN-T5-XXL
Aufwand: eher gering
FLAN-T5-XL
Aufwand: eher gering
Produktempfehlung
GPT-3.5 Turbo
Empfehlung: ja (Anliegenerkennung wäre hier aber nicht der klassische Use-case, da es keine Sprachgenerierung erfordert)
Luminous Base Embedding
Empfehlung: nein (es zeigt in manchen Anliegen sehr gute Ergebnisse, in anderen allerdings sehr schlechte, mehr Feinabstimmung könnte helfen, aber dann ist der Preis immer noch sehr hoch)
Ada
Empfehlung: nein (es zeigt in manchen Anliegen sehr gute Ergebnisse, in anderen allerdings sehr schlechte, mehr Feinabstimmung könnte helfen)
BART-large-MNLI
Empfehlung: nein
mDeBERTa-v3-base-MNLI-XNLI
Empfehlung: nein
XLM-RoBERTa-large-XNLI
Empfehlung: ja
FLAN-T5-XXL
Empfehlung: ja (Anliegenerkennung wäre hier aber nicht der klassische Use-case, da es keine Sprachgenerierung erfordert)
FLAN-T5-XL
Empfehlung: ja (Anliegenerkennung wäre hier aber nicht der klassische Use-case, da es keine Sprachgenerierung erfordert)