Damit wir den Testaufwand auf Modelle fokussieren, bei denen wir den meisten Mehrwert sehen und davon ausgehen, dass die Ergebnisse gut sein könnten, haben wir auch im Bereich der Anliegenerkennung einen Vortest durchgeführt. Dafür haben wir einen Prompt geschrieben bzw. Benennungen der Intents für die Zero-Shot Modelle und ein Beispiel für die Embeddingmodelle. Dann haben wir fünf Beispiele getestet. Wenn ein Teil der Beispiele (2 oder 3) erkannt werden, gehen wir davon aus, das Feinabstimmung etwas bringen könnte und vergeben eine “gelbe” Bewertung. Wenn nur 0 oder 1 Beispiel erkannt werden, vergeben wir eine rote Bewertung. Wenn 4 oder 5 der Beispiele korrekt erkannt werden, vergeben wir eine grüne Bewertung. Gelb und rot bewertete Modelle werden vorerst nicht weiter getestet.
Damit die Modelle die Anliegen erkennen können, haben wir einen Prompt formuliert, den wir bei GPT3.5 Turbo bereits auf Funktionalität getestet hatten:
prompt = """Please recognize if the following examples contain one of these intents:
1) Produkt defekt/mangelhaft. This can contain every possible information that conveys that a product is damaged, defective, deficient or broken in any way. Example: "Hallo. Gestern kam die Dunstabzugshaube. Haben die heute ausgepackt. Wie auf den Fotos zu sehen ist , ist diese verbeult. Das ist so nicht in Ordnung. Was machen wir jetzt?"
2) Paket nicht erhalten. This intent means that a recipient did not (yet) get a package or order or something similar as they expected. This may also concern a partial shipment. This is an example: Guten Tag - ich warte noch auf meine Bestellung?
3) Ich möchte mein Geld erhalten. This intent means the sender wants to receive money from addressee, e.g. (partial) reimbursement (Erstattung) of (faulty) payment, reception of promised transfers/discounts etc. Also for reimbursement of shipment costs (Versandgebühren). Also for accepting money or complaints that money is not there yet. Example: "die obige Bestellung ist seit Monaten in Bearbeitung. Ich würde gern von diesem Kauf zurücktreten, wenn ich das richtig sehe, ist mein Konto mit diesem Betrag bereits belastet worden. Allerdings würde ich gerne mein Gutscheinguthaben zurückerhalten. Ich freue mich auf Ihre Nachricht.";
4) Passwort ändern, neues Passwort bekommen
5) Zählerstand übermitteln, erfassen. This intent means that someone wants to specify or transmit a meter reading. The meter reading may be the actual one or a past meter reading.
6) Account oder Kundenkonto löschen. Example: Bitte löschen Sie alle meine Daten.
7) Bitte keine Werbung, Newsletter der Emails mehr schicken. customers wants to be removed from the mailing list so that they will not receive any further advertising. A specific case might be to unsubscribe from a newsletter. Example: Bitte streichen Sie meine Mailanschrift aus Ihrer Kundenliste!
If you find one of the intents in the data, please indicate that with the according number 1,2,3,4,5,6 or 7. Your answer should only contain that number and no explanation.
If you find none of these intents, please indicate that with a 0.
Which intent do you find in the following messages: """
Für die Modelle, die eine zero-shot Erkennung haben, haben wir die Benennungen so getestet:
Produkt defekt oder mangelhaft, Paket nicht erhalten, möchte Geld bekommen, passwort ändern, Zählerstand , Konto oder Kundenkonto oder Account löschen, keine Werbung oder Newsletter oder Emails mehr schicken
Hinter dem Prompt oder den Benennungen der möglichen Anliegen haben wir diese Beispiele eingefügt:
Produkt Defekt
ID778:
Garwood Runge
unzio@calvin.com
Bestellnummer: 244555771 ==> www.collette.com Ticket: 1356686,
außer dem fehlenden Ladegerät wurden noch weitere Mängel festgestellt:
Achse verbogen und Tür lässt sich nicht schließen.
Der Artikel wird zurückgeschickt!
Mfg
Paket nicht erhalten
ID6372:
"Sehr geehrter Herr oder Frau,
Ich habe aber ein Problem mit der Bestellung Unten. DHL teilte mir mit, dass das Paket nicht zugestellt wurde, aber zur Abholung bereit war. Sie schickten sie an eine Abholort, die jedoch sehr weit von mir entfernt ist. Ich habe sie kontaktiert, um sie zu bitten, dass sie zur nahegelegenen Abholstation umgeleitet werden, wo normalerweise Pakete geliefert sind. Sie sagen, dass sie eine Anfrage gestellt haben, um dies zu tun, aber sie können nicht sicher sein, dass es geschehen wird. Sie sagen auch jetzt das ich nur zwei Tage habe es abzuholen, und in dieser Zeit werde ich nicht die Zeit haben (mehr als eine Stunde) um das zu tun.
Das heißt, dass ich das Paket aufgrund eines DHL-Fehlers möglicherweise nicht geliefert wird. In so einem Fall habe ich das Produkt bestellt, bezahlt, und trotzdem nicht bekommen; was mache ich dann?
Danke für Ihre Hilfe.
Mit freundlichen Grüßen,
Corliss Piras
From: www.jekaterina.com Lakeisha@Lauri.com
Sent: Monday, August 19, 2019 15:10
To: Haywood Piras Sherika@Rosaria.com
Subject: Ihre Bestellung wurde versendet
Ihre Bestellung wurde versendet | www.jekaterina.com - Ihre Online-Apotheke | Medikamente und Kosmetik zu günstigen Preisen |
<www.bertie.com>
<www.sybyl.com> Schmerzen
•
<www.veda.com> Erkältung
•
<www.eugenius.com> Beauty&Pflege
•
<www.cyndy.com> Reinhold&Darm
Ihre Bestellung wurde versendet
Sehr geehrter Herr Haywood Piras,
den aktuellen Versandstatus Ihrer Lieferung können Sie hier unter Eingabe der Bestellnummer 42359160 und Ihrer E-Mail-Adresse einsehen.
www.luciana.com> aktueller Versandstatus
Alternativ finden Sie hier Ihre Sendungsnummer: 123851828758
Ihre Bestellung
Bestellnummer: 42359160
Bestelldatum: Sonntag, 18. August 2019
Zahlungsweise: PayPal
Lieferanschrift:
Haywood Piras
Steinhälde 237, 15913 Wußwerk
<www.bertie.com> Zum Shop
<www.kally.com>
<www.leeann.com>
<www.emerson.com>
<www.giovanna.com>
<www.hatice.com>
<www.karleen.com>
<www.brina.com>
<www.ilan.com>
<www.basti.com>
<www.gritt.com>
Sicher bezahlen
<www.karrah.com>
<www.zoe.com>
<www.aysun.com>
<www.goldie.com>
<www.allegra.com>
Schnell geliefert - kostenlos
Wählen Sie selbst!
<www.timika.com>
<www.rachel.com>
Alle Bestellungen, die Mo-Fr bis 16:00 eingehen und ausschließlich Produkte mit dem Hinweis ""sofort lieferbar, solange der Vorrat reicht"" enthalten, verlassen in der Regel noch am selben Tag unser Haus. Gratis Versand gilt ab € 20,00 Warenwert.
www.dorelia.com <www.cherelle.com>
Bitte antworten Sie nicht auf diese Nachricht. Diese Systemnachricht wurde automatisch erstellt und Antworten auf diese E-Mailadresse können nicht bearbeitet werden. Wenn Sie uns kontaktieren möchten, nutzen Sie einfach die in dieser E-Mail angegebenen Kontaktmöglichkeiten.
<www.chriss.com>"
Geld zurück erhalten
ID24725:
"Mein Käthe Kruse Werksverkauf - Ihr Anliegen zum Stromvertrag - Kd. Nr. 4024388.
Der Kunde teilt folgendes über den Mein-Käthe Kruse Werksverkauf-Messenger mit:
Kundennummer: 4024388
Benutzernamen/Email-Adresse: isaura@carlie.com
Nachricht: Hi, Ich habe ein Guthaben €52,30 von rechnung datum 15.03.2018. Bitte überweisen Sie diese Guthaben von €52,30 zu mein konto? Die konto details haben Sie schon! Danke."
Passwort ändern
ID105:
Hallo zusammen, bitte sagen Sie mir wo ich mein Benutzerkennwort ändern kann? Vielen Dank, Sharon Dada
Account löschen
ID121:
"Name: Max Mustermann Email: max@kellsie.com Telefon: Nachricht: Schön Guten Morgen, Ich möchte gerne meine Daten und Account bei UnternehmenA löschen, Wo kann ich das machen?? MfG Max Mustermann"
Mit einem Ampelsystem haben wir das Ergebnis des Vortests der einzelnen Modelle bewertet. Wenn ein Teil der Beispiele (2 oder 3) erkannt werden, gehen wir davon aus, dass Feinabstimmung etwas bringen könnte und vergeben eine “gelbe” Bewertung. Wenn nur 0 oder 1 Beispiel erkannt werden, vergeben wir eine rote Bewertung. Wenn 4 oder 5 der Beispiele korrekt erkannt werden, vergeben wir eine grüne Bewertung. Gelb und rot bewertete Modelle werden vorerst nicht weiter getestet.