In order to focus the test effort on models where we see the most added value and assume that the results could be good, we also carried out a pre-test in the area of intent recognition. To do this, we wrote a prompt and names for the intents for the zero-shot models and an example for the embedding models. We then tested five examples. If some of the examples (2 or 3) are recognized, we assume that fine-tuning could help and award a "yellow" rating. If only 0 or 1 example is recognized, we award a red rating. If 4 or 5 of the examples are recognized correctly, we award a green rating. Models rated yellow and red are not tested further for the time being.
To enable the models to recognize the requests, we have formulated a prompt that we had already tested for functionality in GPT3.5 Turbo:
prompt = """Please recognize if the following examples contain one of these intents:
1) Produkt defekt/mangelhaft. This can contain every possible information that conveys that a product is damaged, defective, deficient or broken in any way. Example: "Hallo. Gestern kam die Dunstabzugshaube. Haben die heute ausgepackt. Wie auf den Fotos zu sehen ist , ist diese verbeult. Das ist so nicht in Ordnung. Was machen wir jetzt?"
2) Paket nicht erhalten. This intent means that a recipient did not (yet) get a package or order or something similar as they expected. This may also concern a partial shipment. This is an example: Guten Tag - ich warte noch auf meine Bestellung?
3) Ich möchte mein Geld erhalten. This intent means the sender wants to receive money from addressee, e.g. (partial) reimbursement (Erstattung) of (faulty) payment, reception of promised transfers/discounts etc. Also for reimbursement of shipment costs (Versandgebühren). Also for accepting money or complaints that money is not there yet. Example: "die obige Bestellung ist seit Monaten in Bearbeitung. Ich würde gern von diesem Kauf zurücktreten, wenn ich das richtig sehe, ist mein Konto mit diesem Betrag bereits belastet worden. Allerdings würde ich gerne mein Gutscheinguthaben zurückerhalten. Ich freue mich auf Ihre Nachricht.";
4) Passwort ändern, neues Passwort bekommen
5) Zählerstand übermitteln, erfassen. This intent means that someone wants to specify or transmit a meter reading. The meter reading may be the actual one or a past meter reading.
6) Account oder Kundenkonto löschen. Example: Bitte löschen Sie alle meine Daten.
7) Bitte keine Werbung, Newsletter der Emails mehr schicken. customers wants to be removed from the mailing list so that they will not receive any further advertising. A specific case might be to unsubscribe from a newsletter. Example: Bitte streichen Sie meine Mailanschrift aus Ihrer Kundenliste!
If you find one of the intents in the data, please indicate that with the according number 1,2,3,4,5,6 or 7. Your answer should only contain that number and no explanation.
If you find none of these intents, please indicate that with a 0.
Which intent do you find in the following messages: """
For the models that have zero-shot detection, we have tested the designations in this way:
Produkt defekt oder mangelhaft, Paket nicht erhalten, möchte Geld bekommen, passwort ändern, Zählerstand , Konto oder Kundenkonto oder Account löschen, keine Werbung oder Newsletter oder Emails mehr schicken
We have inserted these examples after the prompt or the names of the possible requests:
Produkt Defekt
ID778:
Garwood Runge
unzio@calvin.com
Bestellnummer: 244555771 ==> www.collette.com Ticket: 1356686,
außer dem fehlenden Ladegerät wurden noch weitere Mängel festgestellt:
Achse verbogen und Tür lässt sich nicht schließen.
Der Artikel wird zurückgeschickt!
Mfg
Paket nicht erhalten
ID6372:
"Sehr geehrter Herr oder Frau,
Ich habe aber ein Problem mit der Bestellung Unten. DHL teilte mir mit, dass das Paket nicht zugestellt wurde, aber zur Abholung bereit war. Sie schickten sie an eine Abholort, die jedoch sehr weit von mir entfernt ist. Ich habe sie kontaktiert, um sie zu bitten, dass sie zur nahegelegenen Abholstation umgeleitet werden, wo normalerweise Pakete geliefert sind. Sie sagen, dass sie eine Anfrage gestellt haben, um dies zu tun, aber sie können nicht sicher sein, dass es geschehen wird. Sie sagen auch jetzt das ich nur zwei Tage habe es abzuholen, und in dieser Zeit werde ich nicht die Zeit haben (mehr als eine Stunde) um das zu tun.
Das heißt, dass ich das Paket aufgrund eines DHL-Fehlers möglicherweise nicht geliefert wird. In so einem Fall habe ich das Produkt bestellt, bezahlt, und trotzdem nicht bekommen; was mache ich dann?
*Danke für Ihre Hilfe.
Mit freundlichen Grüßen,
Corliss Piras*
From: www.jekaterina.com Lakeisha@Lauri.com
Sent: Monday, August 19, 2019 15:10
To: Haywood Piras Sherika@Rosaria.com
Subject: Ihre Bestellung wurde versendet
Ihre Bestellung wurde versendet | www.jekaterina.com - Ihre Online-Apotheke | Medikamente und Kosmetik zu günstigen Preisen |
<www.bertie.com>
<www.sybyl.com> Schmerzen
•
<www.veda.com> Erkältung
•
<www.eugenius.com> Beauty&Pflege
•
<www.cyndy.com> Reinhold&Darm
Ihre Bestellung wurde versendet
Sehr geehrter Herr Haywood Piras,
den aktuellen Versandstatus Ihrer Lieferung können Sie hier unter Eingabe der Bestellnummer 42359160 und Ihrer E-Mail-Adresse einsehen.
www.luciana.com> aktueller Versandstatus
Alternativ finden Sie hier Ihre Sendungsnummer: 123851828758
Ihre Bestellung
Bestellnummer: 42359160
Bestelldatum: Sonntag, 18. August 2019
Zahlungsweise: PayPal
Lieferanschrift:
Haywood Piras
Steinhälde 237, 15913 Wußwerk
<www.bertie.com> Zum Shop
<www.kally.com>
<www.leeann.com>
<www.emerson.com>
<www.giovanna.com>
<www.hatice.com>
<www.karleen.com>
<www.brina.com>
<www.ilan.com>
<www.basti.com>
<www.gritt.com>
Sicher bezahlen
<www.karrah.com>
<www.zoe.com>
<www.aysun.com>
<www.goldie.com>
<www.allegra.com>
Schnell geliefert - kostenlos
Wählen Sie selbst!
<www.timika.com>
<www.rachel.com>
Alle Bestellungen, die Mo-Fr bis 16:00 eingehen und ausschließlich Produkte mit dem Hinweis ""sofort lieferbar, solange der Vorrat reicht"" enthalten, verlassen in der Regel noch am selben Tag unser Haus. Gratis Versand gilt ab € 20,00 Warenwert.
www.dorelia.com <www.cherelle.com>
Bitte antworten Sie nicht auf diese Nachricht. Diese Systemnachricht wurde automatisch erstellt und Antworten auf diese E-Mailadresse können nicht bearbeitet werden. Wenn Sie uns kontaktieren möchten, nutzen Sie einfach die in dieser E-Mail angegebenen Kontaktmöglichkeiten.
<www.chriss.com>"
Geld zurück erhalten
ID24725:
"Mein Käthe Kruse Werksverkauf - Ihr Anliegen zum Stromvertrag - Kd. Nr. 4024388.
Der Kunde teilt folgendes über den Mein-Käthe Kruse Werksverkauf-Messenger mit:
Kundennummer: 4024388
Benutzernamen/Email-Adresse: isaura@carlie.com
Nachricht: Hi, Ich habe ein Guthaben €52,30 von rechnung datum 15.03.2018. Bitte überweisen Sie diese Guthaben von €52,30 zu mein konto? Die konto details haben Sie schon! Danke."
Passwort ändern
ID105:
Hallo zusammen, bitte sagen Sie mir wo ich mein Benutzerkennwort ändern kann? Vielen Dank, Sharon Dada
Account löschen
ID121:
"Name: Max Mustermann Email: max@kellsie.com Telefon: Nachricht: Schön Guten Morgen, Ich möchte gerne meine Daten und Account bei UnternehmenA löschen, Wo kann ich das machen?? MfG Max Mustermann"
We used a traffic light system to evaluate the result of the pre-test of the individual models. If some of the examples (2 or 3) are recognized, we assume that fine-tuning could help and award a "yellow" rating. If only 0 or 1 example is recognized, we award a red rating. If 4 or 5 of the examples are recognized correctly, we award a green rating. Models rated yellow and red are not tested further for the time being.