GPT-4
von OpenAI
GPT-4
von OpenAI
Hauptanwendungsfälle: Nutzbar für jede Aufgabe, die Sprachgenerierung erfordert. Sehr hohe Qualität bei Zusammenfassungen, Chatanwendungen, Anliegen- und Sentimenterkennung sowie Erstellung von Kreativcontect, Coding oder Allgemeinwissen. Ist in der Lage die Leistung anderer Modelle in Dialogaufgaben zu beurteilen. Kann zusätzlich auch Bilder als Eingabe verarbeiten.
Inputlänge: Drei verschiedene Modelle mit 8.192 Tokens (ca. 6.144 Wörter), 32.769 Tokens (ca. 24.576 Wörter) und 128.000 Tokens (über 300 Seiten Fließtext)
Sprachen: 95 natürliche Sprachen, ist in mind. 26 Sprachen besser als GPT-3.5 Turbo
Modellgröße: ~1,8 Billionen Parameter
Hauptanwendungsfälle: Nutzbar für jede Aufgabe, die Sprachgenerierung erfordert. Sehr hohe Qualität bei Zusammenfassungen, Chatanwendungen, Anliegen- und Sentimenterkennung sowie Erstellung von Kreativcontect, Coding oder Allgemeinwissen. Ist in der Lage die Leistung anderer Modelle in Dialogaufgaben zu beurteilen. Kann zusätzlich auch Bilder als Eingabe verarbeiten.
Inputlänge: Drei verschiedene Modelle mit 8.192 Tokens (ca. 6.144 Wörter), 32.769 Tokens (ca. 24.576 Wörter) und 128.000 Tokens (über 300 Seiten Fließtext)
Sprachen: 95 natürliche Sprachen, ist in mind. 26 Sprachen besser als GPT-3.5 Turbo
Modellgröße: ~1,8 Billionen Parameter
Testergebnisse
Use case: Zusammenfassung
Qualität
Die Qualität der Zusammenfassungen von GPT-4 ist in allen Bewertungskategorien überragend, d.h. es werden flüssige und inhaltlich korrekte sowie prägnante Zusammenfassungen erzeugt. Zum besseren Verständnis der Ergebnisqualität stellen wir in der Grafik den Bewertungen der maschinellen Zusammenfassungen die Referenzzusammenfassungen (von menschlichen Expert:innen) derselben Texte gegenüber. GPT-4 erzielte in allen sechs Kategorien bessere Bewertungen als menschlich geschriebene Zusammenfassungen. Daher befürworten wir einen Einsatz auch für deutsche Texte und im speziellen auch für Transkripte mit zum Teil geringer Qualität.
Antwortgeschwindigkeit
In unseren Test zeigten sich erhebliche Schwankungen in den Antwortzeiten, mutmaßlich aufgrund der Auslastung der OpenAI-API. Ansonsten lagen die Antwortzeiten mit einem Mittelwert und Median von ungefähr 10 Sekunden im mittleren Bereich und sind für diese Komplexität der Aufgabe und die anvisierten Anwendungsfälle akzeptabel.
- Median: 9,7 Sek.
- Mittelwert: 10,2 Sek.
- Minimum: 5,8 Sek.
- Maximum: 21,9 Sek.
Kosten
Die Zusammenfassung der 109 Transkripte kosteten rund 2,22€, also rund 2 Cent pro Transkript. Die Kosten für GPT4 sind vergleichsweise hoch.
Hosting
Ähnlich wie bei ChatGPT wird die OpenAI-Version des Modells in den USA gehostet. Es gibt eine Version auf Azure, die in Europa gehostet wird. Wir haben bereits Zugang zu dieser Version und können sie in unseren Produkten verwenden.
Produktempfehlung
Trotz des vergleichsweise hohen Preises können wir aufgrund der überragenden Qualität und der akzeptablen Geschwindigkeit eine klare Produktempfehlung für dieses Modell aussprechen, wenn Zusammenfassungen von deutschen Gesprächen bzw. Gesprächstranskripten gewünscht werden. Das Modell überzeugt durch ein Gesamtpaket an vollständigen, flüssig formulierten, gut strukturierten und prägnanten Zusammenfassungen.