Claude v1
von Anthropic
Anthropic ist ein Unternehmen, das von ehemaligen OpenAI-Leitern und -Entwicklern gegründet wurde, um KI zu entwickeln, die ethischen Grundsätzen folgt. Sie glauben an die enormen Auswirkungen der KI und wollen sie in eine bessere Richtung lenken. Ihr Ziel sind zuverlässige, interpretierbare und lenkbare Systeme. Claude ist ein Modell, das von Anthropic in zwei verschiedenen Versionen veröffentlicht wurde. Für diesen Test haben wir Claude v1, das größere Modell, verwendet.
Claude v1
von Anthropic
Anthropic ist ein Unternehmen, das von ehemaligen OpenAI-Leitern und -Entwicklern gegründet wurde, um KI zu entwickeln, die ethischen Grundsätzen folgt. Sie glauben an die enormen Auswirkungen der KI und wollen sie in eine bessere Richtung lenken. Ihr Ziel sind zuverlässige, interpretierbare und lenkbare Systeme. Claude ist ein Modell, das von Anthropic in zwei verschiedenen Versionen veröffentlicht wurde. Für diesen Test haben wir Claude v1, das größere Modell, verwendet.
Hauptanwendungsfälle: Ein allgemeines Modell zur Sprachgenerierung, das für jegliche Form der Sprachgenerierung verwendet werden, beispielsweise zur kreativen Contenterstellung, Textzusammenfassung, Texteditierung, für erweiterte Dialoge oder Verständnis komplexer Zusammenhänge.
Inputlänge: 9.000 Tokens (ca. 6750 Wörter)
Sprachen: Hauptsächlich Englisch. Zusätzlich auch Spanisch und Französisch. In geringerem Umfang auch Deutsch, Italienisch, Portugiesisch und evtl. weitere Sprachen.
Modellgröße: ~93 Milliarden Parameter (Schätzung, da unveröffentlicht)
Hauptanwendungsfälle: Ein allgemeines Modell zur Sprachgenerierung, das für jegliche Form der Sprachgenerierung verwendet werden, beispielsweise zur kreativen Contenterstellung, Textzusammenfassung, Texteditierung, für erweiterte Dialoge oder Verständnis komplexer Zusammenhänge.
Inputlänge: 9.000 Tokens (ca. 6750 Wörter)
Sprachen: Hauptsächlich Englisch. Zusätzlich auch Spanisch und Französisch. In geringerem Umfang auch Deutsch, Italienisch, Portugiesisch und evtl. weitere Sprachen.
Modellgröße: ~93 Milliarden Parameter (Schätzung, da unveröffentlicht)
Testergebnisse
Use case: Zusammenfassungen
Qualität
Claude v1 zeigt bereits sehr gute Zusammenfassungen und ein ähnliches Muster in den Ergebnissen wie GPT3.5 Turbo. In Vollständigkeit - also darin alle wichtigen Informationen zu integrieren - ist es vergleichbar mit menschliche Zusammenfassungen und die Zusammenfassungen sind dabei sogar noch angenehmer zu lesen (Flüssigkeit). Während etwas mehr falsche Informationen enthalten sind als bei menschlichen Zusammenfassungen, ist auch die Struktur des Textes für die Annotator:innen etwas schlechter, sodass auch die Gesamtbewertung leicht geringer ausfällt als bei menschlichen Zusammenfassungen. Die größte Herausforderung hat auch dieses Modell noch damit, Zusammenfassungen zu erstellen, die nur die wichtigen Aspekte enthalten und möglichst kurz sind (Relevanz). Insgesamt ist die Qualität aber sehr gut und fast vergleichbar mit menschlichen Zusammenfassungen. Das Modell kann aus der Qualitätsperspektive definitiv für die Zusammenfassung deutscher, unperfekter Transkripte eingesetzt werden.
Antwortgeschwindigkeit
Die Antwortgeschwindigkeit war in unserem Test sehr gut für den Anwendungsbereich. Der Durchschnitt der Geschwindigkeit lag bei 6,87 und der Mittelwert bei 7 Sekunden. Die Schwankungen waren deutlich geringer als bei den meisten anderen Modellen.
- Median: 7 Sek.
- Mittelwert: 6,87 Sek.
- Minimum: 4 Sek.
- Maximum: 11 Sek.
Kosten
Die Zusammenfassung der 109 Transkripte kostete rund 0,75€, also rund 0,007 € pro Transkript. Die Kosten liegen höher als bei GPT3.5 Turbo, aber geringer als für GPT4 oder Luminous Surpreme Control.
Hosting
Claude wird in den USA gehostet, aber sie stellen ihr Modell über Google Cloud zur Verfügung. Es sollte also möglich sein, später eine in der EU gehostete Version zu bekommen.
Aufwand für Setup
Wie bei ChatGPT ist der Aufwand, um mit Claude zu beginnen, im Allgemeinen sehr gering. Man kann einfach eine Eingabeaufforderung schreiben und loslegen. Aber es gibt eine große Hürde, um Zugang zum Modell zu bekommen. Wir haben den Zugang vor einiger Zeit beantragt und ihn noch immer nicht bekommen.
Sobald der Zugang verfügbar ist, ist die Einstiegshürde ähnlich niedrig wie bei ChatGPT.
Produktempfehlung
Wir können aufgrund der Ergebnisse eine klare Produktempfehlung für Claude v1 aussprechen, auch wenn deutsche, unperfekte Transkripte zusammengefasst werden sollen. Das Modell formuliert gut lesbare, strukturierte Zusammenfassungen, die alle wichtigen Informationen enthalten, aber noch etwas kürzer sein könnten.
Achtung - das Modell ist bisher nicht für den europäischen Markt via API verfügbar.