14. Januar 2025

Large Language Models im Praxis-Vergleich

Sehr oft höre ich in letzter Zeit, dass Perplexity Pro das beste LLM für Suche und Recherche sei. Anhand von drei Beispielen aus meinem Alltag habe ich das getestet und zum Vergleich ChatGPT 4o und Gemini Advanced 1.5 Pro mit denselben Prompts konfrontiert.

1. Eine Reisempfehlung quer durch Deutschland, optimiert auf Geschwindigkeit und Entspannung mit freier Wahl des Verkehrsmittels:

ChatGPT und Gemini liefern beide eine sauber strukturierte und vollständige Übersicht mit Angaben zu Kosten und Reisedauer – allerdings fehlt im Vergleich das Auto als Option. ChatGPT ist dabei etwas kompakter und kommt besser auf den Punkt. Erstaunlicherweise liefert Perplexity mir lediglich die passende Zugverbindung und argumentiert, warum diese besser sei als der Bus. Das war nicht wirklich überzeugend. In diesem Szenario sehe ich ChatGPT knapp an der Spitze.

2. Eine Restaurantempfehlung in Köln mit deutsch-französischer Küche, die auch am Montagabend geöffnet hat:

ChatGPT schlägt mir zwei Restaurants vor, die beide die Kriterien erfüllen und gut bewertet sind. Perplexity bietet nur ein Ergebnis an, das jedoch ebenfalls passend ist. Gemini liefert hingegen fünf Treffer, strukturiert aufgelistet und mit allen relevanten Eckdaten wie Bewertungen und Links zu Google Maps. Alle drei Modelle erledigen ihren Job, aber Gemini liegt hier eindeutig vorne.

3. Erstellung einer Rechnung als deutscher Freelancer für einen Kunden in den USA:

Definitiv keine triviale Aufgabe, und hier landet Perplexity klar auf dem ersten Platz. Die Antwort von Gemini ist wirr und unbrauchbar. ChatGPT enthält zwar alle wichtigen und korrekten Punkte, ist aber schwer verständlich formuliert. Perplexity liefert hingegen eine perfekt aufbereitete Lösung, die wirkt, als hätte sie ein Steuerberater erstellt. Natürlich habe ich das Ergebnis von meinem Steuerberater prüfen lassen.

Fazit:

Das Perplexity die klassische Google-Suche schlägt steht außer Frage, aber zwischen den drei LLMs gibt es für mich keinen klaren Gesamtsieger. Fürs Erste bleiben alle drei auf meinem Desktop.