Gemini 2.5 Pro: Endlich ein gutes KI-Modell von Google?
Bei meinem Google Pixel 9 Pro (zum Testbericht) ist ein einjähriger Gratiszeitraum für das Premium-Abo Gemini Advanced enthalten. Ende letzten Jahres habe ich einige erste Schritte im damals aktuellen Modell Gemini 1.5 Pro gewagt und bin enttäuscht worden. Zwar waren die Antworten der künstlichen Intelligenz toll formuliert, doch auf faktischer Ebene haben sie zu Wünschen übrig gelassen.
Vor einigen Wochen habe ich zudem das brandneue Gemini Live ausprobiert. Dabei handelt es sich um einen KI-Sprachassistenten, der seit einem zuletzt ausgerollten Update auch auf eure Kamera und den Inhalt eures Bildschirms zugreifen kann.
Die Weiterentwicklung in diesem Bereich läuft nicht nur bei Google auf Hochtouren. Mittlerweile ist Gemini 2.5 Pro seit einigen Wochen verfügbar – wahlweise auch mit einem sogenannten Deep Research-Feature, ähnlich zur gleichnamigen und seit Februar verfügbaren Funktion bei ChatGPT.
Dieser Artikel ist eine direkte Fortsetzung meiner weiter oben verlinkten ersten Schritte mit Gemini. Kann das neue KI-Modell Gemini 2.5 Pro überzeugen? Genau das probieren wir jetzt gemeinsam aus!
Gemini 2.5 Pro: Kann es im Test überzeugen?
Vor einigen Wochen habe ich Gemini 1.5 Pro mit dem Lidl-Prospekt gefüttert und um eine Auflistung der Angebote, Coupons und Lidl Plus-Rabatte gebeten. Leider musste ich den Prospekt zu diesem Zweck erst herunterladen und Gemini die PDF bereitstellen. Abgesehen davon hat mein Vorhaben auch mit Gemini 1.5 Pro schon ziemlich gut funktioniert.
Gemini 2.5 Pro hat den passenden Prospekt auf der Homepage von Lidl entdeckt und sofort mit dem Auslesen der Angebote begonnen. Nach rund einer Minute erhalte ich eine Antwort mit einer Auswahl an Angeboten – tatsächlich sortiert nach den von mir definierten Vorgaben. Zwar wurde der Prospekt aus Witten als Basis genommen, doch das liegt bloß an der ungenauen Ortung über die IP-Adresse. Gebe ich meinen Standort im Prompt an, wird der korrekte Prospekt als Basis für die Recherche verwendet.
Meine Bitte, alle Angebote aus dem Prospekt aufzubereiten, wird von Gemini 2.5 Pro leider nicht umgesetzt. Es wird immer nur eine Auswahl angezeigt.
Abfrage von Wissen
Das Zusammenfassen großer Datenmengen hat auch mit Gemini 1.5 Pro schon ziemlich gut funktioniert. Dort habe ich allerdings massive Probleme bei Abfragen von Wissen feststellen können. Der überwiegende (!) Teil der Antworten war entweder nicht vollständig oder schlicht und ergreifend faktisch inkorrekt. Konnte Google diesbezüglich nachbessern?
Ich entscheide mich, denselben Prompt, mit dem ich Gemini 1.5 Pro gefüttert habe, noch einmal zu verwenden. Welche Musiker waren für die Musik der ersten 39 Folgen der Hörspielserie “Die drei ???” verantwortlich?
Diesmal nennt die Google-KI Carsten Bohn – das ist vollkommen korrekt, ebenso wie die Tatsache, dass seine Musik unter dem Pseudonym Bert Brac veröffentlicht wurde. Dass seine Musik auch über die 39. Folge hinaus verwendet wurde, ist hingegen kompletter Blödsinn. Das Gegenteil ist der Fall: Aufgrund eines Rechtsstreits dürfen alle Titel von Bohn, mit Ausnahme des pauschal abgerechneten Intros der Serie “Fünf Freunde”, nicht mehr verwendet werden. Die einzige Ausnahme, auf die Gemini aber wohl kaum abgezielt haben dürfte, ist ein sehr kurzer und stark verlangsamter Einsatz von “Die Arnoldskinder reißen aus, Teil 1” in der 196. Folge von “Die drei ???”.
Die Nennung von Phil Moss ist korrekt, allerdings handelt es sich dabei nicht um ein Pseudonym von Peter Thomas. Das Sammelpseudonym wurde für Stücke vieler verschiedener Musiker verwendet, unter anderem von den Feldhahn-Brüdern. Weiterhin fehlen diverse überaus relevante Komponisten wie Andreas Beurmann.
Zugegeben – das ist sicherlich kein Allgemeinwissen und dass ich dieses Thema betreffend so gut informiert bin, liegt vor allem an meiner Mitwirkung an einer Hörspielmusikdatenbank. Trotzdem bin ich enttäuscht – die Antwort ist zwar auf eine andere Art falsch, als noch vor einigen Monaten, aber falsch ist sie immer noch.
Deep Research als Heilsbringer?
Anscheinend ist diese Aufgabe zu komplex für Gemini 2.5 Pro. Ich füttere also Deep Research mit Gemini 2.5 Pro mit dem gleichen Prompt und warte für rund fünf Minuten, bis eine Antwort auf meine Anfrage ausgegeben wird.
Tatsächlich: Gemini nennt Bert Brac als Sammelpseudonym unter anderem für Carsten Bohn und Andreas Beurmann. Zudem werden Manfred Rürup und sogar Wilford L. Holcombe und Rudi Bohn erwähnt. Damit ist die Auflistung zwar noch lange nicht vollständig, aber immerhin passen alle genannten Pseudonyme und Komponisten.
Deep Research geht sogar noch über meine geforderte Auflistung der Komponisten hinaus und bereitet für die ersten 39 Folgen die verwendeten Titelmelodien tabellarisch auf. Der Phantomsee wird demnach von “Momme der Kobold, Teil 2” von Carsten Bohn eingeleitet – das ist vollkommen richtig. Folge 29 ist natürlich ein Sonderfall und wird nach der Tabelle in einem kurzen Abschnitt gesondert behandelt.
Sogar das Fazit ist überraschend detailliert und mutet beinahe schon philosophisch an:
Die Praxis der Pseudonymverwendung und die späteren Änderungen der Musikmischungen aufgrund von Rechtsstreitigkeiten machen die genaue Zuordnung der musikalischen Urheberschaft zu einer anspruchsvollen Aufgabe. Dennoch ist unbestreitbar, dass die Musik dieser frühen Folgen einen fundamentalen Beitrag zum anhaltenden Erfolg und dem tief verwurzelten Kultstatus der “Die drei ???”-Hörspielserie geleistet hat. Sie ist mehr als nur Hintergrundgeräusch; sie ist ein eigenständiger kultureller Artefakt, dessen Entstehungsgeschichte und die Identitäten seiner Schöpfer für Generationen von Hörern von großer Bedeutung sind und bleiben.
Tatsächlich liefert mir Deep Research eine faktisch korrekte, allerdings nicht vollständige Abhandlung über dieses in der Tat überaus komplexe Thema. Schade, dass Gemini 2.5 Pro ohne Deep Research weiterhin falsche Informationen liefert.
Gemini 2.5 Flash für schnelle Antworten
Weniger komplexe Fragen möchte Google mithilfe von Gemini 2.5 Flash beantworten. Hier ist die Wartezeit auf eine Antwort deutlich verkürzt, ebenso wie die Antwort an sich. Der Assistent nennt mir nach wenigen Sekunden die Körpergröße von Donald Trump – Gemini 1.5 Pro wollte diese Frage partout nicht beantworten.
Auch die Frage, was am Rhythmus des Liedes Golden Brown von The Stranglers besonders ist, beantwortet Gemini 2.5 Flash nach kurzer Zeit vollkommen korrekt. Gemini 1.5 Pro hatte nur auf die ungewöhnliche Taktart verwiesen, während die neue Version auch die Wechsel zwischen dem 6/8- und 7/8-Takt thematisiert.
Meine Frage nach Änderungen am Line-Up der Band Seeed beantwortet Gemini 2.5 Flash ebenfalls korrekt. Gemini 1.5 Pro hat vor einigen Monaten eine unvollständige Antwort geliefert.
Sonstige Erfahrungen mit Gemini
In den vergangenen Wochen habe ich Gemini gelegentlich für verschiedene Zwecke eingesetzt. Dabei ist mir aufgefallen, dass das Tool massive Probleme mit dem Auflösen von Links hat. Einmal habe ich um die Zusammenfassung eines YouTube-Videos gebeten und zu diesem Zweck eine YouTube-URL im Standardformat meinem Prompt beigefügt.
Gemini hat dann felsenfest behauptet, ich hätte einen Link zu googleusercontent.com angegeben, was ich aber natürlich nicht habe. Das Zusammenfassen des Videos hat deswegen nicht funktioniert. Auch das tabellarische Aufbereiten eines Datenblatts von der chinesischen Xiaomi-Homepage hat nicht funktioniert. Dasselbe gilt für ein Datenblatt von der deutschen Motorola-Homepage.
Spannend finde ich die sogenannten Gems. Dabei handelt es sich um Chats, deren Zweck ihr im Vorhinein mithilfe eines Texts definieren müsst. Das habe ich kurz ausprobiert und es hat sehr gut funktioniert. Schade finde ich, dass die Gems immer auf Gemini 2.0 Flash zurückgreifen und ich das Modell nicht selbst auswählen kann. Sehr seltsam ist zudem, dass neue Gems momentan nur im Browser und nicht etwa in der Android-App von Gemini erstellt werden können.
Natürlich habe ich damit nur einen Bruchteil der Funktionen ausprobiert, die Gemini bietet. Schreibt uns gerne in die Kommentare, wie ihr KI-Tools wie ChatGPT und Gemini in euren Alltag integriert habt.
Unsere Einschätzung zu den neuen KI-Modellen von Google
Insgesamt ist Gemini 2.5 Pro ein großer Schritt in die richtige Richtung und eine drastische Verbesserung der älteren Modelle. Mittlerweile werden bei weitem nicht mehr so viele Falschaussagen getroffen, aber ganz abgestellt sind die Halluzinationen bisher nicht. Wenn Gemini die Antwort nicht weiß oder nicht schnell und einfach herausfinden kann, denkt es sich weiterhin einfach etwas aus. Wenn man im jeweiligen Thema nicht bewandert ist und sich auf die Auskünfte des Modells verlässt, ist das ein großes Problem.
Sehr positiv hat mich hingegen Deep Research überrascht. Bisher handelt es sich dabei um das einzige KI-Tool von Google, das ich im Alltag benutzen würde, um Wissensfragen zu recherchieren. Zwar müsst ihr bis zu zehn Minuten auf eine Antwort warten, dafür ist die aber auch ausführlich, zumindest in meinem Test faktisch korrekt und mit einer Vielzahl an Quellen belegt.
Seit meinem letzten Artikel zu Gemini sind sechs Monate vergangen, und in dieser Zeit hat sich sehr viel getan. KI-Modelle werden von Tag zu Tag besser und ich bin sehr gespannt, wo wir in weiteren sechs Monaten stehen werden. Bisher kann Gemini eine echte Recherche – zumindest, wenn man das Handwerk beherrscht – nicht ersetzen.
Eher langsam schreitet die Entwicklung im Bereich Smart Home voran. Die Google Home-Erweiterung für Gemini ist bei mir immer noch nicht aufgetaucht. Wear OS-Uhren setzen weiterhin auf den Google Assistant, ebenso wie Smart Devices von Google wie das Nest Hub (2. Generation). Die Steuerung von Funktionen auf dem Gerät ist hingegen deutlich besser geworden, die Geschwindigkeit betreffend aber immer noch nicht auf einem Level mit dem Google Assistant.
Insgesamt hat Google noch so einige Aufgaben zu erledigen, bis Gemini überhaupt den Funktionsumfang des alten Google Assistant vollständig abdeckt. Auch darüber hinaus gibt es noch Probleme, seltsame Einschränkungen und Fehler. Das Premium-Abo für 21,99 Euro im Monat ist meiner Meinung nach weiterhin ein miserabler Deal.
Das könnte dich auch interessieren
Newsletter bestellen
Hol Dir die neuesten Infos zu Chinahandys und Gadgets direkt ins Postfach!
Alle News Updates über Telegram.
Also bei meinem Pixel 8 Pro nutze ich seit ca 8-9 Monaten Gemini als Assistenten für mein Smart Home. Lg