Google Lens mit AI: Gemini Live im ersten Test
Zum Mobile World Congress in Barcelona hat Google angekündigt, den Konversationsmodus von Gemini um weitere Eingabemethoden zu erweitern. Genauer handelt es sich um eine Implementierung des schon vor über einem Jahr vorgestellten Project Astra in Gemini Live. Dadurch kann der Sprachassistent auf eure Kamera oder auf euren Bildschirm zugreifen und in einer Konversation kontextbasierte Antworten dazu liefern.
Jetzt werden die neuen Funktionen für die aktuellen Topmodelle von Google und Samsung ausgerollt. Zu einem späteren Zeitpunkt soll das Feature für alle Gemini Adcanced-Abonnenten unabhängig von der Hardware zur Verfügung stehen. Ich habe den neuen Modus kurz ausprobiert und teile meine Erfahrungen in diesem Testbericht.
Wer erhält die Kamera- und Bildschirmfreigabe in Google Gemini?
Die neue Kamera- und Bildschirmfreigabe für Gemini Live ist vorerst nur auf folgenden Smartphones verfügbar: Samsung Galaxy S25, S25 Plus, S25 Ultra, Google Pixel 9, 9 Pro, 9 Pro XL und 9 Pro Fold. Das demnächst erscheinende Google Pixel 9a könnte den kontextbasierten Konversationsmodus mit Zugriff auf Bildschirm oder Kamera ebenfalls unterstützen. Es ist vorerst kein kostenpflichtiges Abo notwendig.
Zu einem nicht näher definierten Zeitpunkt sollen alle Abonnenten des Premiumtarifs Gemini Advanced das neue Feature nutzen können. Ob dann auch weiterhin Nutzer des kostenlosen Tarifs auf den aktuellen Topmodellen von Samsung und Google die Funktion verwenden können, geht aus den Infos von Google nicht hervor.
Wenn das Update auf eurem Topmodell von Samsung oder Google noch nicht aufgetaucht ist, solltet ihr die Gemini- und Google-App zwangsweise beenden. Danach ist die neue Funktion verfügbar.
Gemini Live mit Zugriff auf die Kamera und den Bildschirm
Ich habe die neue Kamera- und Bildschirmfreigabe in Gemini Live auf meinem Google Pixel 9 Pro ausprobiert. Ich habe mich dafür entschieden, meinen kurzen Test komplett in deutscher Sprache durchzuführen. Begonnen habe ich mit dem kleinen, aber durchaus eindrucksvollen Trick, den Google auch für die Präsentation von Project Astra verwendet hat. Ich lege also meine Sonnenbrille ein bisschen versteckt in ein Regal und hoffe, dass Gemini Live sie für mich finden kann.
Ganz so gut wie in der Demo funktioniert es bisher leider nicht. Wenn ich die Frage nach der Sonnenbrille stelle, während sie gerade im Bild ist, erkennt Gemini sie sehr zuverlässig. Wenn sie gerade nicht im Bild ist, ich sie aber vorher in einem Schwenk kurz aufgenommen habe, muss ich mehrfach nachfragen, bis Gemini mir die Position nennt. Das Nennen der Position ist immerhin sehr präzise – in meinem Fall lag sie oben auf dem zweiten Regalbrett im Bücherregal, wie mir die KI mitteilt.
Auch ansonsten ist manchmal mehrfaches Nachfragen oder ein kleines Anstupsen in die richtige Richtung nötig, damit Gemini Live seinen Dienst verrichtet. Diese Problemchen können aber sicherlich mithilfe von Updates gelöst werden. Bereits jetzt macht Gemini Live einen sehr guten Job und bietet eine weitaus natürlichere Möglichkeit, über das Kamerabild Fragen zu stellen, als bisher Google Lens.
Das Teilen des Bildschirms klappt ebenso tadellos. Momentan hat Gemini immer nur auf den jeweils aktuellen Ausschnitt Zugriff und kann nicht auf Infos in einer App zugreifen, die sich außerhalb des Sichtbereichs befinden. Auch hier könnte Google die Funktion, die grundsätzlich schon gut funktioniert, mit Updates noch komfortabler machen.
Unsere Einschätzung
Ich habe noch ein wenig mit den neuen Funktionen herumgespielt und bin insgesamt überrascht, wie gut der Konversationsmodus mit Kamera- oder Bildschirmfreigabe bereits funktioniert. Die Antworten kommen schnell, sind gut formuliert und zielen darauf ab, was ich tatsächlich gefragt habe.
Gemini wächst langsam, aber sicher in seine Rollen als Sprachassistent und Ersatz für den Google Assistant hinein. Letzteres stimmt mich vorsichtig optimistisch, dass wir in naher Zukunft neue Smart Speaker und Smart Displays von Google sehen werden, die mit Gemini ausgestattet sind.
Einige Dinge werden noch nicht zuverlässig erkannt oder können nur dann von Gemini bearbeitet werden, wenn ich sie in diesem Moment direkt in die Kamera halte. Das ist aber das größte Problem, das mir während meines kurzen Tests aufgefallen ist. Mit Updates kann Google sicherlich noch nachbessern. Bereits jetzt ist Gemini Live für sehr viele Szenarien das bessere Tool als Google Lens.
Schreibt uns gerne in die Kommentare, was ihr von der neuen Kamera- und Bildschirmfreigabe für Gemini Live haltet. Wenn ihr die Funktion schon ausprobieren konntet, sind wir auf eure ersten Erfahrungen gespannt.
Das könnte dich auch interessieren
Newsletter bestellen
Hol Dir die neuesten Infos zu Chinahandys und Gadgets direkt ins Postfach!
Alle News Updates über Telegram.
Hmmm, habe mit Gemini nichts zu tun, und mir fehlen einfach die Einsatzzwecke wo Gemini für mich irgendwie nützlich sein könnte.
Habe mal Gemini ausprobiert, um ein Bild zu erstellen, und das hat auch so teilweise gut funktioniert.
Kann also nicht viel dazu sagen.