Google Chrome voit ce que vous voyez : Gemini analyse désormais votre écran

Chrome franchit une nouvelle étape vers le navigateur intelligent

Les navigateurs web ne se contentent plus d’afficher des pages Internet. Ils deviennent progressivement de véritables assistants capables de comprendre le contexte dans lequel évoluent les utilisateurs. Avec la nouvelle fonctionnalité « Sélectionner à partir de l’écran », Google poursuit cette transformation en permettant à Gemini d’analyser directement les éléments visibles dans une page web. Cette évolution simplifie les interactions avec l’intelligence artificielle et rapproche Chrome d’un environnement de travail plus intelligent et plus intuitif.

Plus besoin de décrire ce que l’on voit

Jusqu’à présent, demander de l’aide à une IA impliquait souvent de copier un texte, de réaliser une capture d’écran ou de rédiger une description parfois longue et imprécise. Google souhaite éliminer cette étape grâce à une approche beaucoup plus naturelle.

Avec « Sélectionner à partir de l’écran », l’utilisateur peut simplement encadrer un élément visible dans un onglet Chrome, puis interroger Gemini sur ce contenu¹. L’assistant devient ainsi capable d’analyser directement un paragraphe, une image, un graphique, un schéma ou encore la photographie d’un produit.

Cette interaction rappelle le fonctionnement de Circle to Search sur Android, désormais adapté au navigateur Chrome.

Une interaction beaucoup plus naturelle avec l’IA

La nouveauté ne réside pas uniquement dans la sélection visuelle. Elle traduit une évolution plus profonde de la manière dont les utilisateurs communiquent avec les assistants intelligents.

Au lieu d’expliquer ce que l’on souhaite analyser, il suffit désormais de montrer l’élément concerné. Cette approche réduit les ambiguïtés, accélère les échanges et améliore la pertinence des réponses générées par Gemini.

Cette logique multimodale devient progressivement la norme chez les principaux acteurs de l’intelligence artificielle.

Des usages variés pour les professionnels

Google prévoit plusieurs cas d’usage qui dépassent largement la simple recherche d’informations.

Les utilisateurs peuvent notamment :

• demander une explication d’un graphique complexe ;
• comparer plusieurs produits affichés sur une même page ;
• analyser une image technique ;
• résumer un document ;
• transformer un contenu en tableau ou en liste ;
• obtenir des informations complémentaires sur un élément visuel¹.

La possibilité de conserver plusieurs sélections au cours d’une même session facilite également les comparaisons entre différents contenus.

Chrome devient progressivement un assistant de travail

Cette fonctionnalité illustre une évolution importante des navigateurs web. Chrome ne sert plus uniquement à consulter des informations. Il devient un environnement capable d’assister directement les utilisateurs dans leurs tâches quotidiennes.

Cette approche s’inscrit dans une stratégie plus large de Google visant à intégrer Gemini au cœur de l’ensemble de ses produits. Après Android, Workspace et la recherche en ligne, le navigateur devient lui aussi une interface privilégiée pour l’intelligence artificielle.

Une nouvelle étape vers l’IA contextuelle

L’arrivée de cette fonctionnalité confirme l’émergence de l’IA contextuelle. Contrairement aux assistants traditionnels, Gemini ne répond plus uniquement à des commandes textuelles. Il prend désormais en compte le contexte visuel dans lequel évolue l’utilisateur afin de produire des réponses plus pertinentes.

Cette capacité constitue également l’un des fondements de l’IA agentique, où les systèmes comprennent leur environnement avant d’exécuter une action.

Une activation simple pour les utilisateurs

La fonctionnalité est disponible à partir de Chrome 149. Une fois le navigateur mis à jour, il suffit d’ouvrir le panneau Gemini via le bouton « Demander à Gemini », puis d’utiliser l’option « Sélectionner depuis l’écran » accessible depuis le menu « + »¹.

L’utilisateur peut ensuite sélectionner librement une ou plusieurs zones de la page avant de poser ses questions à l’assistant.

Les navigateurs deviennent une nouvelle plateforme d’IA

Avec cette évolution, Google confirme que les navigateurs web deviennent progressivement une plateforme stratégique pour l’intelligence artificielle. Après avoir transformé la recherche en ligne, l’entreprise cherche désormais à enrichir directement l’expérience de navigation grâce à des assistants capables de comprendre ce qui est affiché à l’écran.

Cette tendance pourrait modifier durablement les usages professionnels, notamment dans les domaines de la veille, de la documentation, de la formation ou encore de l’analyse de données.

Comprendre les interfaces intelligentes devient essentiel

Cette évolution met en avant une compétence de plus en plus recherchée : la conception d’interfaces intégrant l’intelligence artificielle. Les futurs professionnels IT devront comprendre comment les technologies multimodales, l’IA générative, le Data management et l’IA agentique interagissent pour proposer des expériences utilisateur plus naturelles et plus efficaces.

Chrome ouvre une nouvelle étape de l’assistance intelligente

Avec « Sélectionner à partir de l’écran », Google poursuit la transformation de Chrome en véritable assistant numérique. Pour les étudiants et futurs professionnels du numérique, cette évolution illustre une tendance de fond : demain, les interfaces ne demanderont plus seulement ce que l’utilisateur souhaite faire, elles comprendront directement ce qu’il regarde afin de l’assister de manière plus pertinente.

L’Actu IT à 360° — décrypter la technologie pour comprendre les métiers de demain.

Pour aller plus loin

L’intégration de Gemini dans Chrome illustre une évolution majeure : les applications du quotidien deviennent progressivement capables de comprendre le contexte dans lequel évoluent leurs utilisateurs. Cette intelligence contextuelle transforme la manière d’interagir avec les outils numériques et ouvre la voie à de nouveaux usages professionnels. Sur un sujet connexe, découvrez notre article « Avec iOS 27, Apple redessine l’expérience utilisateur à l’ère de l’IA », qui montre comment Apple intègre lui aussi l’intelligence artificielle au cœur de son système d’exploitation pour rendre les interactions plus naturelles et plus personnalisées.

Références