C’est une question que l’on me pose souvent. La réponse courte est oui, mais jamais sans votre autorisation explicite. Pensez-y moins comme une surveillance et plus comme une assistance visuelle que vous contrôlez entièrement.
L’intelligence artificielle de Google, propulsée par les modèles Gemini, n’observe pas continuellement votre écran en secret. L’interaction se produit uniquement lorsque vous activez des fonctionnalités spécifiques. Vous détenez les clés. Vous décidez quand partager votre vision.
Comment Gemini “voit” ce qui est sur votre écran
Il existe plusieurs scénarios où vous pouvez autoriser Gemini à accéder au contenu de votre écran. Chacun répond à un besoin différent et nécessite une action de votre part.
La fonctionnalité “Live” : une assistance en temps réel
Imaginez que vous êtes bloqué dans les réglages de votre téléphone. Au lieu de décrire le problème à un ami, vous pourriez lui montrer votre écran. C’est exactement ce que permet la fonction “Live”.
Pour démarrer une session, vous devez manuellement sélectionner l’option “Partager l’écran avec Live”. C’est un acte volontaire. Une fois activé, Gemini voit ce que vous voyez, en temps réel, pour vous guider pas à pas. Vous pouvez naviguer entre les applications, et l’IA suivra pour vous offrir des conseils dynamiques. C’est puissant. C’est pratique.
Le Contexte d’Écran Intelligent sur Android
Sur Android, une autre fonctionnalité existe : le contexte d’écran. Si vous activez ce paramètre, vous pouvez poser des questions à Gemini sur ce qui s’affiche.
Par exemple, en regardant une photo, vous pourriez demander : “Quelle est cette plante sur mon écran ?”.
Pour comprendre le contexte, Gemini prend une capture d’écran temporaire. Ce n’est pas un flux vidéo constant. C’est une photo ponctuelle, déclenchée par votre question pour vous fournir une réponse pertinente.
Gemini sur ordinateur : Chrome et macOS
L’expérience se prolonge sur ordinateur. Dans le navigateur Chrome, vous pouvez demander à Gemini de résumer une longue page web ou de traduire son contenu. Encore une fois, cela ne se produit que sur votre demande.
Sur macOS, pour que l’application de bureau fonctionne, vous devez accorder une permission spécifique dans les réglages système. Il faut activer “Accessibilité” pour permettre à l’application de lire le contenu visible à l’écran et de fournir des réponses adaptées.
Votre vie privée, votre contrôle
La transparence et le contrôle sont essentiels. Google vous donne les outils pour gérer ces interactions.
- Désactiver le contexte d’écran : Vous pouvez désactiver cette fonctionnalité à tout moment dans les paramètres de l’application mobile Gemini.
- Gérer votre historique : Bien que la fonction “Live” capture des données audio et d’écran pour fonctionner, vous pouvez gérer et supprimer ces interactions via vos paramètres d’activité des applications Gemini.
Ce que Gemini peut voir pendant une session “Live”
Lorsque vous partagez votre écran via la fonction “Live”, vous donnez accès à tout ce qui est visible. C’est un point crucial à comprendre.
- Contenu Visuel : L’IA peut identifier des images, du texte, la mise en page et les graphiques dans la plupart des applications. Elle peut comparer deux produits sur un site d’achat ou résumer un article pendant que vous le faites défiler.
- Multimédia et Fichiers : Vous pouvez partager votre écran en consultant un PDF, des fichiers locaux ou même une vidéo YouTube pour obtenir des résumés instantanés.
- Interface Système : Gemini comprend l’interface de votre téléphone. Il peut vous guider dans les menus de paramètres ou vous aider à résoudre un problème technique.
- Activité en Temps Réel : La connexion est directe. L’IA suit vos actions lorsque vous changez d’application ou déplacez votre caméra.
- Données de votre Compte Google : Si les extensions sont activées dans vos paramètres d’activité des applications Gemini, l’IA peut également puiser des informations contextuelles de services connectés comme Gmail, Drive ou Photos.
Note importante sur la confidentialité : Cette fonctionnalité capture l’intégralité de l’écran visible. Si des informations sensibles comme des coordonnées bancaires, des mots de passe ou des messages privés apparaissent pendant que la session est active, Gemini les verra aussi. Soyez toujours conscient de ce que vous affichez avant de partager votre écran.
En fin de compte, Gemini est un outil. Sa capacité à “voir” votre écran est conçue pour être une aide, pas une intrusion. La maîtrise vous appartient toujours.