Google DeepMind⁠AI対応ポインター「AI-Pointer」実験デモを公開

Google DeepMindは2026年5月12日、マウスポインターをAI時代のインターフェースとして捉え直す取り組みを発表した。Geminiを組み合わせた実験的な仕組みで、⁠AI-enabled pointer」「AI-Pointer」⁠AI対応ポインター)と表現している。画面上の位置を示してきたポインターを使い、ユーザーが対象を指し示しながら、音声や短い指示でAIに依頼できるようにする。

「これ」「あれ」で指示できるAIインターフェース

AI対応ポインターの特徴は、ユーザーが別ウィンドウに移動したり長いプロンプトを書いたりしなくても、ポインターの下にある対象をAIが文脈として扱える点にある。Google DeepMindは、AIを別アプリに迂回させないこと、ポインター周辺の文脈をAIが把握すること、⁠これを直して」⁠あれを動かして」といった短い指示を使えるようにすること、画面上のピクセルを操作可能なエンティティとして扱うことを、この仕組みの考え方として説明している。

例として、PDFを指してメール用の箇条書き要約を依頼する、統計表にホバーして円グラフへの変換を頼む、レシピの材料をハイライトして分量を2倍にする、といった操作を挙げている。また、走り書きのメモの写真をToDoリストに変換したり、一時停止した旅行動画のフレームからレストランの予約リンクを作成したりする例も紹介している。

Google AI StudioとChromeで用途別に展開

AI対応ポインターの考え方は、Google AI Studioで試せるデモと、既存プロダクトに取り入れられる機能に分かれている。

Google AI Studio⁠AI-Pointerのデモを試せる

Google AI Studioでは、発表時点で「AI-Pointer」の実験環境が公開されている。画像編集デモでは、画面上のオブジェクトを指し示して「この生き物を⁠⁠、そして移動先の場所を指し示して「ここに移動して」のように話して移動や編集を行う流れを試せる。地図検索デモも用意されている。

Chrome⁠Webページ上の関心部分をGeminiに質問

Google DeepMindによると、Chromeでもこの考え方を取り入れている。同日からは、複雑なプロンプトを書く代わりに、Webページ上の関心がある部分をポインターで示してGemini in Chromeに質問できるようになっているという。ページ内の複数の商品を選んで比較を依頼する例や、部屋の画像でソファを置きたい場所を指して可視化を頼む例が挙げられている。

同日発表された今秋発売予定のGooglebookにも「Magic Pointer」が搭載され、こうしたAI対応ポインターの考え方をGooglebookのラップトップ体験にも取り入れる形になる。Google公式Xでも、Googlebookを「Gemini Intelligence」のために設計された初のラップトップと言及している。Google DeepMindはこのほか、Google LabsのDiscoなどでも将来のコンセプトをテストしていることを伝えている。

おすすめ記事

記事・ニュース一覧