Google、GeminiにMacの画面操作機能を追加

できること

複数アプリをまたいで操作
ファイルやウェブも対象
定型作業をまとめて実行

利用者の制御

許可するアプリを選択
操作をライブ確認
重要な操作は事前承認
詳細を読む

GoogleはGeminiアプリのmacOS版に、パソコンを操作する機能を追加しました。利用者が指示すると、Geminiはローカルファイル、デスクトップアプリ、ウェブをまたぐ複数段階の作業を実行します。

同社は、画像編集ソフトでの一括調整や、PDFから情報を読み取って見積もりフォームに入力する作業、複数地域のダッシュボードから資料を作る用途を例に挙げています。手順の多い繰り返し作業をまとめて任せられます。

Geminiは独立したバックグラウンドウィンドウで動き、チャット内にライブプレビューを表示します。利用者はアクセスを許可するアプリを選べ、実行中に操作を確認して一時停止でき、重要な処理の前には承認を求められます。

機能は米国の利用者向けに英語で提供が始まりました。AIが端末上で直接操作する範囲が広がるため、実用性とともに、どのアプリや情報へのアクセスを許すかを利用者が管理する設計が鍵になります。