「アンビエントエージェント」は、正式な技術標準ではなく、製品や UI のあり方を指す言葉です。一般的には、今の作業のそばから呼び出せる、使っていないときは邪魔にならない、すべての依頼を専用のチャットに移さなくても結果が返ってくる、といった性質をもつ支援を指します。
専用のチャットは、まっさらな状態から会話が始まるため、こちらが渡した情報だけが手がかりになります。一方、デスクトップ上のアンビエントな使い方では、製品がその機能に対応していて、ユーザーがコンテキストの利用を許可している場合に、いま使っているアプリや選択中の内容とつながったまま利用できます。
どこまでをコンテキストとして使うかは、製品によって異なります。話した内容だけを使う場合もあれば、選択したテキスト、最前面のアプリ、スクリーンショット、明示的に指定したファイルを使う場合もあります。どの権限が必要で、どこで内容を確認できるのかは、製品側が明示すべき点です。「アンビエント」は、バックグラウンドで何にでも自由にアクセスしてよいという意味ではありません。
まずアシスタントを呼び出し、依頼を伝え、必要なコンテキストの利用を許可します。返ってきた下書きや提案された結果を確認したうえで、そのまま元の作業を続けるという流れが一般的です。呼び出し方、使われるモデル、処理が行われる場所、実行できる操作の範囲は、製品ごとに異なります。
アンビエントな使い方を選ぶ前に、次の点を確認しておくと安心です。どのコンテキストが取得される可能性があるのか、それがいつ外部のサービスへ送られるのか、何が保存されるのか、どの権限を後から取り消せるのか、そして重要な操作や取り消せない操作の前に結果を確認できるのか、といった点です。
Cue は、Mac と Windows で使えるデスクトップ向けの音声 AI です。ホットキーを押して話すと、話した内容を文字起こししたり、目の前の画面のコンテキストを踏まえて、そのとき使っているアプリでの作業を進める手助けをしたりできます。Cue が会議のコンテキストを検出した場合は、デスクトップの録音機能を提案することがありますが、録音が始まるのは Start を選んだあとです。文字起こしと議事録は、あとから自分で確認できます。Cue は無料で始められます。Cue Plus は月額 $19.99 です。