コンテンツにスキップ

AI アシスタント

AI アシスタントは、NestSpace 内の仮想アプリの観察、画面のタップ、文字入力、スクリーンショット、内蔵ブラウザの操作ができます。動作範囲は「虚拟空间 1」(仮想スペース 1)に固定されており、システム内のほかのアプリを制御することはありません。

AI アシスタント

アシスタントを開く

  • デスクトップの「AI助手」(AI アシスタント)。
  • 画面下部のフローティングドット(有効にした場合)。
  • 音声アシスタント:フローティングドットの円をタップします。

デスクトップのアシスタントと音声アシスタントは同じ対話履歴を共有しており、続けて質問できます。

2 つの動作モード

ルールモード(デフォルト)

モデルが設定されていない場合は内蔵のルール Agent が使用され、次のような簡単な固定コマンドを実行できます。

  • 現在の画面を観察する。
  • 設定を開く。
  • 特定のテキストをタップする。
  • 戻る、ホーム、スクリーンショット。

ルールモードはネットワークに接続しないため、コンテナ制御が正常かどうかをすばやく確認するのに適しています。

大規模モデルモード

「空间设置」(スペース設定)→「模型设置」(モデル設定)でインターフェースを設定すると、アシスタントは大規模モデルを使って手順を計画し、ツールを呼び出します。次のプロトコルに対応しています。

  • Claude 互換:POST /v1/messages。ネイティブの tools / tool_use / tool_result を使用します。
  • OpenAI 互換:POST /v1/chat/completions。ネイティブの tool_calls / tool メッセージを使用します。

モデルの設定

入口:「スペース設定 → モデル設定」。

複数の設定を保存し、いつでも切り替えられます。各設定には次の項目が含まれます。

項目 説明
プロトコル Claude 互換 / OpenAI 互換
Base URL インターフェースのアドレス。例:https://api.anthropic.com
API Key 書き込み専用フィールド。Android Keystore で暗号化して保存されます
モデル インターフェースが要求するモデル名
コンテキストサイズ コンテキスト Token の上限。デフォルトは 800000、最小は 100000
最大ツールラウンド 1 回の対話でツールを呼び出せる最大回数。デフォルトは 128

保存後に「测试连接」(接続テスト)をタップすると、実際のリクエストが 1 回送信され、アドレス、Key、モデルが使用可能かどうかを確認できます。

システムプロンプトはグローバル設定で、入口は「スペース設定」→「系统提示词」(システムプロンプト)にあります。すべてのモデルが共用します。実行時には現在時刻、メモリ、スキルインデックス、ツールのルールも自動的に追加されます。

対話画面

  • メッセージストリームには、ユーザー、アシスタント、エラーメッセージが表示されます。
  • 返信はストリーミング出力で、文字が生成されながら表示されます。最初の内容を待つ間は読み込みアニメーションが表示されます。
  • ツール呼び出しは展開可能なカードとして表示され、実行状態がリアルタイムで表示されます。パラメータと結果を確認できます。
  • 返信は基本的な Markdown、コードブロック、コピー、テキスト選択に対応しています。
  • 新しい対話を作成し、ウェルカムページとクイックタスクカードに戻ることができます。
  • 履歴には直近のメッセージラウンドが保持され、モデルへの各リクエストにはコンテキストが含まれます。

アシスタントがマルチステップタスクを実行

思考の深さ

対話画面で思考の深さを切り替えられます。設定はモデルごとに保存されます。

レベル 動作
高速 直接実行して結果を返し、冗長な推論を避けます
軽量 簡単な判断を先に行い、必要なツールを呼び出します
標準 実行前に簡単に分析し、ツール呼び出し後に結果を確認します
深い タスクを分解して複数の案を比較し、ツール呼び出しのたびに結果を確認してから続行します

対応モデルにはネイティブパラメータも送信されます。Claude は thinking.budget_tokens、o シリーズ / GPT-5 / Codex は reasoning_effort を使用します。その他の互換エンドポイントでは、サポートされていないパラメータによるリクエスト失敗を避けるため、プロンプトによる制約のみを使用します。

ツールの範囲

アシスタントは次のものを使用できます。

  • space_*:一覧表示、インストール、起動、複製(マルチインスタンス)、アンインストール、停止、権限管理。
  • ui_*:View ツリーの観察、タップ、入力、待機、スクリーンショット、戻る。
  • browser_*:タブを開く、ページの読み取り、タップ、ダウンロード、アップロード、ユーザーへの引き継ぎ。
  • spawn_agent:読み取り専用のサブタスクをサブ Agent に委任。
  • schedule_task:スケジュールタスクの作成。

リモート MCP の設定系ツールとアシスタントブリッジツールは、再帰呼び出しやプロンプトインジェクションを避けるため、アシスタント自身には公開されません。

権限の確認

「スペース設定」→「权限级别」(権限レベル)で、機密性の高い操作に確認が必要かどうかを制御します。

  • 「严格」(厳格):インストール/アンインストール、権限の変更、リスクのあるタップ、ダウンロードなどすべてを確認します。再利用可能な手順も先に確認カードを表示します。
  • 「标准」(標準):緩和に加えてインストール/アンインストールの確認を行います。メモリと自動起草されたスキルはそのまま保存されます(スキルはデフォルトで無効)。
  • 「宽松」(緩和):支払い、注文、送金、红包(お年玉)など金銭に関わる操作のみ確認を表示します。メモリと自動起草されたスキルはそのまま保存されます(スキルはデフォルトで無効)。
  • 「自定义」(カスタム):確認が必要なカテゴリを自分で選択します。「风险点击」(リスクのあるタップ)の確認を有効にしている場合、再利用可能な手順は先に確認カードを表示します。

メモリとスキル

メモリ

アシスタントは各ラウンドの対話後に、重要な事実、ユーザーの好み、再利用可能な手順を自動的に整理します。確認が必要な場合は、対話ストリームに確認/無視カードが表示されます。「スペース設定」→「记忆与技能」(メモリとスキル)でいつでも確認、承認、ピン留め、削除ができます。

  • 事実と好みは常にそのまま反映されます。再利用可能な手順は標準/緩和権限ではそのまま反映されます。
  • 厳格モード、またはカスタムモードでリスクのあるタップの確認が有効な場合、手順は先に確認カードを表示します。
  • パスワード、認証コード、銀行カード、身分証明書の情報は自動的に記録されません。
  • メモリはアプリ専用ディレクトリに暗号化して保存されます。使用時には関連する項目がシステムプロンプトとともに現在のモデルサービスへ送信されます。

スキル

7 つのスキルパッケージが組み込まれており、情報調査、メッセージとメール、コンテンツ整理、ダウンロードとアップロード、設定ガイド、スケジュールタスク、スキルの作成をカバーしています。アシスタントはインデックスに従って読み込むため、すべてをプロンプトに詰め込むことはありません。

  • 少なくとも 4 つのツールステップを含むタスクを正常に完了すると、アシスタントはスキルを自動起草します。新しいスキルはデフォルトで無効になり、対話内に有効化カードが表示されます。
  • 使用のたびに成功/失敗が記録されます。直近 3 回中 2 回失敗すると自動的に無効になり、手動で再度有効にするとカウントがリセットされます。
  • カスタムスキルは編集、SKILL.md のインポート、バージョン履歴の表示、旧バージョンへの復元ができます。内蔵スキルは無効化のみ可能で、削除や上書きはできません。

スケジュールタスク

アシスタントにスケジュールタスクを作成させます。例:

毎朝 9 時に天気を確認し、雨のときだけ教えて。

1 回のみ、毎日、毎週、固定間隔に対応しています。タスクは指定時刻になると元の対話内で実行され、結果の通知が送信されます。「スペース設定 → スケジュールタスク」で確認と削除ができます。

音声アシスタント

フローティングドットを有効にする

「スペース設定」→「悬浮球」(フローティングドット)→「显示悬浮球」(フローティングドットを表示)をオンにし、「显示在其他应用上层」(他のアプリの上に表示)権限を付与します。

  • フローティングドットはドラッグでき、画面端に自動的に吸着します。
  • ホスト画面とコンテナ内の色をそれぞれ設定できます。
  • 透明度と位置を調整できます。
  • デスクトップとコンテナ内ではデフォルトでコンテナの色(青)、ホスト画面ではホストの色(オレンジ)が使用されます。

使い方

  1. フローティングドットの円をタップして、全画面の音声アシスタントを開きます。
  2. マイクまたは円をタップして、聞き取りを開始/停止します。
  3. 認識中の一時的な結果がリアルタイムで表示され、最終結果は自動的に送信されます。
  4. 返信が完了すると自動的に聞き取りが再開され、そのまま続けて質問できます。

テキスト入力欄はデフォルトで非表示です。左下のキーボードアイコンをタップするとテキスト入力に切り替わります。

オフライン音声モデル

  • Vosk によるローカル認識を使用し、音声がデバイスの外に出ることはありません。
  • 初回使用時に約 40MB のモデルを必要に応じてダウンロードします。
  • HF 中国ミラー、Hugging Face、Vosk 公式の複数のソースが用意されており、自動的に速度を測定して最速の回線を選択します。ダウンロードが中断されると自動的に切り替わります。
  • モデルはダウンロード後にバックグラウンドで読み込まれ、次回起動時には自動的にプリロードされます。
  • 中国語と English の 2 つの小規模モデルに対応しています。

サブ Agent

spawn_agent は、自己完結したサブタスクを読み取り専用のサブ Agent に委任できます。

  • デフォルトは 15 ステップ、最大 40 ステップ。
  • コンテナの観察とウェブページの閲覧のみ可能で、タップ、入力、アプリの起動、インストール、さらなるサブタスクの作成はできません。
  • 結果はデフォルトで 4000 文字まで保持され、最大 8000 文字です。
  • 結果は信頼できないデータとしてメイン Agent に返されます。

実行記録は「スペース設定」→「子任务记录」(子タスク記録)で確認と停止ができます。

よくある質問

接続テストに失敗する

  • Base URL に正しいパスが含まれているか確認します(Claude のデフォルトは https://api.anthropic.com、OpenAI のデフォルトは https://api.openai.com)。
  • API Key が有効で、残高があるか確認します。
  • モデル名がインターフェースで提供されているものと一致するか確認します。
  • 一部の互換エンドポイントはネイティブの thinking や reasoning_effort をサポートしていません。プロンプトによる制約に切り替えるか、モデルを変更してください。

アシスタントがツールを呼び出さない

  • モデルが設定され、テストに成功していることを確認します。
  • 対象アプリが「仮想スペース 1」にインストールされ、起動していることを確認します。
  • 「最大ツールラウンド」を増やすか、タスクの複雑さを下げます。
  • 対話内のツールカードを確認し、ツールがエラーを返していないかチェックします。

音声認識が反応しない

  • 録音権限が付与されていることを確認します。
  • オフライン音声モデルのダウンロードが完了していることを確認します。
  • 「スペース設定 → フローティングドット」で言語モデルを一度切り替えます。

スケジュールタスクが実行されない

  • タスクが有効になっていることを確認します。
  • システムが NestSpace のバックグラウンド実行や正確なアラーム権限を制限していないか確認します。
  • 一部のシステムでは省電力モードでアラームが遅延します。バックグラウンド実行を許可してから再試行してください。

関連ドキュメント