跳轉到

AI 助手

AI 助手可以觀察 NestSpace 裡的虛擬應用程式、點擊介面、輸入文字、截圖和操作內建瀏覽器。它固定在「虚拟空间 1」(虛擬空間 1)中工作,不會控制系統裡的其他應用程式。

AI 助手

開啟助手

  • 桌面「AI助手」(AI 助手)。
  • 底部懸浮球(開啟後)。
  • 語音助手:點懸浮球圓點。

桌面助手和語音助手共用同一份對話歷史,可以連續追問。

兩種執行模式

規則模式(預設)

沒有設定模型時使用內建規則 Agent,可以執行簡單的固定指令,例如:

  • 觀察目前介面;
  • 開啟設定;
  • 點擊某段文字;
  • 返回、首頁、截圖。

規則模式不連網,適合快速驗證容器控制是否正常。

大模型模式

在「空间设置」(空間設定)→「模型设置」(模型設定)設定介面後,助手會使用大模型規劃步驟並呼叫工具。支援:

  • Claude 相容:POST /v1/messages,使用原生 tools / tool_use / tool_result。
  • OpenAI 相容:POST /v1/chat/completions,使用原生 tool_calls / tool 訊息。

設定模型

入口:空間設定 → 模型設定。

可以儲存多個設定,並隨時切換。每個設定包含:

欄位 說明
協定 Claude 相容 / OpenAI 相容
Base URL 介面位址,例如 https://api.anthropic.com
API Key 唯寫欄位,使用 Android Keystore 加密儲存
模型 介面要求的模型名稱
上下文大小 上下文 token 上限,預設 800000,最低 100000
最大工具輪次 單輪對話最多呼叫多少次工具,預設 128

儲存後點「测试连接」(測試連線)會發起一次真實請求,確認位址、Key 和模型是否可用。

系統提示詞是全域設定,入口在「空間設定」→「系统提示词」(系統提示詞),所有模型共用。執行時還會自動附加目前時間、記憶、技能索引和工具規則。

對話介面

  • 訊息串顯示使用者、助手和錯誤資訊。
  • 回覆使用串流輸出,文字邊產生邊顯示;等待第一個內容時顯示轉圈動畫。
  • 工具呼叫會顯示為可展開的卡片,即時顯示執行狀態,可以檢視參數和結果。
  • 回覆支援基礎 Markdown、程式碼區塊、複製和文字選取。
  • 可以建立新對話,回到歡迎頁和快速任務卡片。
  • 歷史對話會保留最近的訊息輪次,模型每次請求都會帶上上下文。

助手執行多步任務

思考程度

對話介面可以切換思考程度,依模型分別儲存:

檔位 行為
快速 直接執行並給出結果,避免冗長推理
輕量 先做簡短判斷,再呼叫必要工具
標準 執行前簡要分析,工具呼叫後核對結果
深度 先拆解任務並比較方案,每次工具呼叫後核對結果再繼續

對支援的模型還會傳送原生參數:Claude 使用 thinking.budget_tokens,o 系列 / GPT-5 / Codex 使用 reasoning_effort。其他相容端點只使用提示詞約束,避免因為不支援的參數導致請求失敗。

工具範圍

助手可以使用:

  • space_*:列出、安裝、啟動、多開、卸載、停止、管理權限;
  • ui_*:觀察 View 樹、點擊、輸入、等待、截圖、返回;
  • browser_*:開啟分頁、讀取頁面、點擊、下載、上傳、轉人工;
  • spawn_agent:把唯讀子任務交給子 Agent;
  • schedule_task:建立定時任務。

遠端 MCP 的設定類工具和助手橋接工具不會暴露給助手自身,避免遞迴呼叫和提示注入。

權限確認

「空間設定」→「权限级别」(權限等級)控制敏感操作是否需要確認:

  • 嚴格:安裝/卸載、權限變更、「风险点击」(風險點擊)、下載等都確認;可重複使用的做法也會先顯示確認卡片。
  • 標準:在寬鬆基礎上增加安裝/卸載確認;記憶和自動草擬的技能直接儲存(技能預設停用)。
  • 寬鬆:只有付款、下單、轉帳、紅包等涉及金錢的操作提示;記憶和自動草擬的技能直接儲存(技能預設停用)。
  • 自訂:自己選擇需要確認的類別;啟用「風險點擊」確認時,可重複使用的做法會先顯示確認卡片。

記憶與技能

記憶

助手會在每輪對話後自動整理關鍵事實、使用者偏好和可重複使用的做法。需要確認時,會在對話串裡顯示確認/略過卡片;也可以隨時在「空間設定」→「记忆与技能」(記憶與技能)檢視、批准、置頂或刪除。

  • 事實和偏好一律直接生效;可重複使用的做法在標準/寬鬆權限下直接生效。
  • 嚴格模式,或自訂模式啟用了「風險點擊」確認時,做法會先顯示確認卡片。
  • 密碼、驗證碼、金融卡和身分證資訊不會被自動記錄。
  • 記憶儲存在應用程式私有目錄並加密;使用時相關項目會隨系統提示詞傳送給目前模型服務。

技能

內建 7 個技能包,涵蓋資訊調查、訊息與郵件、內容整理、下載上傳、設定指引、定時任務和撰寫技能。助手依索引讀取,不會全部塞進提示詞。

  • 成功完成至少 4 個工具步驟的任務後,助手會自動草擬技能;新技能預設停用,並在對話裡顯示啟用卡片。
  • 每次使用記錄成功/失敗;最近 3 次中失敗 2 次會自動停用,手動重新啟用後重新計數。
  • 自訂技能可以編輯、匯入 SKILL.md、檢視版本歷程並恢復舊版本;內建技能只能停用,不能刪除或覆寫。

定時任務

讓助手建立定時任務,例如:

每天早上 9 點看看天氣,下雨才告訴我。

支援單次、每天、每週和固定間隔。任務到時間後會在原本對話裡執行,並傳送結果通知。可以在「空間設定」→「定时任务」(定時任務)檢視和刪除。

語音助手

開啟懸浮球

「空間設定」→「悬浮球」(懸浮球)→ 開啟「显示悬浮球」(顯示懸浮球),並授予「显示在其他应用上层」(顯示在其他應用程式上層)權限。

  • 懸浮球可以拖曳並自動吸邊。
  • 可以分別設定宿主介面和容器內的顏色。
  • 可以調整透明度和位置。
  • 桌面和容器內預設使用容器顏色(藍色),宿主介面使用宿主顏色(橘色)。

使用

  1. 點懸浮球圓點開啟全螢幕語音助手。
  2. 點麥克風或圓點開始/停止聆聽。
  3. 辨識中的暫存結果會即時顯示,最終結果自動傳送。
  4. 回覆完成後會自動重新開始聆聽,可以直接繼續追問。

文字輸入框預設隱藏,點左下角鍵盤圖示切換文字輸入。

離線語音模型

  • 使用 Vosk 本機辨識,音訊不離開裝置。
  • 首次使用會視需要下載約 40MB 的模型。
  • 提供 HF 國內鏡像、Hugging Face 和 Vosk 官方多個來源,自動測速並選擇最快線路;下載中斷會自動切換。
  • 模型下載後會在背景載入,下次啟動自動預先載入。
  • 支援中文和 English 兩個小模型。

子 Agent

spawn_agent 可以把一個自包含的子任務交給唯讀子 Agent:

  • 預設 15 步,最多 40 步;
  • 只能觀察容器和瀏覽網頁,不能點擊、輸入、啟動應用程式、安裝或再建立子任務;
  • 結果預設保留 4000 字,最多 8000 字;
  • 結果依不可信資料傳回主 Agent。

執行記錄在「空間設定」→「子任务记录」(子任務記錄)裡檢視和停止。

常見問題

測試連線失敗

  • 檢查 Base URL 是否包含正確的路徑(Claude 預設 https://api.anthropic.com,OpenAI 預設 https://api.openai.com)。
  • 檢查 API Key 是否有效、是否有餘額。
  • 檢查模型名稱是否與介面提供的一致。
  • 某些相容端點不支援原生 thinking 或 reasoning_effort,可以改用提示詞約束或更換模型。

助手不呼叫工具

  • 確認已經設定模型並測試通過。
  • 確認目標應用程式已經安裝到「虛擬空間 1」並啟動。
  • 提高「最大工具輪次」或降低任務複雜度。
  • 檢視對話中的工具卡片,確認工具是否回報錯誤。

語音辨識沒有反應

  • 確認已授予錄音權限。
  • 確認離線語音模型已經下載完成。
  • 在「空間設定」→「懸浮球」裡切換一次語言模型。

定時任務沒有執行

  • 確認任務處於啟用狀態。
  • 檢查系統是否限制了 NestSpace 的背景執行或精確鬧鐘權限。
  • 部分系統會在省電模式下延遲鬧鐘,允許背景執行後再試。

相關文件