Screenpipe:替 AI 補上電腦記憶
Screenpipe 想做的是替 AI 補上一層「工作記憶」:持續擷取電腦畫面、應用程式文字、鍵盤輸入與麥克風聲音,保存在本機,再交給 AI 搜尋或觸發自動化。核心以 Rust 開發,優先讀取 accessibility tree,無法取得文字時才用 OCR,聲音則會進行語音偵測、說話者分離與轉錄。實際上可以問它「午餐前做到哪裡」、找回看過的網頁、整理會議,或讓 Pipes 自動寫工作日誌、更新 CRM 與同步 Obsidian。
現實應用
最直接受益的是工程師、研究者、顧問、業務與會議密集的管理者。它能補足手動筆記一定會漏掉的脈絡,也適合盤點工時、重建操作流程、整理客戶談話及產生 SOP。Screenpipe 提供本機 REST API 與 MCP Server,因此 Claude、Cursor 等工具可以查詢螢幕歷史;Pipes 則是依排程執行的 Markdown AI agent,可再串接外部服務。
期望評估
我認為低標期望,是得到一套可搜尋的個人活動紀錄:偶爾找回忘記存在哪裡的內容,並自動產生每日摘要或會議逐字稿,就已經能省下不少整理時間。
高標期望則是讓 AI 真正理解長期工作脈絡,知道專案怎麼推進、哪些事情反覆發生,進一步代做追蹤、填寫與彙整工作。不過效果仍取決於 OCR、轉錄準確度、模型能力及使用者願意開放多少資料,不能把「全部錄下來」直接等同於「AI 全部理解」。
商業策略分析
我認為它影響的不只是螢幕錄影工具,也會碰到 Microsoft Recall、會議轉錄、工時追蹤、RPA 與企業知識庫。真正有價值的不是錄影,而是把日常操作轉成 agent 可查詢的 context layer;誰掌握這層資料,誰就更容易做出貼近個人與公司的 AI 自動化。
但企業採用的門檻同樣明顯:畫面可能包含客戶資料、密碼與內部文件,即使資料預設留在本機,也仍要處理權限、保留期限及法遵。另一個要注意的變化是目前程式碼屬 source-available,商業使用受 Screenpipe Commercial License 約束,不宜再籠統稱為 MIT 開源。我猜值得開發者持續跟進,但正式部署前應先做資安與授權審查。
實作細節
官方提供 macOS、Windows 與 Linux 安裝檔;CLI 可執行 npx screenpipe record,再以 npx screenpipe setup 設定,或用 claude mcp add screenpipe -- npx -y screenpipe-mcp@latest 接到 Claude。資料預設放在 ~/.screenpipe/,本機 API 使用 localhost:3030。
安裝時必須授予螢幕錄製、麥克風及部分系統輔助權限。官方估計約占用 5–10% CPU、0.5–3GB RAM,每月儲存量約 20GB;可排除特定 app、視窗與網址,並選用靜態資料加密。另需留意本機 API 預設不驗證,若電腦環境較複雜,應在設定中開啟 API authentication。