Scrapling:讓 Claude 直接抓網站

2026/07/16(四) 08:33・精選・原始出處

Scrapling 是一套 BSD-3-Clause 授權的開源 Python Web Scraping 框架,想把「抓頁面、跑 JavaScript、避開常見反爬蟲、解析資料、持續爬站」收進同一套工具。它提供一般 HTTP、Chromium 動態渲染與 stealth browser,還能透過 MCP 接到 Claude Desktop、Claude Code 等 AI 工具,用對話要求它擷取商品名稱、價格、連結或網頁正文。另一個特色是 adaptive scraping:先保存元素的標籤、文字、屬性與相鄰結構,網站改版後再以相似度重新定位,不是每次都呼叫 AI。

現實應用

電商團隊可以追蹤商品價格與庫存;業務、行銷和研究人員能整理公開名單、新聞或競品資料;開發者則可拿它建立資料管線、RAG 知識來源與定期監測服務。MCP 模式會先用 CSS selector 或主內容清理縮小資料,再把結果交給模型,比把整頁 HTML 塞進 Claude 更省 token。

它也支援並行抓取、proxy、持久 browser session、暫停/續跑與即時串流,因此不只適合單頁測試,也能擴展成 crawler。不過「能繞過 Cloudflare」不等於任何網站都保證成功,IP 信譽、登入、CAPTCHA、流量限制及網站更新仍會影響結果。

期望評估

低標方面,我認為至少能得到一套比 requests 加 BeautifulSoup 更完整的 Python 抓取工具:靜態頁、SPA、指定元素與批次網址可用相近介面處理,Claude 使用者也能少寫一些膠水程式。

高標方面,我猜它有機會成為 AI agent 的本機資料取得層,讓模型自行判斷要用一般 request、動態 browser 或 stealth 模式,完成跨頁查找、擷取與彙整。adaptive scraping 若碰到的只是 DOM 搬家,也可能明顯降低 selector 維護量;若內容語意或流程完全改寫,仍得人工調整。

社群圖上的「快 1679 倍」要保守看。官方目前的測試是在 5,000 層巢狀元素做文字擷取,Scrapling 約 1.98 ms,BS4 搭 html5lib 約 3,388 ms,差距約 1,711 倍;但它不是完整爬站速度,更不能直接代表網路、瀏覽器或 Cloudflare 處理效能。

商業策略分析

我認為最直接受影響的是代寫爬蟲、Scraper API 與低程式碼資料擷取服務。Scrapling 本身免費,會壓低原型與內部工具的成本;但 proxy、IP 管理、監控、資料清洗及合規仍有付費空間,所以商用服務不至於被整套取代。

值得跟進,但適合先拿一兩個真實網站做壓力與改版測試,而不是因 benchmark 就全面換框架。企業若處理個資、著作內容或商業用途,還要確認 robots.txt、服務條款、rate limit 與授權;官方也明確要求使用者自行遵守相關法規。

實作細節

Scrapling 需要 Python 3.10 以上。只用 parser 可執行 pip install scrapling;需要 fetcher 與 browser 則安裝 pip install "scrapling[fetchers]" 後執行 scrapling install。接 Claude 的 MCP 版本使用 pip install "scrapling[ai]",再以 scrapling mcp 啟動;官方亦提供已含 browser 的 Docker image。

MCP 內建一般抓取、批次抓取、動態渲染、stealth 抓取、截圖及 session 管理工具。官方建議簡單頁先用 get、SPA 用 fetch、受保護網站才用 stealthy_fetch,多網址則使用 bulk 與持久 session,完成後記得關閉 session。

延伸連結