Firecrawl

OpenClaw 可以使用 Firecrawl 作为 web_fetch 的后备提取器。它是一个托管的 内容提取服务,支持绕过机器人检测和缓存功能,有助于处理 JS 密集型网站或阻止普通 HTTP 请求的页面。

获取 API 密钥

1. 创建一个 Firecrawl 账户并生成 API 密钥。
2. 将其存储在配置中或在网关环境中设置 FIRECRAWL_API_KEY。

配置 Firecrawl

{
  tools: {
    web: {
      fetch: {
        firecrawl: {
          apiKey: "FIRECRAWL_API_KEY_HERE",
          baseUrl: "https://api.firecrawl.dev",
          onlyMainContent: true,
          maxAgeMs: 172800000,
          timeoutSeconds: 60,
        },
      },
    },
  },
}

注意事项:

• 当存在 API 密钥时,firecrawl.enabled 默认为 true。
• maxAgeMs 控制缓存结果可以保留多久(毫秒)。默认为 2 天。

隐身 / 绕过机器人检测

Firecrawl 提供了一个用于绕过机器人检测的代理模式参数(basic、stealth 或 auto)。 OpenClaw 始终为 Firecrawl 请求使用 proxy: "auto" 加 storeInCache: true。 如果省略代理,Firecrawl 默认为 auto。auto 会在基本尝试失败时使用隐身代理重试,这可能会比仅使用基本爬取消耗更多积分。

web_fetch 如何使用 Firecrawl

web_fetch 提取顺序:

1. Readability(本地)
2. Firecrawl(如果已配置)
3. 基本 HTML 清理(最后的后备方案)

有关完整的 web 工具设置,请参阅 Web 工具。