{
"canonical_name": "firecrawl/firecrawl",
"compilation_id": "pack_43ea7e9d1b9b41b8bc6c900fbfa633f0",
"created_at": "2026-05-11T10:23:03.830052+00:00",
"created_by": "project-pack-compiler",
"feedback": {
"carrier_selection_notes": [
"viable_asset_types=skill, recipe, host_instruction, eval, preflight",
"recommended_asset_types=skill, recipe, host_instruction, eval, preflight"
],
"evidence_delta": {
"confirmed_claims": [
"identity_anchor_present",
"capability_and_host_targets_present",
"install_path_declared_or_better"
],
"missing_required_fields": [],
"must_verify_forwarded": [
"Run or inspect `npx -y firecrawl-cli@latest` in an isolated environment.",
"Confirm the project exposes the claimed capability to at least one target host."
],
"quickstart_execution_scope": "allowlisted_sandbox_smoke",
"sandbox_command": "npx -y firecrawl-cli@latest",
"sandbox_container_image": "node:22-slim",
"sandbox_execution_backend": "docker",
"sandbox_planner_decision": "deterministic_isolated_install",
"sandbox_validation_id": "sbx_a4dbc4bacf8c4e75ac5ceb169613def8"
},
"feedback_event_type": "project_pack_compilation_feedback",
"learning_candidate_reasons": [],
"template_gaps": []
},
"identity": {
"canonical_id": "project_337392ca802daaed83bd5afc727f735b",
"canonical_name": "firecrawl/firecrawl",
"homepage_url": null,
"license": "unknown",
"repo_url": "https://github.com/firecrawl/firecrawl",
"slug": "firecrawl",
"source_packet_id": "phit_960bb077ed8b44929449275d3a2c7f98",
"source_validation_id": "dval_9158bef2a4034d23ab2b340668b353d5"
},
"merchandising": {
"best_for": "需要软件开发与交付能力，并使用 local_cli的用户",
"github_forks": 7359,
"github_stars": 119078,
"one_liner_en": "🔥 The API to search, scrape, and interact with the web for AI",
"one_liner_zh": "🔥 The API to search, scrape, and interact with the web for AI",
"primary_category": {
"category_id": "software-development",
"confidence": "high",
"name_en": "Software Development",
"name_zh": "软件开发与交付",
"reason": "matched_keywords:test, git, cli"
},
"target_user": "使用 local_cli 等宿主 AI 的用户",
"title_en": "firecrawl",
"title_zh": "firecrawl 能力包",
"visible_tags": [
{
"label_en": "Browser Agents",
"label_zh": "浏览器 Agent",
"source": "repo_evidence_project_characteristics",
"tag_id": "product_domain-browser-agents",
"type": "product_domain"
},
{
"label_en": "Web Task Automation",
"label_zh": "网页任务自动化",
"source": "repo_evidence_project_characteristics",
"tag_id": "user_job-web-task-automation",
"type": "user_job"
},
{
"label_en": "Browser Automation",
"label_zh": "浏览器自动化",
"source": "repo_evidence_project_characteristics",
"tag_id": "core_capability-browser-automation",
"type": "core_capability"
},
{
"label_en": "Node-based Workflow",
"label_zh": "节点式流程编排",
"source": "repo_evidence_project_characteristics",
"tag_id": "workflow_pattern-node-based-workflow",
"type": "workflow_pattern"
},
{
"label_en": "Local-first",
"label_zh": "本地优先",
"source": "repo_evidence_project_characteristics",
"tag_id": "selection_signal-local-first",
"type": "selection_signal"
}
]
},
"packet_id": "phit_960bb077ed8b44929449275d3a2c7f98",
"page_model": {
"artifacts": {
"artifact_slug": "firecrawl",
"files": [
"PROJECT_PACK.json",
"QUICK_START.md",
"PROMPT_PREVIEW.md",
"HUMAN_MANUAL.md",
"AI_CONTEXT_PACK.md",
"BOUNDARY_RISK_CARD.md",
"PITFALL_LOG.md",
"REPO_INSPECTION.json",
"REPO_INSPECTION.md",
"CAPABILITY_CONTRACT.json",
"EVIDENCE_INDEX.json",
"CLAIM_GRAPH.json"
],
"required_files": [
"PROJECT_PACK.json",
"QUICK_START.md",
"PROMPT_PREVIEW.md",
"HUMAN_MANUAL.md",
"AI_CONTEXT_PACK.md",
"BOUNDARY_RISK_CARD.md",
"PITFALL_LOG.md",
"REPO_INSPECTION.json"
]
},
"detail": {
"capability_source": "Project Hit Packet + DownstreamValidationResult",
"commands": [
{
"command": "npx -y firecrawl-cli@latest",
"label": "Node.js / npx · 官方安装入口",
"source": "https://github.com/firecrawl/firecrawl#readme",
"verified": true
}
],
"display_tags": [
"浏览器 Agent",
"网页任务自动化",
"浏览器自动化",
"节点式流程编排",
"本地优先"
],
"eyebrow": "软件开发与交付",
"glance": [
{
"body": "判断自己是不是目标用户。",
"label": "最适合谁",
"value": "需要软件开发与交付能力，并使用 local_cli的用户"
},
{
"body": "先理解能力边界，再决定是否继续。",
"label": "核心价值",
"value": "🔥 The API to search, scrape, and interact with the web for AI"
},
{
"body": "未完成验证前保持审慎。",
"label": "继续前",
"value": "publish to Doramagic.ai project surfaces"
}
],
"guardrail_source": "Boundary & Risk Card",
"guardrails": [
{
"body": "Prompt Preview 只展示流程，不证明项目已安装或运行。",
"label": "Check 1",
"value": "不要把试用当真实运行"
},
{
"body": "local_cli",
"label": "Check 2",
"value": "确认宿主兼容"
},
{
"body": "publish to Doramagic.ai project surfaces",
"label": "Check 3",
"value": "先隔离验证"
}
],
"mode": "skill, recipe, host_instruction, eval, preflight",
"pitfall_log": {
"items": [
{
"body": "GitHub 社区证据显示该项目存在一个安全/权限相关的待验证问题：RFC: Lightweight External Memory Capsule Pattern for Firecrawl Agent Workflows",
"category": "安全/权限坑",
"evidence": [
"community_evidence:github | cevd_0bf31b0e8c3b45fb8da04cebb259c8a4 | https://github.com/firecrawl/firecrawl/issues/3500 | 来源类型 github_issue 暴露的待验证使用条件。"
],
"severity": "high",
"suggested_check": "来源问题仍为 open，Pack Agent 需要复核是否仍影响当前版本。",
"title": "来源证据：RFC: Lightweight External Memory Capsule Pattern for Firecrawl Agent Workflows",
"user_impact": "可能影响升级、迁移或版本选择。"
},
{
"body": "GitHub 社区证据显示该项目存在一个安装相关的待验证问题：v2.4.0",
"category": "安装坑",
"evidence": [
"community_evidence:github | cevd_e1e417d6cea44fb79118e4daeac083a0 | https://github.com/firecrawl/firecrawl/releases/tag/v2.4.0 | 来源讨论提到 python 相关条件，需在安装/试用前复核。"
],
"severity": "medium",
"suggested_check": "来源显示可能已有修复、规避或版本变化，说明书中必须标注适用版本。",
"title": "来源证据：v2.4.0",
"user_impact": "可能增加新用户试用和生产接入成本。"
},
{
"body": "GitHub 社区证据显示该项目存在一个配置相关的待验证问题：[Bug] /interact with language=\"python\" flakily fails with TargetClosedError on scrape-bound sessions",
"category": "配置坑",
"evidence": [
"community_evidence:github | cevd_aa487261676d400197da5f3646baff2f | https://github.com/firecrawl/firecrawl/issues/3498 | 来源讨论提到 python 相关条件，需在安装/试用前复核。"
],
"severity": "medium",
"suggested_check": "来源问题仍为 open，Pack Agent 需要复核是否仍影响当前版本。",
"title": "来源证据：[Bug] /interact with language=\"python\" flakily fails with TargetClosedError on scrape-bound sessions",
"user_impact": "可能增加新用户试用和生产接入成本。"
},
{
"body": "README/documentation is current enough for a first validation pass.",
"category": "能力坑",
"evidence": [
"capability.assumptions | github_repo:787076358 | https://github.com/firecrawl/firecrawl | README/documentation is current enough for a first validation pass."
],
"severity": "medium",
"suggested_check": "将假设转成下游验证清单。",
"title": "能力判断依赖假设",
"user_impact": "假设不成立时，用户拿不到承诺的能力。"
},
{
"body": "GitHub 社区证据显示该项目存在一个运行相关的待验证问题：[Feat] Emit batch scrape failures of each page to webhook",
"category": "运行坑",
"evidence": [
"community_evidence:github | cevd_80c638d597cc432b9a74e7e336b043ee | https://github.com/firecrawl/firecrawl/issues/2576 | 来源类型 github_issue 暴露的待验证使用条件。"
],
"severity": "medium",
"suggested_check": "来源显示可能已有修复、规避或版本变化，说明书中必须标注适用版本。",
"title": "来源证据：[Feat] Emit batch scrape failures of each page to webhook",
"user_impact": "可能增加新用户试用和生产接入成本。"
},
{
"body": "未记录 last_activity_observed。",
"category": "维护坑",
"evidence": [
"evidence.maintainer_signals | github_repo:787076358 | https://github.com/firecrawl/firecrawl | last_activity_observed missing"
],
"severity": "medium",
"suggested_check": "补 GitHub 最近 commit、release、issue/PR 响应信号。",
"title": "维护活跃度未知",
"user_impact": "新项目、停更项目和活跃项目会被混在一起，推荐信任度下降。"
},
{
"body": "no_demo",
"category": "安全/权限坑",
"evidence": [
"downstream_validation.risk_items | github_repo:787076358 | https://github.com/firecrawl/firecrawl | no_demo; severity=medium"
],
"severity": "medium",
"suggested_check": "进入安全/权限治理复核队列。",
"title": "下游验证发现风险项",
"user_impact": "下游已经要求复核，不能在页面中弱化。"
},
{
"body": "No sandbox install has been executed yet; downstream must verify before user use.",
"category": "安全/权限坑",
"evidence": [
"risks.safety_notes | github_repo:787076358 | https://github.com/firecrawl/firecrawl | No sandbox install has been executed yet; downstream must verify before user use."
],
"severity": "medium",
"suggested_check": "转成明确权限清单和安全审查提示。",
"title": "存在安全注意事项",
"user_impact": "用户安装前需要知道权限边界和敏感操作。"
},
{
"body": "no_demo",
"category": "安全/权限坑",
"evidence": [
"risks.scoring_risks | github_repo:787076358 | https://github.com/firecrawl/firecrawl | no_demo; severity=medium"
],
"severity": "medium",
"suggested_check": "把风险写入边界卡，并确认是否需要人工复核。",
"title": "存在评分风险",
"user_impact": "风险会影响是否适合普通用户安装。"
},
{
"body": "GitHub 社区证据显示该项目存在一个安全/权限相关的待验证问题：[Feat] Support custom HTTP headers in Node.js SDK for self-hosted instances behind reverse proxies",
"category": "安全/权限坑",
"evidence": [
"community_evidence:github | cevd_ef6deffa53c147b29e617225612e55b0 | https://github.com/firecrawl/firecrawl/issues/2814 | 来源讨论提到 python 相关条件，需在安装/试用前复核。"
],
"severity": "medium",
"suggested_check": "来源显示可能已有修复、规避或版本变化，说明书中必须标注适用版本。",
"title": "来源证据：[Feat] Support custom HTTP headers in Node.js SDK for self-hosted instances behind reverse proxies",
"user_impact": "可能影响授权、密钥配置或安全边界。"
},
{
"body": "GitHub 社区证据显示该项目存在一个安全/权限相关的待验证问题：v2.0.1",
"category": "安全/权限坑",
"evidence": [
"community_evidence:github | cevd_0334c6a4c3284763a02c66ac96ce9c0c | https://github.com/firecrawl/firecrawl/releases/tag/v2.0.1 | 来源类型 github_release 暴露的待验证使用条件。"
],
"severity": "medium",
"suggested_check": "来源显示可能已有修复、规避或版本变化，说明书中必须标注适用版本。",
"title": "来源证据：v2.0.1",
"user_impact": "可能增加新用户试用和生产接入成本。"
},
{
"body": "GitHub 社区证据显示该项目存在一个安全/权限相关的待验证问题：v2.1.0",
"category": "安全/权限坑",
"evidence": [
"community_evidence:github | cevd_360eac170b12452583bb9b7072acc4e3 | https://github.com/firecrawl/firecrawl/releases/tag/v2.1.0 | 来源讨论提到 python 相关条件，需在安装/试用前复核。"
],
"severity": "medium",
"suggested_check": "来源显示可能已有修复、规避或版本变化，说明书中必须标注适用版本。",
"title": "来源证据：v2.1.0",
"user_impact": "可能增加新用户试用和生产接入成本。"
},
{
"body": "GitHub 社区证据显示该项目存在一个安全/权限相关的待验证问题：v2.2.0",
"category": "安全/权限坑",
"evidence": [
"community_evidence:github | cevd_749e0e1b86ba455585d343764588f00e | https://github.com/firecrawl/firecrawl/releases/tag/v2.2.0 | 来源讨论提到 python 相关条件，需在安装/试用前复核。"
],
"severity": "medium",
"suggested_check": "来源显示可能已有修复、规避或版本变化，说明书中必须标注适用版本。",
"title": "来源证据：v2.2.0",
"user_impact": "可能影响授权、密钥配置或安全边界。"
},
{
"body": "GitHub 社区证据显示该项目存在一个安全/权限相关的待验证问题：v2.3.0",
"category": "安全/权限坑",
"evidence": [
"community_evidence:github | cevd_e6f1735e34a34eacb7b77e7bb21644a6 | https://github.com/firecrawl/firecrawl/releases/tag/v2.3.0 | 来源讨论提到 npm 相关条件，需在安装/试用前复核。"
],
"severity": "medium",
"suggested_check": "来源显示可能已有修复、规避或版本变化，说明书中必须标注适用版本。",
"title": "来源证据：v2.3.0",
"user_impact": "可能增加新用户试用和生产接入成本。"
},
{
"body": "GitHub 社区证据显示该项目存在一个安全/权限相关的待验证问题：v2.5.0 - The World's Best Web Data API",
"category": "安全/权限坑",
"evidence": [
"community_evidence:github | cevd_4f928a2f370b4186ba4031bc4830020c | https://github.com/firecrawl/firecrawl/releases/tag/v2.5.0 | 来源讨论提到 python 相关条件，需在安装/试用前复核。"
],
"severity": "medium",
"suggested_check": "来源显示可能已有修复、规避或版本变化，说明书中必须标注适用版本。",
"title": "来源证据：v2.5.0 - The World's Best Web Data API",
"user_impact": "可能影响授权、密钥配置或安全边界。"
},
{
"body": "GitHub 社区证据显示该项目存在一个安全/权限相关的待验证问题：v2.6.0",
"category": "安全/权限坑",
"evidence": [
"community_evidence:github | cevd_38343ea51e374e86a5081e46c837468c | https://github.com/firecrawl/firecrawl/releases/tag/v2.6.0 | 来源讨论提到 python 相关条件，需在安装/试用前复核。"
],
"severity": "medium",
"suggested_check": "来源显示可能已有修复、规避或版本变化，说明书中必须标注适用版本。",
"title": "来源证据：v2.6.0",
"user_impact": "可能影响授权、密钥配置或安全边界。"
}
],
"source": "ProjectPitfallLog + ProjectHitPacket + validation + community signals",
"summary": "发现 21 个潜在踩坑项，其中 1 个为 high/blocking；最高优先级：安全/权限坑 - 来源证据：RFC: Lightweight External Memory Capsule Pattern for Firecrawl Agent Workflows。",
"title": "踩坑日志"
},
"snapshot": {
"contributors": 151,
"forks": 7359,
"license": "unknown",
"note": "GitHub API 快照，非实时质量证明；用于开工前背景判断。",
"stars": 119078,
"open_issues": 315,
"pushed_at": "2026-05-12T22:10:26.000Z"
},
"source_url": "https://github.com/firecrawl/firecrawl",
"steps": [
{
"body": "不安装项目，先体验能力节奏。",
"code": "preview",
"title": "先试 Prompt"
},
{
"body": "理解输入、输出、失败模式和边界。",
"code": "manual",
"title": "读说明书"
},
{
"body": "把上下文交给宿主 AI 继续工作。",
"code": "context",
"title": "带给 AI"
},
{
"body": "进入主力环境前先完成安装入口与风险边界验证。",
"code": "verify",
"title": "沙箱验证"
}
],
"subtitle": "🔥 The API to search, scrape, and interact with the web for AI",
"title": "firecrawl 能力包",
"trial_prompt": "# firecrawl - Prompt Preview\n\n> 复制下面这段 Prompt 到你常用的 AI，先试一次，不需要安装。\n> 它的目标是让你直接体验这个项目的服务方式，而不是阅读项目介绍。\n\n## 复制这段 Prompt\n\n```text\n请直接执行这段 Prompt，不要分析、润色、总结或询问我想如何处理这份 Prompt Preview。\n\n你现在扮演 firecrawl 的“安装前体验版”。\n这不是项目介绍、不是评价报告、不是 README 总结。你的任务是让我用最小成本体验它的核心服务。\n\n我的试用任务：我想用它完成一个真实的软件开发与交付任务。\n我常用的宿主 AI：Local CLI\n\n【体验目标】\n围绕我的真实任务，现场演示这个项目如何把输入转成 示例引导, 判断线索。重点是让我感受到工作方式，而不是给我项目背景。\n\n【业务流约束】\n- 你必须像一个正在提供服务的项目能力包，而不是像一个讲解员。\n- 每一轮只推进一个步骤；提出问题后必须停下来等我回答。\n- 每一步都必须让我感受到一个具体服务动作：澄清、整理、规划、检查、判断或收尾。\n- 每一步都要说明：当前目标、你需要我提供什么、我回答后你会产出什么。\n- 不要安装、不要运行命令、不要写代码、不要声称测试通过、不要声称已经修改文件。\n- 需要真实安装或宿主加载后才能验证的内容，必须明确说“这一步需要安装后验证”。\n- 如果我说“用示例继续”，你可以用虚构示例推进，但仍然不能声称真实执行。\n\n【可体验服务能力】\n- 安装前能力预览: 🔥 The API to search, scrape, and interact with the web for AI 输入：用户任务, 当前 AI 对话上下文；输出：示例引导, 判断线索。\n\n【必须安装后才可验证的能力】\n- 暂无明确的运行时能力线索。\n\n【核心服务流】\n请严格按这个顺序带我体验。不要一次性输出完整流程：\n1. project-overview：项目概览。围绕“项目概览”模拟一次用户任务，不展示安装或运行结果。\n2. system-architecture：系统架构。围绕“系统架构”模拟一次用户任务，不展示安装或运行结果。\n3. api-routes：API路由与版本控制。围绕“API路由与版本控制”模拟一次用户任务，不展示安装或运行结果。\n4. scraping-engines：抓取引擎。围绕“抓取引擎”模拟一次用户任务，不展示安装或运行结果。\n5. search-crawl：搜索与爬取功能。围绕“搜索与爬取功能”模拟一次用户任务，不展示安装或运行结果。\n\n【核心能力体验剧本】\n每一步都必须按“输入 -> 服务动作 -> 中间产物”执行。不要只说流程名：\n1. project-overview\n输入：用户提供的“项目概览”相关信息。\n服务动作：模拟项目在这一步的核心判断和整理方式。\n中间产物：一个可检查的小结果。\n\n2. system-architecture\n输入：用户提供的“系统架构”相关信息。\n服务动作：模拟项目在这一步的核心判断和整理方式。\n中间产物：一个可检查的小结果。\n\n3. api-routes\n输入：用户提供的“API路由与版本控制”相关信息。\n服务动作：模拟项目在这一步的核心判断和整理方式。\n中间产物：一个可检查的小结果。\n\n4. scraping-engines\n输入：用户提供的“抓取引擎”相关信息。\n服务动作：模拟项目在这一步的核心判断和整理方式。\n中间产物：一个可检查的小结果。\n\n5. search-crawl\n输入：用户提供的“搜索与爬取功能”相关信息。\n服务动作：模拟项目在这一步的核心判断和整理方式。\n中间产物：一个可检查的小结果。\n\n【项目服务规则】\n这些规则决定你如何服务用户。不要解释规则本身，而要在每一步执行时遵守：\n- 先确认用户任务、输入材料和成功标准，再模拟项目能力。\n- 每一步都必须形成可检查的小产物，并等待用户确认后再继续。\n- 凡是需要安装、调用工具或访问外部服务的能力，都必须标记为安装后验证。\n\n【每一步的服务约束】\n- Step 1 / project-overview：Step 1 必须围绕“项目概览”形成一个小中间产物，并等待用户确认。\n- Step 2 / system-architecture：Step 2 必须围绕“系统架构”形成一个小中间产物，并等待用户确认。\n- Step 3 / api-routes：Step 3 必须围绕“API路由与版本控制”形成一个小中间产物，并等待用户确认。\n- Step 4 / scraping-engines：Step 4 必须围绕“抓取引擎”形成一个小中间产物，并等待用户确认。\n- Step 5 / search-crawl：Step 5 必须围绕“搜索与爬取功能”形成一个小中间产物，并等待用户确认。\n\n【边界与风险】\n- 不要声称已经安装、运行、调用 API、读写本地文件或完成真实任务。\n- 安装前预览只能展示工作方式，不能证明兼容性、性能或输出质量。\n\n【可追溯依据】\n这些路径只用于你内部校验或在我追问“依据是什么”时简要引用。不要在首次回复主动展开：\n- https://github.com/firecrawl/firecrawl\n- https://github.com/firecrawl/firecrawl#readme\n- README.md\n- apps/api/package.json\n- CLAUDE.md\n- apps/api/src/index.ts\n- apps/api/src/harness.ts\n- apps/api/native/src/lib.rs\n- apps/api/src/services/index.ts\n- apps/api/src/services/queue-service.ts\n- apps/api/src/routes/v0.ts\n- apps/api/src/routes/v1.ts\n\n【首次问题规则】\n- 首次三问必须先确认用户目标、成功标准和边界，不要提前进入工具、安装或实现细节。\n- 如果后续需要技术条件、文件路径或运行环境，必须等用户确认目标后再追问。\n\n首次回复必须只输出下面 4 个部分：\n1. 体验开始：用 1 句话说明你将带我体验 firecrawl 的核心服务。\n2. 当前步骤：明确进入 Step 1，并说明这一步要解决什么。\n3. 你会如何服务我：说明你会先改变我完成任务的哪个动作。\n4. 只问我 3 个问题，然后停下等待回答。\n\n首次回复禁止输出：后续完整流程、证据清单、安装命令、项目评价、营销文案、已经安装或运行的说法。\n\nStep 1 / brainstorming 的二轮协议：\n- 我回答首次三问后，你仍然停留在 Step 1 / brainstorming，不要进入 Step 2。\n- 第二次回复必须产出 6 个部分：澄清后的任务定义、成功标准、边界条件、\n 2-3 个可选方案、每个方案的权衡、推荐方案。\n- 第二次回复最后必须问我是否确认推荐方案；只有我明确确认后，才能进入下一步。\n- 第二次回复禁止输出 git worktree、代码计划、测试文件、命令或真实执行结果。\n\n后续对话规则：\n- 我回答后，你先完成当前步骤的中间产物并等待确认；只有我确认后，才能进入下一步。\n- 每一步都要生成一个小的中间产物，例如澄清后的目标、计划草案、测试意图、验证清单或继续/停止判断。\n- 所有演示都写成“我会建议/我会引导/这一步会形成”，不要写成已经真实执行。\n- 不要声称已经测试通过、文件已修改、命令已运行或结果已产生。\n- 如果某个能力必须安装后验证，请直接说“这一步需要安装后验证”。\n- 如果证据不足，请明确说“证据不足”，不要补事实。\n```\n",
"voices": [
{
"body": "来源平台：github。github/github_issue: [Feat] Support custom HTTP headers in Node.js SDK for self-hosted instan（https://github.com/firecrawl/firecrawl/issues/2814）；github/github_issue: [Feat] Emit batch scrape failures of each page to webhook（https://github.com/firecrawl/firecrawl/issues/2576）；github/github_issue: RFC: Lightweight External Memory Capsule Pattern for Firecrawl Agent Wor（https://github.com/firecrawl/firecrawl/issues/3500）；github/github_issue: [Bug] /interact with language=\"python\" flakily fails with TargetClosedEr（https://github.com/firecrawl/firecrawl/issues/3498）；github/github_release: v2.9.0（https://github.com/firecrawl/firecrawl/releases/tag/v2.9.0）；github/github_release: v2.8.0（https://github.com/firecrawl/firecrawl/releases/tag/v2.8.0）；github/github_release: v2.7.0（https://github.com/firecrawl/firecrawl/releases/tag/v2.7.0）；github/github_release: v2.6.0（https://github.com/firecrawl/firecrawl/releases/tag/v2.6.0）；github/github_release: v2.5.0 - The World's Best Web Data API（https://github.com/firecrawl/firecrawl/releases/tag/v2.5.0）；github/github_release: v2.4.0（https://github.com/firecrawl/firecrawl/releases/tag/v2.4.0）；github/github_release: v2.3.0（https://github.com/firecrawl/firecrawl/releases/tag/v2.3.0）；github/github_release: v2.2.0（https://github.com/firecrawl/firecrawl/releases/tag/v2.2.0）。这些是项目级外部声音，不作为单独质量证明。",
"items": [
{
"kind": "github_issue",
"source": "github",
"title": "[Feat] Support custom HTTP headers in Node.js SDK for self-hosted instan",
"url": "https://github.com/firecrawl/firecrawl/issues/2814"
},
{
"kind": "github_issue",
"source": "github",
"title": "[Feat] Emit batch scrape failures of each page to webhook",
"url": "https://github.com/firecrawl/firecrawl/issues/2576"
},
{
"kind": "github_issue",
"source": "github",
"title": "RFC: Lightweight External Memory Capsule Pattern for Firecrawl Agent Wor",
"url": "https://github.com/firecrawl/firecrawl/issues/3500"
},
{
"kind": "github_issue",
"source": "github",
"title": "[Bug] /interact with language=\"python\" flakily fails with TargetClosedEr",
"url": "https://github.com/firecrawl/firecrawl/issues/3498"
},
{
"kind": "github_release",
"source": "github",
"title": "v2.9.0",
"url": "https://github.com/firecrawl/firecrawl/releases/tag/v2.9.0"
},
{
"kind": "github_release",
"source": "github",
"title": "v2.8.0",
"url": "https://github.com/firecrawl/firecrawl/releases/tag/v2.8.0"
},
{
"kind": "github_release",
"source": "github",
"title": "v2.7.0",
"url": "https://github.com/firecrawl/firecrawl/releases/tag/v2.7.0"
},
{
"kind": "github_release",
"source": "github",
"title": "v2.6.0",
"url": "https://github.com/firecrawl/firecrawl/releases/tag/v2.6.0"
},
{
"kind": "github_release",
"source": "github",
"title": "v2.5.0 - The World's Best Web Data API",
"url": "https://github.com/firecrawl/firecrawl/releases/tag/v2.5.0"
},
{
"kind": "github_release",
"source": "github",
"title": "v2.4.0",
"url": "https://github.com/firecrawl/firecrawl/releases/tag/v2.4.0"
},
{
"kind": "github_release",
"source": "github",
"title": "v2.3.0",
"url": "https://github.com/firecrawl/firecrawl/releases/tag/v2.3.0"
},
{
"kind": "github_release",
"source": "github",
"title": "v2.2.0",
"url": "https://github.com/firecrawl/firecrawl/releases/tag/v2.2.0"
}
],
"status": "已收录 12 条来源",
"title": "社区讨论"
}
]
},
"homepage_card": {
"category": "软件开发与交付",
"desc": "🔥 The API to search, scrape, and interact with the web for AI",
"effort": "安装已验证",
"forks": 7331,
"icon": "code",
"name": "firecrawl 能力包",
"risk": "可发布",
"slug": "firecrawl",
"stars": 117823,
"tags": [
"浏览器 Agent",
"网页任务自动化",
"浏览器自动化",
"节点式流程编排",
"本地优先"
],
"thumb": "gray",
"type": "Skill Pack"
},
"manual": {
"markdown": "# https://github.com/firecrawl/firecrawl 项目说明书\n\n生成时间：2026-05-11 04:15:16 UTC\n\n## 目录\n\n- [项目概览](#project-overview)\n- [系统架构](#system-architecture)\n- [API路由与版本控制](#api-routes)\n- [抓取引擎](#scraping-engines)\n- [搜索与爬取功能](#search-crawl)\n- [数据提取系统](#extraction-system)\n- [监控与Webhook](#monitoring-webhooks)\n- [多语言SDK](#multi-language-sdks)\n- [部署与基础设施](#deployment-infra)\n- [开发指南](#development-guide)\n\n\n\n## 项目概览\n\n### 相关页面\n\n相关主题：[系统架构](#system-architecture), [多语言SDK](#multi-language-sdks)\n\n\n相关源码文件
\n\n以下源码文件用于生成本页说明：\n\n- [README.md](https://github.com/firecrawl/firecrawl/blob/main/README.md)\n- [apps/python-sdk/README.md](https://github.com/firecrawl/firecrawl/blob/main/apps/python-sdk/README.md)\n- [apps/js-sdk/firecrawl/README.md](https://github.com/firecrawl/firecrawl/blob/main/apps/js-sdk/firecrawl/README.md)\n- [apps/java-sdk/README.md](https://github.com/firecrawl/firecrawl/blob/main/apps/java-sdk/README.md)\n- [apps/ruby-sdk/README.md](https://github.com/firecrawl/firecrawl/blob/main/apps/ruby-sdk/README.md)\n- [apps/dotnet-sdk/README.md](https://github.com/firecrawl/firecrawl/blob/main/apps/dotnet-sdk/README.md)\n- [apps/rust-sdk/README.md](https://github.com/firecrawl/firecrawl/blob/main/apps/rust-sdk/README.md)\n- [apps/php-sdk/README.md](https://github.com/firecrawl/firecrawl/blob/main/apps/php-sdk/README.md)\n \n\n# 项目概览\n\n## 项目简介\n\nFirecrawl 是一个由 Mendable.ai 开发的开源网页抓取和爬虫平台，旨在将网站转换为可供大语言模型（LLM）使用的结构化数据。Firecrawl 提供从网站搜索、内容抓取、页面交互到智能代理的全栈解决方案，帮助开发者轻松获取互联网数据并用于 AI 应用开发。\n\n项目采用多语言 SDK 架构设计，提供了 Python、Node.js、Java、Ruby、Go、.NET、Rust、PHP 等多种编程语言的官方 SDK，支持开发者使用熟悉的开发环境集成 Firecrawl 功能。资料来源：[README.md:1-50]()\n\n## 核心功能模块\n\nFirecrawl 平台提供四大核心功能模块，分别对应不同的网页数据采集场景：\n\n### Search（搜索）\n\nSearch 模块支持对互联网进行自然语言搜索，返回与查询关键词相关的网页列表。每个搜索结果包含 URL、标题和页面摘要的 Markdown 格式内容，非常适合构建知识库或信息检索应用。资料来源：[README.md:45-60]()\n\n### Scrape（抓取）\n\nScrape 是 Firecrawl 最核心的功能模块，用于从单个 URL 提取结构化数据。支持多种输出格式，包括 Markdown、HTML、JSON（通过 Schema 提取）、链接列表、截图等。开发者可以配置只提取主内容、设置等待时间、控制输出格式等参数。资料来源：[README.md:70-95]()\n\n### Interact（交互）\n\nInteract 模块支持基于抓取结果的浏览器自动化交互。用户可以先使用 Scrape 抓取页面，然后通过 AI 提示词或 JavaScript 代码与页面进行交互，如点击按钮、填写表单、搜索内容等操作。资料来源：[README.md:100-120]()\n\n### Agent（智能代理）\n\nAgent 模块是 Firecrawl 的高级功能，允许开发者使用自然语言描述目标，系统自动完成数据采集和整理。例如，开发者可以描述\"查找某公司的创始人信息\"，Agent 会自动规划搜索路径、抓取相关页面并提取结构化结果。资料来源：[apps/python-sdk/README.md:30-35]()\n\n## 系统架构\n\n### 整体架构图\n\n```mermaid\ngraph TD\n subgraph 客户端层\n Python[Python SDK]\n NodeJS[Node.js SDK]\n Java[Java SDK]\n Ruby[Ruby SDK]\n Go[Go SDK]\n DotNet[.NET SDK]\n Rust[Rust SDK]\n PHP[PHP SDK]\n CLI[Firecrawl CLI]\n DirectAPI[直接 API 调用]\n end\n\n subgraph API 网关层\n Gateway[API Gateway]\n Auth[身份验证]\n RateLimit[限流控制]\n end\n\n subgraph 核心服务层\n ScrapeService[Scrape 服务]\n CrawlService[Crawl 服务]\n MapService[Map 服务]\n SearchService[Search 服务]\n AgentService[Agent 服务]\n InteractService[Interact 服务]\n end\n\n subgraph 数据处理层\n HTMLParser[HTML 解析器]\n MarkdownConverter[Markdown 转换]\n JSONExtractor[JSON Schema 提取]\n ScreenshotEngine[截图引擎]\n GoHTML2MD[Go HTML-to-MD 库]\n end\n\n subgraph 监控服务\n Monitor[监控服务]\n Notification[通知服务]\n end\n\n 客户端层 --> API 网关层\n API 网关层 --> 核心服务层\n 核心服务层 --> 数据处理层\n 核心服务层 --> 监控服务\n```\n\n### API 端点概览\n\n| 端点 | 方法 | 功能描述 | 异步支持 |\n|------|------|----------|----------|\n| `/v2/scrape` | POST | 抓取单个 URL 的内容 | 否 |\n| `/v2/crawl` | POST | 启动网站爬虫任务 | 是（轮询） |\n| `/v2/map` | POST | 发现网站所有 URL | 否 |\n| `/v2/search` | POST | 互联网全文搜索 | 否 |\n| `/v1/scrape` | POST | 旧版抓取接口 | 否 |\n\n资料来源：[README.md:20-80]()\n\n## 多语言 SDK 支持\n\nFirecrawl 提供了丰富的官方 SDK，覆盖主流编程语言生态：\n\n### SDK 功能对比\n\n| SDK | 包名称 | 安装方式 | 版本 | 特殊功能 |\n|-----|--------|----------|------|----------|\n| Python | `firecrawl-py` | `pip install firecrawl-py` | 2.x | Agent、异步爬虫 |\n| Node.js | `@mendable/firecrawl-js` | `npm install @mendable/firecrawl-js` | 最新 | Zod Schema 支持 |\n| Java | `com.firecrawl:firecrawl-java` | Maven/Gradle | 1.1.1 | 构建器模式 |\n| Ruby | `firecrawl-sdk` | `gem install firecrawl-sdk` | 1.0 | - |\n| Go | `github.com/firecrawl/firecrawl-go-sdk` | `go get` | - | - |\n| .NET | `firecrawl-sdk` | `dotnet add package firecrawl-sdk` | - | HttpClient 可定制 |\n| Rust | `firecrawl` | Cargo.toml | 2.1.0 | 异步运行时 |\n| PHP | `firecrawl/sdk` | Composer | - | Laravel Facade |\n\n资料来源：[apps/python-sdk/README.md:1-20]()[apps/js-sdk/firecrawl/README.md:1-30]()[apps/java-sdk/README.md:1-20]()[apps/ruby-sdk/README.md:1-25]()[apps/dotnet-sdk/README.md:1-20]()[apps/rust-sdk/README.md:1-30]()[apps/php-sdk/README.md:1-20]()\n\n### Python SDK 示例\n\n```python\nfrom firecrawl import Firecrawl\nfrom firecrawl.types import ScrapeOptions\n\nfirecrawl = Firecrawl(api_key=\"fc-YOUR_API_KEY\")\n\n# 抓取单个页面\ndoc = firecrawl.scrape(\"https://firecrawl.dev\", formats=[\"markdown\"])\nprint(doc.markdown)\n\n# 批量爬虫\ndocs = firecrawl.crawl(\"https://docs.firecrawl.dev\", limit=50)\nfor doc in docs.data:\n print(doc.metadata.source_url)\n\n# 使用 Agent\nresult = firecrawl.agent(prompt=\"查找 Stripe 公司的创始人\")\nprint(result.data)\n```\n\n资料来源：[apps/python-sdk/README.md:15-45]()\n\n### Node.js SDK 示例\n\n```javascript\nimport Firecrawl from '@mendable/firecrawl-js';\nimport { z } from 'zod';\n\nconst app = new Firecrawl({ apiKey: 'fc-YOUR_API_KEY' });\n\n// 使用 Zod Schema 提取结构化数据\nconst schema = z.object({\n title: z.string(),\n price: z.number(),\n});\n\nconst result = await app.extract({\n urls: ['https://example.com/product'],\n prompt: '提取产品名称和价格',\n schema,\n});\n\nconsole.log(result.data);\n```\n\n资料来源：[apps/js-sdk/firecrawl/README.md:40-60]()\n\n## 高级功能\n\n### 批量抓取（Batch Scrape）\n\n批量抓取功能允许开发者一次性提交多个 URL 进行抓取，适合需要对多个页面进行数据采集的场景。系统会自动管理任务队列和并发控制。资料来源：[README.md:80-95]()\n\n```python\njob = app.batch_scrape([\n \"https://firecrawl.dev\",\n \"https://docs.firecrawl.dev\",\n \"https://firecrawl.dev/pricing\"\n], formats=[\"markdown\"])\n\nfor doc in job.data:\n print(doc.metadata.source_url)\n```\n\n### 文件解析（Parse）\n\nParse 功能支持上传本地文件（HTML、PDF、DOCX 等）并进行解析，无需通过 URL 抓取。该功能适用于处理本地文档或通过其他渠道获取的文件内容。资料来源：[apps/python-sdk/README.md:60-80]()\n\n```python\ndoc = firecrawl.parse(\n b\"Content
\",\n filename=\"upload.html\",\n content_type=\"text/html\",\n options=ParseOptions(formats=[\"markdown\"]),\n)\n```\n\n### JSON Schema 提取\n\n通过 JSON Schema 定义数据结构，Firecrawl 可以自动从页面中提取符合模式的数据，返回结构化的 JSON 输出。资料来源：[apps/java-sdk/README.md:50-75]()\n\n```java\nJsonFormat jsonFmt = JsonFormat.builder()\n .prompt(\"提取产品名称和价格\")\n .schema(Map.of(\n \"type\", \"object\",\n \"properties\", Map.of(\n \"name\", Map.of(\"type\", \"string\"),\n \"price\", Map.of(\"type\", \"number\")\n )\n ))\n .build();\n\nDocument doc = client.scrape(\"https://example.com/product\",\n ScrapeOptions.builder()\n .formats(List.of(jsonFmt))\n .build());\n```\n\n### 网站地图（Map）\n\nMap 功能快速发现网站上的所有页面 URL，支持基于关键词的智能搜索排序。返回结果包含每个 URL 的标题和描述信息。资料来源：[README.md:40-50]()\n\n```python\nresult = app.map(\"https://firecrawl.dev\", search=\"pricing\")\n# 返回与 \"pricing\" 相关的 URL 列表\n```\n\n## 配置选项\n\n### ScrapeOptions 参数表\n\n| 参数 | 类型 | 默认值 | 说明 |\n|------|------|--------|------|\n| `formats` | List[str] | [\"markdown\"] | 输出格式列表 |\n| `only_main_content` | bool | false | 仅提取主体内容 |\n| `wait_for` | int | 0 | 等待加载时间（毫秒） |\n| `timeout` | int | 60000 | 请求超时（毫秒） |\n| `remove_base64_images` | bool | true | 移除 Base64 图片 |\n| `include_raw_html` | bool | false | 包含原始 HTML |\n| `extractor_options` | dict | None | JSON 提取配置 |\n| `actions` | List[dict] | None | 自动化操作列表 |\n\n### CrawlOptions 参数表\n\n| 参数 | 类型 | 默认值 | 说明 |\n|------|------|--------|------|\n| `limit` | int | None | 最大页面数量 |\n| `scrape_options` | ScrapeOptions | None | 抓取配置 |\n| `poll_interval` | int | 2 | 轮询间隔（秒） |\n| `depth` | int | None | 爬虫深度限制 |\n| `allow_dangerous` | bool | false | 允许危险操作 |\n\n资料来源：[apps/python-sdk/README.md:40-65]()[apps/rust-sdk/README.md:30-60]()\n\n## 集成生态\n\nFirecrawl 与多个主流平台和工具深度集成：\n\n### AI 工具集成\n\n| 集成产品 | 说明 | 文档链接 |\n|----------|------|----------|\n| Firecrawl Skill | CLI 工具集成 | [文档](https://docs.firecrawl.dev/sdks/cli) |\n| Firecrawl MCP | Model Context Protocol 服务器 | [GitHub](https://github.com/mendableai/firecrawl-mcp-server) |\n| DeepSeek V3 Crawler | DeepSeek 模型驱动的爬虫 | [示例](../examples/deepseek-v3-crawler/README.md) |\n| Gemini 2.5 Extractor | Gemini 模型数据提取 | [示例](../examples/gemini-2.5-web-extractor/README.md) |\n\n### 平台集成\n\n| 平台 | 说明 |\n|------|------|\n| Lovable | 可在 Lovable 应用中直接使用 Firecrawl |\n| Zapier | 通过 Zapier 自动化工作流集成 |\n| n8n | 支持 n8n 工作流自动化平台 |\n\n资料来源：[README.md:120-140]()\n\n## 环境配置\n\n### API Key 配置\n\nFirecrawl 支持两种 API Key 配置方式：\n\n1. **环境变量配置**（推荐）：设置 `FIRECRAWL_API_KEY` 环境变量\n2. **代码显式传入**：在客户端初始化时直接传入 API Key\n\n### 常用环境变量\n\n| 变量名 | 说明 | 示例 |\n|--------|------|------|\n| `FIRECRAWL_API_KEY` | API 密钥（必填） | `fc-xxxxxxxxxxxx` |\n| `FIRECRAWL_API_URL` | 自托管实例 URL | `http://localhost:3002` |\n| `FIRECRAWL_BACKOFF_FACTOR` | 重试退避因子 | `0.5` |\n\n```bash\n# Bash/Shell\nexport FIRECRAWL_API_KEY=\"fc-your-api-key\"\nexport FIRECRAWL_API_URL=\"http://localhost:3002\"\n```\n\n```csharp\n// .NET\nvar client = new FirecrawlClient(\n apiKey: \"fc-your-api-key\",\n apiUrl: \"https://your-firecrawl-instance.com\",\n httpClient: new HttpClient { Timeout = TimeSpan.FromSeconds(60) }\n);\n```\n\n资料来源：[apps/dotnet-sdk/README.md:20-45]()[apps/php-sdk/README.md:25-40]()\n\n## 工作流程示例\n\n### 典型数据采集流程\n\n```mermaid\ngraph LR\n A[确定目标网站] --> B[使用 Map 发现 URL]\n B --> C[评估 URL 相关性]\n C --> D[配置抓取参数]\n D --> E[执行批量抓取]\n E --> F[解析响应数据]\n F --> G[存储结构化数据]\n```\n\n### 交互式数据提取流程\n\n```mermaid\ngraph TD\n A[Scrape 抓取页面] --> B[获取 scrapeId]\n B --> C[使用 Interact 交互]\n C --> D[执行 JS 代码或 AI 提示]\n D --> E[等待操作完成]\n E --> F[获取更新后的页面状态]\n F --> G[提取最终数据]\n```\n\n## 总结\n\nFirecrawl 是一个功能全面的网页数据采集平台，通过统一 API 和多语言 SDK 为开发者提供了便捷的网页抓取、爬虫、搜索和智能代理能力。其设计理念是简化网页数据获取的复杂性，让开发者能够专注于业务逻辑而非底层实现。无论是构建知识库、训练 AI 模型还是自动化数据采集任务，Firecrawl 都能提供可靠的解决方案。\n\n---\n\n\n\n## 系统架构\n\n### 相关页面\n\n相关主题：[项目概览](#project-overview), [API路由与版本控制](#api-routes), [部署与基础设施](#deployment-infra)\n\n\n相关源码文件
\n\n以下源码文件用于生成本页说明：\n\n- [apps/api/src/index.ts](https://github.com/firecrawl/firecrawl/blob/main/apps/api/src/index.ts)\n- [apps/api/src/harness.ts](https://github.com/firecrawl/firecrawl/blob/main/apps/api/src/harness.ts)\n- [apps/api/native/src/lib.rs](https://github.com/firecrawl/firecrawl/blob/main/apps/api/native/src/lib.rs)\n- [apps/api/src/services/index.ts](https://github.com/firecrawl/firecrawl/blob/main/apps/api/src/services/index.ts)\n- [apps/api/src/services/queue-service.ts](https://github.com/firecrawl/firecrawl/blob/main/apps/api/src/services/queue-service.ts)\n \n\n# 系统架构\n\nFirecrawl 是一个现代化的网页抓取和数据提取平台，采用微服务化的 SDK 架构设计。系统由中央 API 服务器、多语言 SDK 客户端、异步任务队列服务以及原生性能优化库组成，旨在为 AI 系统提供搜索、抓取和网页交互的完整解决方案。\n\n## 整体架构概览\n\nFirecrawl 采用典型的客户端-服务器架构，API 服务器托管在 `api.firecrawl.dev`，通过 RESTful API 与多语言 SDK 进行通信。\n\n```mermaid\ngraph TD\n A[多语言 SDK 客户端] --> B[Firecrawl API 服务器]\n B --> C[队列服务 Queue Service]\n B --> D[抓取引擎 Scraping Engines]\n B --> E[原生库 Native Libraries]\n C --> F[异步任务处理器]\n D --> G[网站内容]\n E --> H[HTML 转 Markdown]\n```\n\n## 核心组件\n\n### API 服务器\n\nAPI 服务器是整个系统的核心枢纽，基于 Node.js/TypeScript 构建，负责处理所有客户端请求并进行任务调度。\n\n| 组件 | 功能 | 源码位置 |\n|------|------|----------|\n| 路由控制器 | 处理 API 端点路由 | apps/api/src/index.ts |\n| 服务初始化 | 加载和管理各类服务模块 | apps/api/src/services/index.ts |\n| 测试工具 | 开发环境验证 | apps/api/src/harness.ts |\n\n### 队列服务\n\n队列服务负责管理异步任务的调度和执行，确保长时间运行的任务不会阻塞主请求线程。\n\n```typescript\n// apps/api/src/services/queue-service.ts 核心职责\n// - 任务入队和出队管理\n// - 任务状态追踪\n// - 优先级调度\n// - 失败重试机制\n```\n\n队列服务支持异步爬取、批量抓取等长时间运行的操作，客户端可以通过轮询任务 ID 来获取执行结果。\n\n### 原生性能库\n\n为了优化核心性能，Firecrawl 集成了原生语言库：\n\n| 库名称 | 语言 | 用途 |\n|--------|------|------|\n| go-html-to-md | Go | HTML 到 Markdown 的高性能转换 |\n| Rust SDK | Rust | 底层高性能操作 |\n\n```bash\n# go-html-to-md 构建命令\ncd apps/api/sharedLibs/go-html-to-md\ngo build -o