# trafilatura - Doramagic AI Context Pack > 定位：安装前体验与判断资产。它帮助宿主 AI 有一个好的开始，但不代表已经安装、执行或验证目标项目。 ## 充分原则 - **充分原则，不是压缩原则**：AI Context Pack 应该充分到让宿主 AI 在开工前理解项目价值、能力边界、使用入口、风险和证据来源；它可以分层组织，但不以最短摘要为目标。 - **压缩策略**：只压缩噪声和重复内容，不压缩会影响判断和开工质量的上下文。 ## 给宿主 AI 的使用方式 你正在读取 Doramagic 为 trafilatura 编译的 AI Context Pack。请把它当作开工前上下文：帮助用户理解适合谁、能做什么、如何开始、哪些必须安装后验证、风险在哪里。不要声称你已经安装、运行或执行了目标项目。 ## Claim 消费规则 - **事实来源**：Repo Evidence + Claim/Evidence Graph；Human Wiki 只提供显著性、术语和叙事结构。 - **事实最低状态**：`supported` - `supported`：可以作为项目事实使用，但回答中必须引用 claim_id 和证据路径。 - `weak`：只能作为低置信度线索，必须要求用户继续核实。 - `inferred`：只能用于风险提示或待确认问题，不能包装成项目事实。 - `unverified`：不得作为事实使用，应明确说证据不足。 - `contradicted`：必须展示冲突来源，不得替用户强行选择一个版本。 ## 它最适合谁 - **AI 研究者或研究型 Agent 构建者**：README 明确围绕研究、实验或论文工作流展开。 证据：`README.md` Claim：`clm_0002` supported 0.86 ## 它能做什么 - **项目知识预览**（可做安装前预览）：项目可被阅读和解释，但当前证据不足以确认可安装能力或运行入口。 证据：`README.md`, `CONTRIBUTING.md`, `LICENSE`, `HISTORY.md` 等 Claim：`clm_0001` supported 0.86 ## 怎么开始 - 项目证据中没有稳定 Quick Start 命令；此项应留空，而不是由 Doramagic 编造。 ## 继续前判断卡 - **当前建议**：先做 Prompt Preview - **为什么**：当前信息足以做安装前体验，但真实兼容性、输出质量或风险边界还不能直接相信。 ### 30 秒判断 - **现在怎么做**：先做 Prompt Preview - **最小安全下一步**：先跑 Prompt Preview - **先别相信**：真实输出质量不能在安装前相信。 - **继续会触碰**：宿主 AI 上下文 ### 现在可以相信 - **适合人群线索：AI 研究者或研究型 Agent 构建者**（supported）：有 supported claim 或项目证据支撑，但仍不等于真实安装效果。 证据：`README.md` Claim：`clm_0002` supported 0.86 - **能力存在：项目知识预览**（supported）：可以相信项目包含这类能力线索；是否适合你的具体任务仍要试用或安装后验证。 证据：`README.md`, `CONTRIBUTING.md`, `LICENSE`, `HISTORY.md` 等 Claim：`clm_0001` supported 0.86 ### 现在还不能相信 - **真实输出质量不能在安装前相信。**（unverified）：Prompt Preview 只能展示引导方式，不能证明真实项目中的结果质量。 - **宿主 AI 版本兼容性不能在安装前相信。**（unverified）：Claude、Cursor、Codex、Gemini 等宿主加载规则和版本差异必须在真实环境验证。 - **不会污染现有宿主 AI 行为，不能直接相信。**（inferred）：Skill、plugin、AGENTS/CLAUDE/GEMINI 指令可能改变宿主 AI 的默认行为。 - **可安全回滚不能默认相信。**（unverified）：除非项目明确提供卸载和恢复说明，否则必须先在隔离环境验证。 - **真实安装后是否与用户当前宿主 AI 版本兼容？**（unverified）：兼容性只能通过实际宿主环境验证。 - **项目输出质量是否满足用户具体任务？**（unverified）：安装前预览只能展示流程和边界，不能替代真实评测。 ### 继续会触碰什么 - **宿主 AI 上下文**：AI Context Pack、Prompt Preview、Skill 路由、风险规则和项目事实。 原因：导入上下文会影响宿主 AI 后续判断，必须避免把未验证项包装成事实。 ### 最小安全下一步 - **先跑 Prompt Preview**：用安装前交互式试用判断工作方式是否匹配，不需要授权或改环境。（适用：任何项目都适用，尤其是输出质量未知时。） - **安装后只验证一个最小任务**：先验证加载、兼容、输出质量和回滚，再决定是否深用。（适用：准备从试用进入真实工作流时。） ### 退出方式 - **保留安装前状态**：记录原始宿主配置和项目状态，后续才能判断是否可恢复。 - **如果没有回滚路径，不进入主力环境**：不可回滚是继续前阻断项，不应靠信任或运气继续。 ## 哪些只能预览 - 解释项目适合谁和能做什么 - 基于项目文档演示典型对话流程 - 帮助用户判断是否值得安装或继续研究 ## 哪些必须安装后验证 - 真实安装 Skill、插件或 CLI - 执行脚本、修改本地文件或访问外部服务 - 验证真实输出质量、性能和兼容性 ## 边界与风险判断卡 - **把安装前预览误认为真实运行**：用户可能高估项目已经完成的配置、权限和兼容性验证。 处理方式：明确区分 prompt_preview_can_do 与 runtime_required。 Claim：`clm_0003` inferred 0.45 - **待确认**：真实安装后是否与用户当前宿主 AI 版本兼容？。原因：兼容性只能通过实际宿主环境验证。 - **待确认**：项目输出质量是否满足用户具体任务？。原因：安装前预览只能展示流程和边界，不能替代真实评测。 ## 开工前工作上下文 ### 加载顺序 - 先读取 how_to_use.host_ai_instruction，建立安装前判断资产的边界。 - 读取 claim_graph_summary，确认事实来自 Claim/Evidence Graph，而不是 Human Wiki 叙事。 - 再读取 intended_users、capabilities 和 quick_start_candidates，判断用户是否匹配。 - 需要执行具体任务时，优先查 role_skill_index，再查 evidence_index。 - 遇到真实安装、文件修改、网络访问、性能或兼容性问题时，转入 risk_card 和 boundaries.runtime_required。 ### 任务路由 - **项目知识预览**：先基于 role_skill_index / evidence_index 帮用户挑选可用角色、Skill 或工作流。 边界：可做安装前 Prompt 体验。 证据：`README.md`, `CONTRIBUTING.md`, `LICENSE`, `HISTORY.md` 等 Claim：`clm_0001` supported 0.86 ### 上下文规模 - 文件总数：68 - 重要文件覆盖：40/68 - 证据索引条目：66 - 角色 / Skill 条目：3 ### 证据不足时的处理 - **missing_evidence**：说明证据不足，要求用户提供目标文件、README 段落或安装后验证记录；不要补全事实。 - **out_of_scope_request**：说明该任务超出当前 AI Context Pack 证据范围，并建议用户先查看 Human Manual 或真实安装后验证。 - **runtime_request**：给出安装前检查清单和命令来源，但不要替用户执行命令或声称已执行。 - **source_conflict**：同时展示冲突来源，标记为待核实，不要强行选择一个版本。 ## Prompt Recipes ### 适配判断 - 目标：判断这个项目是否适合用户当前任务。 - 预期输出：适配结论、关键理由、证据引用、安装前可预览内容、必须安装后验证内容、下一步建议。 ```text 请基于 trafilatura 的 AI Context Pack，先问我 3 个必要问题，然后判断它是否适合我的任务。回答必须包含：适合谁、能做什么、不能做什么、是否值得安装、证据来自哪里。所有项目事实必须引用 evidence_refs、source_paths 或 claim_id。 ``` ### 安装前体验 - 目标：让用户在安装前感受核心工作流，同时避免把预览包装成真实能力或营销承诺。 - 预期输出：一段带边界标签的体验剧本、安装后验证清单和谨慎建议；不含真实运行承诺或强营销表述。 ```text 请把 trafilatura 当作安装前体验资产，而不是已安装工具或真实运行环境。 请严格输出四段： 1. 先问我 3 个必要问题。 2. 给出一段“体验剧本”：用 [安装前可预览]、[必须安装后验证]、[证据不足] 三种标签展示它可能如何引导工作流。 3. 给出安装后验证清单：列出哪些能力只有真实安装、真实宿主加载、真实项目运行后才能确认。 4. 给出谨慎建议：只能说“值得继续研究/试装”“先补充信息后再判断”或“不建议继续”，不得替项目背书。 硬性边界： - 不要声称已经安装、运行、执行测试、修改文件或产生真实结果。 - 不要写“自动适配”“确保通过”“完美适配”“强烈建议安装”等承诺性表达。 - 如果描述安装后的工作方式，必须使用“如果安装成功且宿主正确加载 Skill，它可能会……”这种条件句。 - 体验剧本只能写成“示例台词/假设流程”：使用“可能会询问/可能会建议/可能会展示”，不要写“已写入、已生成、已通过、正在运行、正在生成”。 - Prompt Preview 不负责给安装命令；如用户准备试装，只能提示先阅读 Quick Start 和 Risk Card，并在隔离环境验证。 - 所有项目事实必须来自 supported claim、evidence_refs 或 source_paths；inferred/unverified 只能作风险或待确认项。 ``` ### 角色 / Skill 选择 - 目标：从项目里的角色或 Skill 中挑选最匹配的资产。 - 预期输出：候选角色或 Skill 列表，每项包含适用场景、证据路径、风险边界和是否需要安装后验证。 ```text 请读取 role_skill_index，根据我的目标任务推荐 3-5 个最相关的角色或 Skill。每个推荐都要说明适用场景、可能输出、风险边界和 evidence_refs。 ``` ### 风险预检 - 目标：安装或引入前识别环境、权限、规则冲突和质量风险。 - 预期输出：环境、权限、依赖、许可、宿主冲突、质量风险和未知项的检查清单。 ```text 请基于 risk_card、boundaries 和 quick_start_candidates，给我一份安装前风险预检清单。不要替我执行命令，只说明我应该检查什么、为什么检查、失败会有什么影响。 ``` ### 宿主 AI 开工指令 - 目标：把项目上下文转成一次对话开始前的宿主 AI 指令。 - 预期输出：一段边界明确、证据引用明确、适合复制给宿主 AI 的开工前指令。 ```text 请基于 trafilatura 的 AI Context Pack，生成一段我可以粘贴给宿主 AI 的开工前指令。这段指令必须遵守 not_runtime=true，不能声称项目已经安装、运行或产生真实结果。 ``` ## 角色 / Skill 索引 - 共索引 3 个角色 / Skill / 项目文档条目。 - **Trafilatura: Discover and Extract Text Data on the Web**（project_doc）：Trafilatura: Discover and Extract Text Data on the Web 激活提示：当用户需要理解项目结构、安装方式或边界时参考。 证据：`README.md` - **How to contribute**（project_doc）：If you value this software or depend on it for your product, consider sponsoring it and contributing to its codebase. Your support will help ensure the sustainability and growth of the project. 激活提示：当用户需要理解项目结构、安装方式或边界时参考。 证据：`CONTRIBUTING.md` - **History / Changelog**（project_doc）：Major changes: - Dependencies updated, lxml in particular with minimal changes in the code - Faster XPath performance using XSLT extensions by @Honesty-of-the-Cavernous-Tissue 793 - More deprecation warnings - More robust code 激活提示：当用户需要理解项目结构、安装方式或边界时参考。 证据：`HISTORY.md` ## 证据索引 - 共索引 66 条证据。 - **Trafilatura: Discover and Extract Text Data on the Web**（documentation）：Trafilatura: Discover and Extract Text Data on the Web 证据：`README.md` - **How to contribute**（documentation）：If you value this software or depend on it for your product, consider sponsoring it and contributing to its codebase. Your support will help ensure the sustainability and growth of the project. 证据：`CONTRIBUTING.md` - **License**（source_file）：Apache License Version 2.0, January 2004 http://www.apache.org/licenses/ 证据：`LICENSE` - **History / Changelog**（documentation）：Major changes: - Dependencies updated, lxml in particular with minimal changes in the code - Faster XPath performance using XSLT extensions by @Honesty-of-the-Cavernous-Tissue 793 - More deprecation warnings - More robust code 证据：`HISTORY.md` - **Init**（source_file）：title = "Trafilatura" author = "Adrien Barbaresi and contributors" license = "Apache-2.0" copyright = "Copyright 2019-present, Adrien Barbaresi" version = "2.1.0" ⋮---- all = 证据：`trafilatura/__init__.py` - **Cli**（source_file）：def add args parser: argparse.ArgumentParser - argparse.ArgumentParser ⋮---- "Add argument groups and arguments to parser." group1 = parser.add argument group "Input", "URLs, files or directories to process" group1 ex = group1.add mutually exclusive group group2 = parser.add argument group "Output", "Determines if and how files will be written" group3 = parser.add argument group "Navigation", "Link discovery and web crawling" group3 ex = group3.add mutually exclusive group group4 = parser.add argument group "Extraction", "Customization of text and metadata processing" group5 = parser.add argument group "Format", "Selection of the output format" group5 ex = group5.add mutually exclusive grou… 证据：`trafilatura/cli.py` - **deduplicate, filter and convert to dict**（source_file）：HAS GZIP = True ⋮---- HAS GZIP = False ⋮---- LOGGER = logging.getLogger name ⋮---- CHAR CLASS = string.ascii letters + string.digits STRIP DIR = re.compile r" ^/ +$" STRIP EXTENSION = re.compile r"\. a-z {2,5}$" CLEAN XML = re.compile r" " INPUT URLS ARGS = "URL", "crawl", "explore", "probe", "feed", "sitemap" EXTENSION MAPPING = { def load input urls args: argparse.Namespace - list str ⋮---- "Read list of URLs to process or derive one from command-line arguments." input urls: list str = ⋮---- input urls = getattr args, arg ⋮---- def load blacklist filename: str - set str ⋮---- "Read list of unwanted URLs." ⋮---- blacklist = {URL BLACKLIST REGEX.sub "", line.strip for line in inputfh} ⋮----… 证据：`trafilatura/cli_utils.py` - **normalize Unicode format defaults to NFC**（source_file）：LOGGER = logging.getLogger name TXT FORMATS = {"markdown", "txt"} def determine returnstring document: Document, options: Extractor - str ⋮---- parent = element.getparent ⋮---- returnstring = control xml output document, options ⋮---- returnstring = xmltocsv document, options.formatting ⋮---- returnstring = build json output document, options.with metadata ⋮---- returnstring = build html output document, options.with metadata ⋮---- header = "---\n" ⋮---- header = "" returnstring = f"{header}{xmltotxt document.body, options.formatting }" ⋮---- returnstring = f"{returnstring}\n{xmltotxt document.commentsbody, options.formatting }".strip normalize Unicode format defaults to NFC ⋮---- "Execute… 证据：`trafilatura/core.py` - **Replace all punctuation with spaces using translation table**（source_file）："Code parts dedicated to duplicate removal and text similarity." ⋮---- Replace all punctuation with spaces using translation table ⋮---- perform hashing with limited size ⋮---- possibly a hex string 证据：`trafilatura/deduplication.py` - **https://developer.mozilla.org/en-US/docs/Web/HTTP/Cookies**（source_file）：PROXY URL = os.environ.get "http proxy" ⋮---- PROXY URL = None ⋮---- CURL SHARE = pycurl.CurlShare ⋮---- HAS PYCURL = True ⋮---- HAS PYCURL = False LOGGER = logging.getLogger name ⋮---- HTTP POOL = None NO CERT POOL = None RETRY STRATEGY = None def create pool args: Any - urllib3.PoolManager Any ⋮---- "Configure urllib3 download pool according to user-defined settings." manager class = SOCKSProxyManager if PROXY URL else urllib3.PoolManager manager args = {"proxy url": PROXY URL} if PROXY URL else {} ⋮---- def apply curl proxy curl: "pycurl.Curl" - None ⋮---- "Route the pycurl request through PROXY URL when one is configured." ⋮---- DEFAULT HEADERS = urllib3.util.make headers accept encodin… 证据：`trafilatura/downloads.py` - **backup**（source_file）：LOGGER = logging.getLogger name FEED TYPES = { FEED OPENING = re.compile r" ?:\s ?: ? ?:\s ", re.DOTALL BLACKLIST = re.compile r"\bcomments\b" LINK VALIDATION RE = re.compile ⋮---- r"\?type=100$ " Typo3 r"feeds/posts/default/?$ " Blogger ⋮---- r"feed$" Generic ⋮---- class FeedParameters ⋮---- "Store necessary information to proceed a feed." slots = "base", "domain", "ext", "lang", "ref" ⋮---- def is potential feed feed string: str - bool ⋮---- "Check if the string could be a feed." ⋮---- beginning = feed string :100 ⋮---- def handle link list linklist: list str , params: FeedParameters - list str ⋮---- output links = ⋮---- link = fix relative urls params.base, item checked = check url link,… 证据：`trafilatura/feeds.py` - **author info**（source_file）：LOGGER = logging.getLogger name JSON ARTICLE SCHEMA = { JSON OGTYPE SCHEMA = { JSON PUBLISHER SCHEMA = {"newsmediaorganization", "organization", "webpage", "website"} JSON AUTHOR 1 = re.compile r'"author": ^} +?"name?\\?": ?\\?" ^"\\ + "author" ^} +?"names?".+?" ^" + ', re.DOTALL JSON AUTHOR 2 = re.compile r'" Pp erson" ^} +?"names?".+?" ^" + ', re.DOTALL JSON AUTHOR REMOVE = re.compile JSON PUBLISHER = re.compile r'"publisher": ^} +?"name?\\?": ?\\?" ^"\\ + ', re.DOTALL JSON TYPE = re.compile r'"@type"\s :\s " ^" "', re.DOTALL JSON CATEGORY = re.compile r'"articleSection": ?" ^"\\ + ', re.DOTALL JSON MATCH = re.compile r'"author": "person":', flags=re.IGNORECASE JSON REMOVE HTML = re.compi… 证据：`trafilatura/json_metadata.py` - **also interesting: article:section**（source_file）：all = "Document" LOGGER = logging.getLogger name ⋮---- META URL = re.compile r"https?:// ?:www\. w 0-9 +\. ? ^/ + " JSON MINIFY = re.compile r' " ?:\\. ^"\\ " \s' HTMLTITLE REGEX = re.compile r"^ .+ ?\s+ –•·— ⁄ ⋆~‹« :- \s+ .+ $" part without dots? CLEAN META TAGS = re.compile r' "\' ' LICENSE REGEX = re.compile r"/ by-nc-nd by-nc-sa by-nc by-nd by-sa by zero / 1-9 \. 0-9 " TEXT LICENSE REGEX = re.compile METANAME AUTHOR = { ⋮---- } questionable: twitter:creator METANAME DESCRIPTION = { METANAME PUBLISHER = { ⋮---- } questionable: citation publisher METANAME TAG = { METANAME TITLE = { METANAME URL = {"rbmainurl", "twitter:url"} METANAME IMAGE = { PROPERTY AUTHOR = {"author", "article:author"… 证据：`trafilatura/metadata.py` - **Loop through and try again.**（source_file）：LOGGER = logging.getLogger name DOT SPACE = re.compile r"\. $ " def tostring string: HtmlElement - str DIV TO P ELEMS = { DIV SCORES = {"div", "article"} BLOCK SCORES = {"pre", "td", "blockquote"} BAD ELEM SCORES = {"address", "ol", "ul", "dl", "dd", "dt", "li", "form", "aside"} STRUCTURE SCORES = {"h1", "h2", "h3", "h4", "h5", "h6", "th", "header", "footer", "nav"} TEXT CLEAN ELEMS = {"p", "img", "li", "a", "embed", "input"} REGEXES = { FRAME TAGS = {"body", "html"} LIST TAGS = {"ol", "ul"} def text length elem: HtmlElement - int ⋮---- "Return the length of the element with all its contents." ⋮---- class Candidate ⋮---- "Defines a class to score candidate elements." slots = "score", "elem"… 证据：`trafilatura/readability_lxml.py` - **Defines settings for trafilatura https://trafilatura.readthedocs.io/en/latest/settings.html**（source_file）：Defines settings for trafilatura https://trafilatura.readthedocs.io/en/latest/settings.html 证据：`trafilatura/settings.cfg` - **todo Python = 3.10: use dataclass with slots=True**（source_file）：get affinity = getattr os, "sched getaffinity", None CPU COUNT = len get affinity 0 if get affinity is not None else os.cpu count or 1 SUPPORTED FMT CLI = "csv", "json", "html", "markdown", "txt", "xml", "xmltei" SUPPORTED FORMATS = set SUPPORTED FMT CLI {"python"} def use config filename: str None = None, config: ConfigParser None = None - ConfigParser ⋮---- config = ConfigParser default file = str Path file .parent / "settings.cfg" ⋮---- DEFAULT CONFIG = use config CONFIG MAPPING = { def get optional int config: ConfigParser, option: str - int None ⋮---- "Read an optional positive integer setting; None when empty or non-numeric." value = config.get "DEFAULT", option, fallback="" .strip ⋮-… 证据：`trafilatura/settings.py` - **fix, check, clean and normalize**（source_file）：LOGGER = logging.getLogger name LINK REGEX = re.compile r" ?: ? " XHTML REGEX = re.compile r" ", re.DOTALL HREFLANG REGEX = re.compile r'href= "\' .+? "\' ' WHITELISTED PLATFORMS = re.compile SITEMAP FORMAT = re.compile r"^.{0,5}<\?xml