# routellm - Doramagic AI Context Pack > 定位：安装前体验与判断资产。它帮助宿主 AI 有一个好的开始，但不代表已经安装、执行或验证目标项目。 ## 充分原则 - **充分原则，不是压缩原则**：AI Context Pack 应该充分到让宿主 AI 在开工前理解项目价值、能力边界、使用入口、风险和证据来源；它可以分层组织，但不以最短摘要为目标。 - **压缩策略**：只压缩噪声和重复内容，不压缩会影响判断和开工质量的上下文。 ## 给宿主 AI 的使用方式 你正在读取 Doramagic 为 routellm 编译的 AI Context Pack。请把它当作开工前上下文：帮助用户理解适合谁、能做什么、如何开始、哪些必须安装后验证、风险在哪里。不要声称你已经安装、运行或执行了目标项目。 ## Claim 消费规则 - **事实来源**：Repo Evidence + Claim/Evidence Graph；Human Wiki 只提供显著性、术语和叙事结构。 - **事实最低状态**：`supported` - `supported`：可以作为项目事实使用，但回答中必须引用 claim_id 和证据路径。 - `weak`：只能作为低置信度线索，必须要求用户继续核实。 - `inferred`：只能用于风险提示或待确认问题，不能包装成项目事实。 - `unverified`：不得作为事实使用，应明确说证据不足。 - `contradicted`：必须展示冲突来源，不得替用户强行选择一个版本。 ## 它最适合谁 - **AI 研究者或研究型 Agent 构建者**：README 明确围绕研究、实验或论文工作流展开。 证据：`README.md` Claim：`clm_0002` supported 0.86 - **正在使用 Claude/Codex/Cursor/Gemini 等宿主 AI 的开发者**：README 或插件配置提到多个宿主 AI。 证据：`README.md` Claim：`clm_0003` supported 0.86 ## 它能做什么 - **命令行启动或安装流程**（需要安装后验证）：项目文档中存在可执行命令，真实使用需要在本地或宿主环境中运行这些命令。 证据：`README.md` Claim：`clm_0001` supported 0.86 ## 怎么开始 - `pip install "routellm[serve,eval]"` 证据：`README.md` Claim：`clm_0004` supported 0.86 - `git clone https://github.com/lm-sys/RouteLLM.git` 证据：`README.md` Claim：`clm_0005` supported 0.86 - `pip install -e .[serve,eval]` 证据：`README.md` Claim：`clm_0006` supported 0.86 ## 继续前判断卡 - **当前建议**：需要管理员/安全审批 - **为什么**：继续前可能涉及密钥、账号、外部服务或敏感上下文，建议先经过管理员或安全审批。 ### 30 秒判断 - **现在怎么做**：需要管理员/安全审批 - **最小安全下一步**：先跑 Prompt Preview；若涉及凭证或企业环境，先审批再试装 - **先别相信**：真实输出质量不能在安装前相信。 - **继续会触碰**：命令执行、本地环境或项目文件、环境变量 / API Key ### 现在可以相信 - **适合人群线索：AI 研究者或研究型 Agent 构建者**（supported）：有 supported claim 或项目证据支撑，但仍不等于真实安装效果。 证据：`README.md` Claim：`clm_0002` supported 0.86 - **适合人群线索：正在使用 Claude/Codex/Cursor/Gemini 等宿主 AI 的开发者**（supported）：有 supported claim 或项目证据支撑，但仍不等于真实安装效果。 证据：`README.md` Claim：`clm_0003` supported 0.86 - **能力存在：命令行启动或安装流程**（supported）：可以相信项目包含这类能力线索；是否适合你的具体任务仍要试用或安装后验证。 证据：`README.md` Claim：`clm_0001` supported 0.86 - **存在 Quick Start / 安装命令线索**（supported）：可以相信项目文档出现过启动或安装入口；不要因此直接在主力环境运行。 证据：`README.md` Claim：`clm_0004` supported 0.86 ### 现在还不能相信 - **真实输出质量不能在安装前相信。**（unverified）：Prompt Preview 只能展示引导方式，不能证明真实项目中的结果质量。 - **宿主 AI 版本兼容性不能在安装前相信。**（unverified）：Claude、Cursor、Codex、Gemini 等宿主加载规则和版本差异必须在真实环境验证。 - **不会污染现有宿主 AI 行为，不能直接相信。**（inferred）：Skill、plugin、AGENTS/CLAUDE/GEMINI 指令可能改变宿主 AI 的默认行为。 - **可安全回滚不能默认相信。**（unverified）：除非项目明确提供卸载和恢复说明，否则必须先在隔离环境验证。 - **真实安装后是否与用户当前宿主 AI 版本兼容？**（unverified）：兼容性只能通过实际宿主环境验证。 - **项目输出质量是否满足用户具体任务？**（unverified）：安装前预览只能展示流程和边界，不能替代真实评测。 - **安装命令是否需要网络、权限或全局写入？**（unverified）：这影响企业环境和个人环境的安装风险。 证据：`README.md` ### 继续会触碰什么 - **命令执行**：包管理器、网络下载、本地插件目录、项目配置或用户主目录。 原因：运行第一条命令就可能产生环境改动；必须先判断是否值得跑。 证据：`README.md` - **本地环境或项目文件**：安装结果、插件缓存、项目配置或本地依赖目录。 原因：安装前无法证明写入范围和回滚方式，需要隔离验证。 证据：`README.md` - **环境变量 / API Key**：项目入口文档明确出现 API key、token、secret 或账号凭证配置。 原因：如果真实安装需要凭证，应先使用测试凭证并经过权限/合规判断。 证据：`README.md`, `examples/python_sdk.md`, `examples/routing_to_local_models.md` - **宿主 AI 上下文**：AI Context Pack、Prompt Preview、Skill 路由、风险规则和项目事实。 原因：导入上下文会影响宿主 AI 后续判断，必须避免把未验证项包装成事实。 ### 最小安全下一步 - **先跑 Prompt Preview**：用安装前交互式试用判断工作方式是否匹配，不需要授权或改环境。（适用：任何项目都适用，尤其是输出质量未知时。） - **只在隔离目录或测试账号试装**：避免安装命令污染主力宿主 AI、真实项目或用户主目录。（适用：存在命令执行、插件配置或本地写入线索时。） - **不要使用真实生产凭证**：环境变量/API key 一旦进入宿主或工具链，可能产生账号和合规风险。（适用：出现 API、TOKEN、KEY、SECRET 等环境线索时。） - **安装后只验证一个最小任务**：先验证加载、兼容、输出质量和回滚，再决定是否深用。（适用：准备从试用进入真实工作流时。） ### 退出方式 - **保留安装前状态**：记录原始宿主配置和项目状态，后续才能判断是否可恢复。 - **记录安装命令和写入路径**：没有明确卸载说明时，至少要知道哪些目录或配置需要手动清理。 - **准备撤销测试 API key 或 token**：测试凭证泄露或误用时，可以快速止损。 - **如果没有回滚路径，不进入主力环境**：不可回滚是继续前阻断项，不应靠信任或运气继续。 ## 哪些只能预览 - 解释项目适合谁和能做什么 - 基于项目文档演示典型对话流程 - 帮助用户判断是否值得安装或继续研究 ## 哪些必须安装后验证 - 真实安装 Skill、插件或 CLI - 执行脚本、修改本地文件或访问外部服务 - 验证真实输出质量、性能和兼容性 ## 边界与风险判断卡 - **把安装前预览误认为真实运行**：用户可能高估项目已经完成的配置、权限和兼容性验证。 处理方式：明确区分 prompt_preview_can_do 与 runtime_required。 Claim：`clm_0007` inferred 0.45 - **命令执行会修改本地环境**：安装命令可能写入用户主目录、宿主插件目录或项目配置。 处理方式：先在隔离环境或测试账号中运行。 证据：`README.md` Claim：`clm_0008` supported 0.86 - **待确认**：真实安装后是否与用户当前宿主 AI 版本兼容？。原因：兼容性只能通过实际宿主环境验证。 - **待确认**：项目输出质量是否满足用户具体任务？。原因：安装前预览只能展示流程和边界，不能替代真实评测。 - **待确认**：安装命令是否需要网络、权限或全局写入？。原因：这影响企业环境和个人环境的安装风险。 ## 开工前工作上下文 ### 加载顺序 - 先读取 how_to_use.host_ai_instruction，建立安装前判断资产的边界。 - 读取 claim_graph_summary，确认事实来自 Claim/Evidence Graph，而不是 Human Wiki 叙事。 - 再读取 intended_users、capabilities 和 quick_start_candidates，判断用户是否匹配。 - 需要执行具体任务时，优先查 role_skill_index，再查 evidence_index。 - 遇到真实安装、文件修改、网络访问、性能或兼容性问题时，转入 risk_card 和 boundaries.runtime_required。 ### 任务路由 - **命令行启动或安装流程**：先说明这是安装后验证能力，再给出安装前检查清单。 边界：必须真实安装或运行后验证。 证据：`README.md` Claim：`clm_0001` supported 0.86 ### 上下文规模 - 文件总数：99 - 重要文件覆盖：21/99 - 证据索引条目：20 - 角色 / Skill 条目：4 ### 证据不足时的处理 - **missing_evidence**：说明证据不足，要求用户提供目标文件、README 段落或安装后验证记录；不要补全事实。 - **out_of_scope_request**：说明该任务超出当前 AI Context Pack 证据范围，并建议用户先查看 Human Manual 或真实安装后验证。 - **runtime_request**：给出安装前检查清单和命令来源，但不要替用户执行命令或声称已执行。 - **source_conflict**：同时展示冲突来源，标记为待核实，不要强行选择一个版本。 ## Prompt Recipes ### 适配判断 - 目标：判断这个项目是否适合用户当前任务。 - 预期输出：适配结论、关键理由、证据引用、安装前可预览内容、必须安装后验证内容、下一步建议。 ```text 请基于 routellm 的 AI Context Pack，先问我 3 个必要问题，然后判断它是否适合我的任务。回答必须包含：适合谁、能做什么、不能做什么、是否值得安装、证据来自哪里。所有项目事实必须引用 evidence_refs、source_paths 或 claim_id。 ``` ### 安装前体验 - 目标：让用户在安装前感受核心工作流，同时避免把预览包装成真实能力或营销承诺。 - 预期输出：一段带边界标签的体验剧本、安装后验证清单和谨慎建议；不含真实运行承诺或强营销表述。 ```text 请把 routellm 当作安装前体验资产，而不是已安装工具或真实运行环境。 请严格输出四段： 1. 先问我 3 个必要问题。 2. 给出一段“体验剧本”：用 [安装前可预览]、[必须安装后验证]、[证据不足] 三种标签展示它可能如何引导工作流。 3. 给出安装后验证清单：列出哪些能力只有真实安装、真实宿主加载、真实项目运行后才能确认。 4. 给出谨慎建议：只能说“值得继续研究/试装”“先补充信息后再判断”或“不建议继续”，不得替项目背书。 硬性边界： - 不要声称已经安装、运行、执行测试、修改文件或产生真实结果。 - 不要写“自动适配”“确保通过”“完美适配”“强烈建议安装”等承诺性表达。 - 如果描述安装后的工作方式，必须使用“如果安装成功且宿主正确加载 Skill，它可能会……”这种条件句。 - 体验剧本只能写成“示例台词/假设流程”：使用“可能会询问/可能会建议/可能会展示”，不要写“已写入、已生成、已通过、正在运行、正在生成”。 - Prompt Preview 不负责给安装命令；如用户准备试装，只能提示先阅读 Quick Start 和 Risk Card，并在隔离环境验证。 - 所有项目事实必须来自 supported claim、evidence_refs 或 source_paths；inferred/unverified 只能作风险或待确认项。 ``` ### 角色 / Skill 选择 - 目标：从项目里的角色或 Skill 中挑选最匹配的资产。 - 预期输出：候选角色或 Skill 列表，每项包含适用场景、证据路径、风险边界和是否需要安装后验证。 ```text 请读取 role_skill_index，根据我的目标任务推荐 3-5 个最相关的角色或 Skill。每个推荐都要说明适用场景、可能输出、风险边界和 evidence_refs。 ``` ### 风险预检 - 目标：安装或引入前识别环境、权限、规则冲突和质量风险。 - 预期输出：环境、权限、依赖、许可、宿主冲突、质量风险和未知项的检查清单。 ```text 请基于 risk_card、boundaries 和 quick_start_candidates，给我一份安装前风险预检清单。不要替我执行命令，只说明我应该检查什么、为什么检查、失败会有什么影响。 ``` ### 宿主 AI 开工指令 - 目标：把项目上下文转成一次对话开始前的宿主 AI 指令。 - 预期输出：一段边界明确、证据引用明确、适合复制给宿主 AI 的开工前指令。 ```text 请基于 routellm 的 AI Context Pack，生成一段我可以粘贴给宿主 AI 的开工前指令。这段指令必须遵守 not_runtime=true，不能声称项目已经安装、运行或产生真实结果。 ``` ## 角色 / Skill 索引 - 共索引 4 个角色 / Skill / 项目文档条目。 - **RouteLLM**（project_doc）：RouteLLM is a framework for serving and evaluating LLM routers. 激活提示：当用户需要理解项目结构、安装方式或边界时参考。 证据：`README.md` - **Benchmarks**（project_doc）：In our blog https://lmsys.org/blog/2024-07-01-routellm/ , we report MT Bench results comparing our routers to Martian https://withmartian.com and Unify AI https://unify.ai , two commercial offerings for routing. We conduct these benchmarks using the official FastChat https://github.com/lm-sys/FastChat/tree/main/fastchat/llm judge repository, replacing model calls to either Martian or Unify AI using an OpenAI-compati… 激活提示：当用户需要理解项目结构、安装方式或边界时参考。 证据：`benchmarks/README.md` - **RouteLLM Python SDK**（project_doc）：You can interface with RouteLLM in Python via the Controller class. 激活提示：当用户需要理解项目结构、安装方式或边界时参考。 证据：`examples/python_sdk.md` - **Routing to Local Models with RouteLLM and Ollama**（project_doc）：Routing to Local Models with RouteLLM and Ollama 激活提示：当用户需要理解项目结构、安装方式或边界时参考。 证据：`examples/routing_to_local_models.md` ## 证据索引 - 共索引 20 条证据。 - **RouteLLM**（documentation）：RouteLLM is a framework for serving and evaluating LLM routers. 证据：`README.md` - **Benchmarks**（documentation）：In our blog https://lmsys.org/blog/2024-07-01-routellm/ , we report MT Bench results comparing our routers to Martian https://withmartian.com and Unify AI https://unify.ai , two commercial offerings for routing. We conduct these benchmarks using the official FastChat https://github.com/lm-sys/FastChat/tree/main/fastchat/llm judge repository, replacing model calls to either Martian or Unify AI using an OpenAI-compatible server. 证据：`benchmarks/README.md` - **License**（source_file）：Apache License Version 2.0, January 2004 http://www.apache.org/licenses/ 证据：`LICENSE` - **RouteLLM Python SDK**（documentation）：You can interface with RouteLLM in Python via the Controller class. 证据：`examples/python_sdk.md` - **Routing to Local Models with RouteLLM and Ollama**（documentation）：Routing to Local Models with RouteLLM and Ollama 证据：`examples/routing_to_local_models.md` - **Config.Example**（source_file）：sw ranking: arena battle datasets: - lmsys/lmsys-arena-human-preference-55k - routellm/gpt4 judge battles arena embedding datasets: - routellm/arena battles embeddings - routellm/gpt4 judge battles embeddings causal llm: checkpoint path: routellm/causal llm gpt4 augmented bert: checkpoint path: routellm/bert gpt4 augmented mf: checkpoint path: routellm/mf gpt4 augmented 证据：`config.example.yaml` - **Create and launch a chat interface with Gradio**（source_file）：parser = argparse.ArgumentParser description="Chatbot Interface for RouteLLM" ⋮---- args = parser.parse args ⋮---- openai api key = "EMPTY" openai api base = args.model url ⋮---- client = OpenAI ⋮---- def predict message, history, threshold, router, temperature ⋮---- history openai format = ⋮---- stream = client.chat.completions.create ⋮---- model=f"router-{router}-{threshold}", Model name to use messages=history openai format, Chat history temperature=temperature, Temperature for text generation stream=True, Stream response ⋮---- partial message = "" ⋮---- model prefix = f" {chunk.model} \n" ⋮---- Create and launch a chat interface with Gradio 证据：`examples/router_chat.py` - **Pyproject**（source_file）：build-system requires = "setuptools" build-backend = "setuptools.build meta" 证据：`pyproject.toml` - **Calibrate Threshold**（source_file）：parser = argparse.ArgumentParser ⋮---- args = parser.parse args ⋮---- battles df = load dataset args.battles dataset, split="train" .to pandas controller = Controller ⋮---- win rates = controller.batch calculate win rate ⋮---- thresholds df = load dataset ⋮---- threshold = thresholds df router .quantile q=1 - args.strong model pct 证据：`routellm/calibrate_threshold.py` - **Some Python magic to match the OpenAI Python SDK**（source_file）：GPT 4 AUGMENTED CONFIG = { ⋮---- class RoutingError Exception ⋮---- @dataclass class ModelPair ⋮---- strong: str weak: str ⋮---- class Controller ⋮---- config = GPT 4 AUGMENTED CONFIG ⋮---- router pbar = None ⋮---- router pbar = tqdm routers ⋮---- Some Python magic to match the OpenAI Python SDK ⋮---- def parse model name self, model: str ⋮---- threshold = float threshold ⋮---- Look at the last turn for routing. Our current routers were only trained on first turn data, so more research is required here. prompt = messages -1 "content" routed model = self.routers router .route prompt, threshold, self.model pair ⋮---- Mainly used for evaluations ⋮---- router instance = self.routers router ⋮---… 证据：`routellm/controller.py` - **Openai Server**（source_file）：CONTROLLER = None ⋮---- openai client = AsyncOpenAI count = defaultdict lambda: defaultdict int ⋮---- @asynccontextmanager async def lifespan app ⋮---- CONTROLLER = Controller ⋮---- app = fastapi.FastAPI lifespan=lifespan ⋮---- class ErrorResponse BaseModel ⋮---- object: str = "error" message: str ⋮---- class UsageInfo BaseModel ⋮---- prompt tokens: int = 0 total tokens: int = 0 completion tokens: Optional int = 0 ⋮---- class ChatCompletionRequest BaseModel ⋮---- model: str messages: Union frequency penalty: Optional float = 0.0 logit bias: Optional Dict int, float = None logprobs: Optional bool = None top logprobs: Optional int = None max tokens: Optional int = None n: Optional int = 1 pre… 证据：`routellm/openai_server.py` - **Llm Utils**（source_file）：def load model config yaml path: str ⋮---- yaml data = yaml.safe load file ⋮---- def load prompt format model id ⋮---- prompt format dict = PROMPT FORMAT CONFIGS model id ⋮---- def get model config: RouterModelConfig, model ckpt: str, pad token id: int = 2 ⋮---- tokenizer = AutoTokenizer.from pretrained ⋮---- def to openai api messages system message, classifier message, messages ⋮---- ret = {"role": "system", "content": system message} 证据：`routellm/routers/causal_llm/llm_utils.py` - **assert that config has 5 special tokens with the format rating**（source_file）：class CausalLLMClassifier ⋮---- s = time.time ⋮---- assert that config has 5 special tokens with the format rating ⋮---- model = get model config=config, model ckpt=ckpt local path ⋮---- def preprocess self, row ⋮---- """prepare each prompt before feeding it to the model""" add additional fields to the final output e.g. for later evaluation data row = {} ⋮---- select turns from the prompt field openai messages = convert openai messages formot to model's prompt format text = self.prompt format.generate prompt openai messages tokenize and encode ⋮---- def call self, row ⋮---- row = self.preprocess row input ids = torch.as tensor row "input ids" .to "cuda" .reshape 1, -1 ⋮---- output new = sel… 证据：`routellm/routers/causal_llm/model.py` - **Model**（source_file）：MODEL IDS = { ⋮---- class MFModel torch.nn.Module, PyTorchModelHubMixin ⋮---- def get device self ⋮---- def forward self, model id, prompt ⋮---- model id = torch.tensor model id, dtype=torch.long .to self.get device ⋮---- model embed = self.P model id model embed = torch.nn.functional.normalize model embed, p=2, dim=1 ⋮---- prompt embed = prompt embed = torch.tensor prompt embed, device=self.get device prompt embed = self.text proj prompt embed ⋮---- @torch.no grad def pred win rate self, model a, model b, prompt ⋮---- logits = self.forward model a, model b , prompt winrate = torch.sigmoid logits 0 - logits 1 .item ⋮---- def load self, path 证据：`routellm/routers/matrix_factorization/model.py` - **Train Matrix Factorization**（source_file）：class PairwiseDataset Dataset ⋮---- def init self, data ⋮---- def len self ⋮---- def getitem self, index ⋮---- def get dataloaders self, batch size, shuffle=True ⋮---- class MFModel Train torch.nn.Module ⋮---- embeddings = np.load npy path ⋮---- def get device self ⋮---- def forward self, model win, model loss, prompt, test=False, alpha=0.05 ⋮---- model win = model win.to self.get device model loss = model loss.to self.get device prompt = prompt.to self.get device ⋮---- model win embed = self.P model win model win embed = F.normalize model win embed, p=2, dim=1 model loss embed = self.P model loss model loss embed = F.normalize model loss embed, p=2, dim=1 prompt embed = self.Q prompt ⋮----… 证据：`routellm/routers/matrix_factorization/train_matrix_factorization.py` - **Routers**（source_file）：def no parallel cls ⋮---- class Router abc.ABC ⋮---- NO PARALLEL = False ⋮---- @abc.abstractmethod def calculate strong win rate self, prompt ⋮---- def route self, prompt, threshold, routed pair ⋮---- def str self ⋮---- @no parallel class CausalLLMRouter Router ⋮---- model config = RouterModelConfig prompt format = load prompt format model config.model id ⋮---- system message = hf hub download classifier message = hf hub download ⋮---- system message = pr.read ⋮---- classifier message = pr.read ⋮---- def calculate strong win rate self, prompt ⋮---- input = {} ⋮---- output = self.router model input ⋮---- @no parallel class BERTRouter Router ⋮---- inputs = self.tokenizer ⋮---- outputs = self.… 证据：`routellm/routers/routers.py` - **Generate Embeddings**（source_file）：def get embeddings battles df ⋮---- battles df = preprocess battles battles df ⋮---- client = openai.OpenAI ⋮---- batch size = 2000 embeddings = user prompts = battles df "first turn" .tolist ⋮---- battles = user prompts i : i + batch size responses = client.embeddings.create ⋮---- embeddings = torch.tensor embeddings embeddings = embeddings.numpy ⋮---- parser = argparse.ArgumentParser ⋮---- args = parser.parse args battles df = load dataset args.battles dataset, split="train" .to pandas ⋮---- embeddings = get embeddings battles df ⋮---- embeddings dataset = Dataset.from dict {"embeddings": embeddings} 证据：`routellm/routers/similarity_weighted/generate_embeddings.py` - **Utils**（source_file）：choices = "A", "B", "C", "D" OPENAI CLIENT = OpenAI ⋮---- def compute tiers model ratings, num tiers ⋮---- n = len model ratings m = num tiers ⋮---- model ratings list = list model ratings.values ⋮---- dp = np.zeros n, n, m dp split = np.zeros n, n, m ⋮---- cur n = n split idx = ⋮---- split = int dp split 0 cur n - 1 tier ⋮---- cur n = split + 1 ⋮---- split idx = split idx ::-1 + n - 1 model2tier = {} cur idx = 0 ⋮---- model name = list model ratings.keys j ⋮---- cur idx = split idx i + 1 ⋮---- models = pd.concat df "model a" , df "model b" .unique models = pd.Series np.arange len models , index=models ⋮---- df = pd.concat df, df , ignore index=True p = len models.index n = df.shape 0 ⋮----… 证据：`routellm/routers/similarity_weighted/utils.py` - **RouteLLM specific**（source_file）：RouteLLM specific routellm/evals/ /cache.npy 证据：`.gitignore` - **.Pre Commit Config**（source_file）：repos: - repo: https://github.com/psf/black rev: 24.4.2 hooks: - id: black - repo: https://github.com/pycqa/isort rev: 5.13.2 hooks: - id: isort name: isort python 证据：`.pre-commit-config.yaml` ## 宿主 AI 必须遵守的规则 - **把本资产当作开工前上下文，而不是运行环境。**：AI Context Pack 只包含证据化项目理解，不包含目标项目的可执行状态。 证据：`README.md`, `benchmarks/README.md`, `LICENSE` - **回答用户时区分可预览内容与必须安装后才能验证的内容。**：安装前体验的消费者价值来自降低误装和误判，而不是伪装成真实运行。 证据：`README.md`, `benchmarks/README.md`, `LICENSE` ## 用户开工前应该回答的问题 - 你准备在哪个宿主 AI 或本地环境中使用它？ - 你只是想先体验工作流，还是准备真实安装？ - 你最在意的是安装成本、输出质量、还是和现有规则的冲突？ ## 验收标准 - 所有能力声明都能回指到 evidence_refs 中的文件路径。 - AI_CONTEXT_PACK.md 没有把预览包装成真实运行。 - 用户能在 3 分钟内看懂适合谁、能做什么、如何开始和风险边界。 --- ## Doramagic Context Augmentation 下面内容用于强化 Repomix/AI Context Pack 主体。Human Manual 只提供阅读骨架；踩坑日志会被转成宿主 AI 必须遵守的工作约束。 ## Human Manual 骨架 使用规则：这里只是项目阅读路线和显著性信号，不是事实权威。具体事实仍必须回到 repo evidence / Claim Graph。 宿主 AI 硬性规则： - 不得把页标题、章节顺序、摘要或 importance 当作项目事实证据。 - 解释 Human Manual 骨架时，必须明确说它只是阅读路线/显著性信号。 - 能力、安装、兼容性、运行状态和风险判断必须引用 repo evidence、source path 或 Claim Graph。 - **项目概览与快速开始**：importance `high` - source_paths: README.md, pyproject.toml - **系统架构与代码组织**：importance `high` - source_paths: routellm/controller.py, routellm/routers/routers.py, routellm/__init__.py - **路由器实现机制详解**：importance `high` - source_paths: routellm/routers/matrix_factorization/model.py, routellm/routers/matrix_factorization/train_matrix_factorization.py, routellm/routers/similarity_weighted/utils.py, routellm/routers/similarity_weighted/generate_embeddings.py, routellm/routers/causal_llm/model.py - **Python SDK 与 Controller**：importance `high` - source_paths: routellm/controller.py, examples/python_sdk.md, examples/routing_to_local_models.md - **OpenAI 兼容服务器部署**：importance `medium` - source_paths: routellm/openai_server.py, examples/router_chat.py, config.example.yaml - **阈值校准与基准评估**：importance `high` - source_paths: routellm/calibrate_threshold.py, README.md - **模型训练与自定义嵌入**：importance `high` - source_paths: routellm/routers/matrix_factorization/train_matrix_factorization.py, routellm/routers/similarity_weighted/generate_embeddings.py, routellm/routers/similarity_weighted/utils.py, config.example.yaml - **扩展、集成与故障排除**：importance `high` - source_paths: routellm/routers/routers.py, routellm/controller.py, routellm/openai_server.py ## Repo Inspection Evidence / 源码检查证据 - repo_clone_verified: true - repo_inspection_verified: true - repo_commit: `0b64fdafe049e596a3f5657c219329f24af24198` - inspected_files: `README.md`, `pyproject.toml`, `examples/python_sdk.md`, `examples/router_chat.py`, `examples/routing_to_local_models.md` 宿主 AI 硬性规则： - 没有 repo_clone_verified=true 时，不得声称已经读过源码。 - 没有 repo_inspection_verified=true 时，不得把 README/docs/package 文件判断写成事实。 - 没有 quick_start_verified=true 时，不得声称 Quick Start 已跑通。 ## Doramagic Pitfall Constraints / 踩坑约束 这些规则来自 Doramagic 发现、验证或编译过程中的项目专属坑点。宿主 AI 必须把它们当作工作约束，而不是普通说明文字。 ### Constraint 1: 来源证据：litellm.drop_params error when running the openapi server - Trigger: GitHub 社区证据显示该项目存在一个配置相关的待验证问题：litellm.drop_params error when running the openapi server - Why it matters: 可能增加新用户试用和生产接入成本。 - Evidence: community_evidence:github | https://github.com/lm-sys/RouteLLM/issues/63 | 来源讨论提到 python 相关条件，需在安装/试用前复核。 - Hard boundary: 不要把这个坑点包装成已解决、已验证或可忽略，除非后续验证证据明确证明它已经关闭。 ### Constraint 2: 来源证据：Add AgentWeb business data integration - Trigger: GitHub 社区证据显示该项目存在一个安装相关的待验证问题：Add AgentWeb business data integration - Why it matters: 可能增加新用户试用和生产接入成本。 - Evidence: community_evidence:github | https://github.com/lm-sys/RouteLLM/issues/87 | 来源讨论提到 npm 相关条件，需在安装/试用前复核。 - Hard boundary: 不要把这个坑点包装成已解决、已验证或可忽略，除非后续验证证据明确证明它已经关闭。 ### Constraint 3: 来源证据：Try to run 2 Ollam - Trigger: GitHub 社区证据显示该项目存在一个配置相关的待验证问题：Try to run 2 Ollam - Host AI rule: 来源显示可能已有修复、规避或版本变化，说明书中必须标注适用版本。 - Why it matters: 可能增加新用户试用和生产接入成本。 - Evidence: community_evidence:github | https://github.com/lm-sys/RouteLLM/issues/76 | 来源讨论提到 python 相关条件，需在安装/试用前复核。 - Hard boundary: 不要把这个坑点包装成已解决、已验证或可忽略，除非后续验证证据明确证明它已经关闭。 ### Constraint 4: 能力判断依赖假设 - Trigger: README/documentation is current enough for a first validation pass. - Host AI rule: 将假设转成下游验证清单。 - Why it matters: 假设不成立时，用户拿不到承诺的能力。 - Evidence: capability.assumptions | https://github.com/lm-sys/RouteLLM | README/documentation is current enough for a first validation pass. - Hard boundary: 不要把这个坑点包装成已解决、已验证或可忽略，除非后续验证证据明确证明它已经关闭。 ### Constraint 5: 来源证据：How can I use the different embedding model for mf router - Trigger: GitHub 社区证据显示该项目存在一个运行相关的待验证问题：How can I use the different embedding model for mf router - Why it matters: 可能增加新用户试用和生产接入成本。 - Evidence: community_evidence:github | https://github.com/lm-sys/RouteLLM/issues/84 | 来源类型 github_issue 暴露的待验证使用条件。 - Hard boundary: 不要把这个坑点包装成已解决、已验证或可忽略，除非后续验证证据明确证明它已经关闭。 ### Constraint 6: 维护活跃度未知 - Trigger: 未记录 last_activity_observed。 - Host AI rule: 补 GitHub 最近 commit、release、issue/PR 响应信号。 - Why it matters: 新项目、停更项目和活跃项目会被混在一起，推荐信任度下降。 - Evidence: evidence.maintainer_signals | https://github.com/lm-sys/RouteLLM | last_activity_observed missing - Hard boundary: 不要把这个坑点包装成已解决、已验证或可忽略，除非后续验证证据明确证明它已经关闭。 - Trigger: no_demo - Evidence: downstream_validation.risk_items | https://github.com/lm-sys/RouteLLM | no_demo; severity=medium - Hard boundary: 不要把这个坑点包装成已解决、已验证或可忽略，除非后续验证证据明确证明它已经关闭。 ### Constraint 8: 存在评分风险 - Trigger: no_demo - Why it matters: 风险会影响是否适合普通用户安装。 - Evidence: risks.scoring_risks | https://github.com/lm-sys/RouteLLM | no_demo; severity=medium - Hard boundary: 不要把这个坑点包装成已解决、已验证或可忽略，除非后续验证证据明确证明它已经关闭。 ### Constraint 9: 来源证据：Following demo it doesn't work - Trigger: GitHub 社区证据显示该项目存在一个安全/权限相关的待验证问题：Following demo it doesn't work - Why it matters: 可能影响授权、密钥配置或安全边界。 - Evidence: community_evidence:github | https://github.com/lm-sys/RouteLLM/issues/78 | 来源讨论提到 python 相关条件，需在安装/试用前复核。 - Hard boundary: 不要把这个坑点包装成已解决、已验证或可忽略，除非后续验证证据明确证明它已经关闭。 ### Constraint 10: issue/PR 响应质量未知 - Trigger: issue_or_pr_quality=unknown。 - Host AI rule: 抽样最近 issue/PR，判断是否长期无人处理。 - Why it matters: 用户无法判断遇到问题后是否有人维护。 - Evidence: evidence.maintainer_signals | https://github.com/lm-sys/RouteLLM | issue_or_pr_quality=unknown - Hard boundary: 不要把这个坑点包装成已解决、已验证或可忽略，除非后续验证证据明确证明它已经关闭。