xai-token-estimation
xai-token-estimation
提供纯 token 估算原语，为预算与压缩决策提供近似值。
Cargo description: Pure shared token-estimation primitives.
职责与架构位置
xai-token-estimation 位于“Agent 与推理”层。它的首要职责是：提供纯 token 估算原语，为预算与压缩决策提供近似值。。源码图谱把 crate 看成一个编译和所有权边界，而不是文件夹标签：直接依赖表示它可以调用的下层能力，反向依赖表示哪些上层模块把它当作稳定接缝。
成员路径为 crates/codegen/xai-token-estimation，清单位于 Cargo.toml。
关键入口
入口文件优先按 lib.rs/main.rs、公开符号密度和文件规模选择。这是一条面向阅读的路径，不表示其他文件不重要；下方完整文件索引覆盖该 crate 的全部 Rust 源码、测试、示例、基准与 Fuzz 文件。
依赖与调用者
直接依赖
无一方 crate 依赖
依赖边来自固定提交中的 Cargo manifest，只表示编译期直接依赖。运行时控制流还需结合 trait 实现、构造位置和消息通道判断；反向依赖为空也不代表 crate 没有入口，它可能直接生成二进制或由外部协议调用。
关键公开符号
| 类型 | 符号 | 文件与行号 |
|---|---|---|
| const | BYTES_PER_TOKEN | crates/codegen/xai-token-estimation/src/lib.rs:9 |
| const | IMAGE_TOKEN_ESTIMATE | crates/codegen/xai-token-estimation/src/lib.rs:13 |
| fn | estimate_tokens | crates/codegen/xai-token-estimation/src/lib.rs:17 |
| fn | estimate_chars | crates/codegen/xai-token-estimation/src/lib.rs:25 |
| fn | estimate_image_tokens | crates/codegen/xai-token-estimation/src/lib.rs:31 |
| fn | usage_percentage | crates/codegen/xai-token-estimation/src/lib.rs:38 |
| fn | usage_percentage_u8 | crates/codegen/xai-token-estimation/src/lib.rs:48 |
| fn | usage_percentage_truncated_u8 | crates/codegen/xai-token-estimation/src/lib.rs:60 |
| fn | free_tokens | crates/codegen/xai-token-estimation/src/lib.rs:71 |
| fn | exceeds_threshold | crates/codegen/xai-token-estimation/src/lib.rs:80 |
| fn | exceeds_threshold_with_headroom | crates/codegen/xai-token-estimation/src/lib.rs:91 |
公开符号用于快速判断 crate 对外暴露的数据、trait 和执行入口。私有实现仍会出现在完整文件索引中；本文不会仅凭 pub 推断某个符号就是长期稳定 API。
关联深度文章
完整 Rust 文件索引
共 1 个 Rust 文件，其中 1 个被覆盖校验认定为生产源码。测试、示例、基准和 Fuzz 文件不会从图谱删除，而是使用不同标签展示。
覆盖说明
该页面由固定源码基线生成。CI 会重新扫描 crates/codegen/xai-token-estimation，验证文件数量、行数、公开符号、依赖和入口是否与提交到站点的数据一致。若上游基线升级而图谱没有重新生成，构建会失败，避免页面显示已经不存在的路径。
非官方社区学习项目。Grok、xAI 及相关商标归其权利人所有；源码摘录来自 Apache-2.0 许可的公开仓库。
豫ICP备2026029221号-1