OmniRoute——免费API聚合网关

每月白嫖16亿token

软件介绍:

OmniRoute 是 GitHub 上最火的开源 AI 编码工具网关项目,核心承诺是:一个 URL 接管所有 AI 编码工具(Claude Code、Codex、Cursor、Cline、Copilot 等),token 成本砍掉 95%,每月白送约 16 亿免费 token。

它本质上是一个本地运行的 路由总机 + 协议翻译器 + 压缩引擎 + 故障兜底层,将多个 AI provider 的碎片化额度、格式和账号统一池化到一个 endpoint。

软件功能:

  1. 统一路由 — 所有编码工具的请求先打到 localhost:20128/v1,OmniRoute 根据预设策略(15种可组合:优先耗尽付费额度、成本最低、上下文最长等)决定发给哪个 provider
  2. 协议翻译 — OpenAI 与 Anthropic API 格式自动互转,thinking block、tool calls 均做了适配,无需手动切换
  3. 多层压缩 — 内置压缩 pipeline 降低 token 消耗:
    • Session-Dedup:跨轮次去重
    • Caveman:规则文本压缩(激进模式只留关键词)
    • RTK:工具调用结果过滤去重
    • LLMLingua-2:ML 语义剪枝
  4. 三层熔断兜底 — 主 provider 挂了毫秒级切换下一个
  5. 免费 token 池化 — 整合 50+ 免费 tier provider(Kiro、Qoder、Pollinations、Gemini CLI、LongCat、Groq/NVIDIA/Cerebras 等),用完一个自动跳下一个
  6. 内置 MCP Server(87个工具)、Memory、42语言 i18n、Electron 桌面端

软件特点:

  • 本地运行 — 所有数据跑在你自己机器上,凭证 AES-256 加密存本地 SQLite,不经第三方服务器
  • 零门槛接入 — 所有工具只需改 Base URL 和 Model 即可,无需逐个配置 API key
  • 支持 231 个 providers — 覆盖主流 AI 编码工具
  • 全家桶式方案 — 路由 + 翻译 + 压缩 + 兜底 + Dashboard 一体,但有更大的攻击面和维护负担
  • 活跃迭代 — 几乎每天都有 PR 合并和 Release,持续修复 SSE streaming 断流、Claude thinking block 解析、Cursor Composer tool calls 兼容等实际问题

安装方法:

第一步:安装

npm install -g omniroute
omniroute

仪表盘自动在 localhost:20128 打开。

第二步:连接免费 provider 仪表盘 → Providers → 连接 Kiro AI 或 Pollinations 等免费 provider,无需信用卡或注册。

第三步:将编码工具指向统一 URL 所有工具的 Base URL 设为 http://localhost:20128/v1,Model 填 auto。

  • Claude Code:设置环境变量 ANTHROPIC_BASE_URL(注意不带 /v1)
  • Cursor:若需 Composer 等云端功能,可能需用 Cloudflare Tunnel 暴露公网域名

开通局域网访问方法:

1. NPM 命令行部署(最常用)

正常启动仅本机访问:

omniroute

允许局域网所有设备访问(监听全部网卡):

omniroute --host 0.0.0.0 --port 20128
  • 其他设备访问面板:http://本机局域网IP:20128
  • API 统一端点:http://本机局域网IP:20128/v1
2. Electron 桌面客户端(Windows/macOS)
  1. 打开 OmniRoute 软件 → 进入 General(通用设置)
  2. 找到 Bind Host(绑定地址),默认是 127.0.0.1
  3. 修改填写 0.0.0.0,保存设置,点击 Restart Gateway 重启网关
  4. 重启后同局域网设备即可通过本机内网 IP 访问
3. Docker 容器部署

正确映射所有网卡(直接支持局域网):

docker run -p 20128:20128 ghcr.io/omniroute/omniroute:latest
  • -p 20128:20128 会自动绑定宿主机全部网卡,无需额外改配置
  • 若只写 127.0.0.1:20128:20128 则仅限本机,局域网无法访问
  • 最后要在防火墙放行20128端口,其他电脑才能访问。

注意事项:

  1. 压缩可能丢信息 — 把 prompt 压掉 89-95% 后,tool use schema 可能被破坏,system prompt 可能漂移。Changelog 中反复修过 `` 标签泄漏、streaming 中断、tool_calls 解析错误,说明压缩+翻译这条路并不稳定
  2. 免费额度可持续性存疑 — 各 provider 的免费策略随时可能收紧(Cerebras、Qoder 已有变动),16 亿数字是池化汇总,并非保证
  3. 安全边界 — 本地运行+加密存储是优势,但给 Cursor 暴露公网 endpoint 时安全责任需自行承担
  4. 全家桶代价 — 相比 LiteLLM(更轻量、Python 生态好)和 9router(压缩能力接近),OmniRoute 功能更全但攻击面更大、维护负担更重
  5. 适用场景 — 如果同时使用 ≥2 个 AI 编码工具且在意成本,值得尝试;若追求绝对稳定性,需谨慎评估压缩带来的潜在质量损失