v7.5.0

InferFabric

为 Blackwell（RTX 5090 / NVFP4）本地 AI 工作站设计的推理平台与统一 Gateway——一个端口管所有模型，本地与云端同一路由。

立即安装 GitHub

定位

# 有状态网关 · 不是转发代理

── 差异

有状态网关 vs 无状态转发代理

它管理模型进程的完整生命周期——启动、停止、切换、睡眠、唤醒；不是 vLLM 包装器（多引擎适配器抽象），也不只是本地推理工具（统一管理本地 + 云端 + 多模态）。你的 GPU 从零散的推理环境，变成一个可编程的统一推理服务。

进程生命周期多引擎抽象本地 + 云端 + 多模态

能力

# 一个端口 · 两种协议 · 九种引擎

── 01

双协议统一入口

OpenAI + Anthropic 同端口 :8999。Claude Code、Cursor、任意 OpenAI 客户端直连本地。

── 02

9 引擎适配器

vLLM / NInfer / SGLang / Ollama / Ollama.cpp / ComfyUI / TTS / ASR / OllamaDaemon——一种引擎一套工具链，统一抽象。

── 03

三态 GPU 状态机

自动切换不 OOM，多模型共存不打架。

GPU  idle──▶exclusive──▶shared
── 04

Blackwell 加速

NVFP4 权重 + KV cache；RTX 5090 32GB 跑 27B 模型 + 600K+ KV 池 + MTP。

── 05

云端代理

9 云端预设 + 自动发现；本地与云端走同一套路由与 API，上层无感。

── 06

治理与可观测

重试 / 熔断 / 缓存 / 限流 / 负载均衡 + 全链路日志；macOS 风格 Dashboard 一屏可观测。

安装与接入

# git clone → pip → 一条命令起服务

install — zsh
# 前置：Python 3.10+ · vLLM 0.24（勿升级，适配器针对此版本调优）· NVIDIA GPU + CUDA
$ git clone github.com/vincentlau2046/InferFabric
$ cd InferFabric && pip install -r requirements.txt
# 启动 · 生产级异步引擎（aiohttp, :8999）
$ python3 -m inferfabric.proxy.handler --async
# CLI（线程模式）与 Dashboard
$ ./iff status        # Dashboard: http://localhost:8999

接入

# 两种协议 · 同一个端口

settings.json — AtlasCode
// AtlasCode ~/.atlas/settings.json · OpenAI 协议
{
  "providers": {
    "iff": {
      "baseURL": "http://127.0.0.1:8999/v1",
      "api": "openai-completions",
      "models": [{ "id": "Qwen38-27B-TXT" }]
    }
  }
}
claude — zsh
# Anthropic 协议接入 —— Claude Code 直连本地推理
$ export ANTHROPIC_BASE_URL=http://localhost:8999
$ claude