说实话 xiaoz 用过的 AI 网关不少,从new-api、Bifrost、octopus 到这次的gpt-load,我都认真的用过一段时间,最终大概率会留下 gpt-load 作为个人长期使用的 AI 网关,原因很简单,功能正好切中我的需求,内存占用也不高。

gpt-load 是干嘛的?
GPT-Load 是一个面向多渠道、多凭据场景的自托管 AI 网关,将 API Key 管理、流量调度、故障处理与用量统计统一收进单一入口,和 new-api、Magpie 等软件功能类似。
为什么说 gpt-load 适合个人或者小团队使用
之前 xiaoz 有使用 new-api 网关,但 new-api 更像是为中转站老板准备的,比如多用户,计费、倍率等,但对于个人而言,这些功能基本都用不上。
gpt-load 是单用户、多密钥设计,功能更加克制,但负载均衡,故障转移这些实用功能,该有的都有,gpt-load 设计走的轻量、简洁路线,面向的用户也很明确,就是个人或者小团队。
从 Bifrost 到 gpt-load
很长一段时间,Bifrost 一直是 xiaoz 的主力AI网关,之前还单独写了两篇文章进行介绍:
Bifrost 虽然上手比较复杂,但是他强大的路由功能和负载均衡让我非常满意,但永久了之后我发现,Bifrost 内存占用真的是太高了,即使并发不多的情况下,Bifrost也经常飙到 1GB 左右。
于是 xiaoz 尝试了很多其它 AI 网关软件,某天发现了 gpt-load,gpt-load底层也用了Bifrost Core作为核心,在负载均衡和路由上做了一些简化,上手难度比Bifrost 更简单,且内存占用低很多。
Docker Compose安装 gpt-load
我并没有完全按照gpt-load官方提供的Docker Compose安装教程来执行,而是根据自身情况有所调整,首先新建compose.yaml文件,内容如下:
services:
gpt-load:
image: ghcr.io/tbphp/gpt-load:2
ports:
- "${BIND_ADDRESS:-${HOST:-127.0.0.1}}:${PORT:-3001}:${PORT:-3001}"
- "${OAUTH_CALLBACK_BIND_ADDRESS:-${HOST:-127.0.0.1}}:1455:1455"
- "${OAUTH_CALLBACK_BIND_ADDRESS:-${HOST:-127.0.0.1}}:54545:54545"
- "${OAUTH_CALLBACK_BIND_ADDRESS:-${HOST:-127.0.0.1}}:51121:51121"
env_file:
- .env
restart: always
user: "1000:1000"
volumes:
- ./data:/app/data
stop_grace_period: ${CONTAINER_STOP_GRACE_PERIOD:-15s}
healthcheck:
test: wget -q --spider -T 10 -O /dev/null http://localhost:${PORT:-3001}/health
interval: 30s
timeout: 10s
retries: 3
start_period: 40s然后继续新建.env文件,内容如下:
HOST=0.0.0.0
PORT=3001
# Timeouts are seconds; the Compose stop grace period uses a duration.
GRACEFUL_SHUTDOWN_TIMEOUT=10
CONTAINER_STOP_GRACE_PERIOD=15s
READ_TIMEOUT=60
IDLE_TIMEOUT=120
DATA_DIR=/app/data
DATABASE_DSN=
AUTH_KEY=xxx
ENCRYPTION_KEY=xxx
CLIENT_IP_HEADER=
TRUSTED_PROXIES=
LOG_LEVEL=info
LOG_FORMAT=text你需要修改的主要是下面两个地方:
AUTH_KEY:WEB界面的访问密码ENCRYPTION_KEY:加密密钥,随便设置一个字符串即可
然后输入docker compose up -d启动,启动成功后输入http://IP:3001 访问测试,密码就是刚刚我们设置的AUTH_KEY

接着就是创建分组(类似于渠道)和访问密钥了,这里不做详细展开,有兴趣的可以进一步通过官方文档:https://gpt-load.com/zh/docs 进行了解。
gpt-load 部分截图


软件对比
xiaoz 深度使用过new-api、Bifrost、octopus、gpt-load 这4个 AI 网关软件,基于我的主观感受和体验,做了一个简单对比。
| 软件/特性 | new-api | Bifrost | octopus | gpt-load |
|---|---|---|---|---|
| 内存占用 | 低 | 高 | 非常低 | 中低 |
| 负载均衡 | 一般 | 非常强大 | 一般 | 强大 |
| 故障转移 | 渠道级 | 路由级,非常细致 | 自动 | 自动 |
| 界面易用性 | 很多个人用不上的功能 | 英文,上手复杂 | 非常简洁 | 易用且简洁 |
| 支持的渠道 | 丰富 | 丰富 | 较少 | 非常丰富,包括一些订阅也能接入 |
| 多用户 | 支持 | 免费版不支持 | 不支持 | 不支持 |
备注:以上只是个人主观感受,未进行严格测试,数据不一定完全准确,如有错漏,还请指出。
目前 gpt-load 已经作为 xiaoz 主力 AI 网关,后续大概率会慢慢停掉 new-api 和 Bifrost,并不是这两个软件不够好,而是不太符合我的场景和需求,最终应该会留下 gpt-load 和 octopus
结语
综合来看,gpt-load 胜在功能克制而实用:单用户多密钥、负载均衡与自动故障转移齐全,界面简洁、内存占用中低,正好契合个人及小团队需求。相比 new-api 的冗余和 Bifrost 的高内存,它更适合 xiaoz 长期主力使用。
gpt-load 开源地址:https://github.com/tbphp/gpt-load
下一篇
没有了