如何更便捷地接入one‐api

便捷地接入one-api

首先，您可以直接参考 第三方API‐KEY接入指南 接入第三方api。

当您使用自己的one-api部署时，可以使用本文的方法，区别是这种方法需要one-api外部支持，适合接入一些比较新的模型、或者GPT-Academic本体尚未接入的模型。

第1步：one-api中查看模型的名字，如"mixtral-8x7b"

第2步：填写config

flowchart LR
    A["请使用且仅使用一种方法配置本项目"]
    A --> D["（最最高优先级）修改环境变量"]
    D --> F["直接运行：通过当前终端环境的环境变量"]
    F --> F2["Linux下使用export命令"]
    F --> F1["Windows下使用set命令"]
    D --> E["Docker运行：修改docker-compose.yml（等价于修改容器内部的环境变量）"]
    A --> C["（高优先级）创建并修改config_private.py"]
    A --> B["（低优先级）直接修改config.py"]

Loading

API_KEY = 'sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'
API_URL_REDIRECT = {"https://api.openai.com/v1/chat/completions": "http://one-api-ip/v1/chat/completions"}
LLM_MODEL = "one-api-mixtral-8x7b(max_token=6666)"
# 为了更灵活地接入one-api多模型管理界面，设计了此接口，例子：AVAIL_LLM_MODELS = ["one-api-mixtral-8x7b(max_token=6666)"]
# 其中
#   "one-api-"          是前缀（必要）
#   "mixtral-8x7b"      是模型名（必要）
#   "(max_token=6666)"  是配置（非必要）

第3步：完成！

python main.py

---

另见：

• 通过vllm接入更多大模型
• 手动接入更多大模型