火山方舟(Ark)使用指南
本文档系统梳理火山方舟平台的核心概念、使用流程、资源模型与最佳实践,涵盖从项目创建、模型精调到在线推理、批量推理的全链路。
一、平台概述
1.1 什么是火山方舟
火山方舟(Ark)是火山引擎/字节跳动的一站式大模型服务平台,提供模型精调、推理、评测的全流程能力,登录即可使用豆包(Doubao)大模型家族,同时兼容 DeepSeek、Kimi、MiniMax 等第三方模型。
- 国内入口:内部资源 (字节云方舟,公司内部使用)
- 对外入口:https://console.volcengine.com/ark (火山引擎方舟)
- 海外入口:内部资源 (i18n 国际站)
公司内部使用的是「字节云方舟」入口,能力与对外火山方舟基本一致,差异在逐步收敛。
1.2 平台能力全景
| 能力模块 | 说明 |
|---|---|
| 模型广场 | 浏览和选择可用模型,包括豆包系列、第三方模型、多模态模型等 |
| 模型精调 | 支持 SFT 全量精调、LoRA 精调、DPO/PPO/GRPO 等偏好优化 |
| 在线推理 | 创建推理接入点(Endpoint),通过 API 实时调用模型 |
| 批量推理 | 大规模离线数据处理,价格为在线推理的 5 折 |
| 模型评测 | 对精调前后的模型进行效果对比评测 |
| Prompt 实验室 | Prompt 生成、调优与评测 |
| API Key 管理 | 管理调用凭证 |
| 资源配额 | RPM/TPM 限流、模型单元、TPM 保障包等资源管理 |
二、核心概念
2.1 项目(Project)
项目是方舟中资源与权限的组织单位,创建时挂到服务树节点。部门通常有「默认项目」。
- 体验项目的数据仅保留 7 天,不能用于生产环境
- 正式项目需要绑定部门的服务树,以便进行费用结算
- 项目下包含:模型、接入点、API Key、精调任务、批量任务等所有资源
2.2 接入点(EP / Endpoint)
接入点是一个具体模型实例的调用地址,是 API 调用的核心凭证。
- 类比:模型是一个 git 仓库,EP 是基于这个仓库构建好的可用服务
- EP ID 格式:
ep-20250505102733-qxbdg - 通过 EP 可以对模型服务进行灵活控制、精细监控、安全加固、风险防护
方舟 2.0 把 EP 分了级:
- 默认 endpoint:大部分在线场景
- 离线 endpoint:单价更低、重吞吐、适合评测/数据生成
- 低延迟 endpoint:更优首/尾 token 延迟
2.3 TPM / RPM
- TPM(Token Per Minute):每分钟处理的 Token 数,衡量吞吐能力
- 计算公式:
TPM = QPS ×(每个请求的输入+输出 Token 数)× 60
- 计算公式:
- RPM(Request Per Minute):每分钟请求数
- 计算公式:
RPM = QPS × 60
- 计算公式:
默认限流参考:
- Seed-1.6 系列:默认 TPM 10w,RPM 1w
- 其他模型:默认 TPM 1w,RPM 1w
2.4 模型单元(Model Unit)
模型单元是方舟里独占底层 GPU 资源的计量单位,本质是"用预付费换取专属、有 SLA 保障的吞吐能力"。
关键特性
- 一个模型单元一般能承载约 15~20 万 TPM
- 若命中缓存,承载力放大:
可承载 TPM = 15~20万 / (1 - cache命中率) - 不是强对应单张 GPU,而是和模型大小相关的一组独占算力资源
- 可以理解为一个独立的资源池(可能 2 卡或几卡),只有你的 EP 在里面用
方舟部署方式对比(按稳定性从低到高)
| 部署方式 | 说明 | 适用场景 |
|---|---|---|
| 公共池(按Token付费) | 多账号共享资源,"一个大池子大家都在里面" | 临时离线评估、刷数 |
| 固定部署 | 小公共池,抢占没那么严重(控制台不暴露) | 中等稳定性需求 |
| 模型单元 | 独立池子,完全独享,性能最稳定 | 线上生产服务 |
模型单元的类型
| 类型 | 特点 | 适用场景 |
|---|---|---|
| 动态模型单元 | 按流量特点自动切换部署方式,低流量用单机、高流量用 PD 分离 | 流量波动大、新业务探索 |
| 弹性模型单元 | 支持弹性伸缩、多种部署模板,可按月/按小时计费 | 流量稳定、长期运行的核心业务 |
| 可抢占模型单元 | 资源高峰期可能被在线业务优先抢占,不保证一直可用 | 评测/刷数等对可用性容忍度高的离线任务 |
部署模板
模型单元提供多种部署模板,针对不同模型和流量规模预置最优方案:
- 单机部署:所有计算在一个实例上,适合中等流量或测试验证
- 分离式部署(PD 分离):Prefill 和 Decode 用不同机型独立部署,建议 50 万 TPM 以上
- 三分离式部署:图片解码、Prefill、Decode 彻底分离,建议 100 万 TPM 以上
Prefill vs Decode:
- Prefill(预填充):模型一次性"读透"所有输入信息,搭好理解框架,不生成输出
- Decode(解码):基于 Prefill 的结果逐 Token 生成输出 两个阶段计算特性不同,因此高流量场景下分离部署可以更高效地利用资源。
2.5 TPM 保障包
TPM 保障包是方舟提供的另一种保障型资源,和模型单元都是"花钱买稳定",但定位不同:
| 维度 | 模型单元 | TPM 保障包 |
|---|---|---|
| 核心 | 以资源为核心,用户配置要多少个单元(多少卡) | 以服务质量为核心,用户声明要多少输入/输出 TPM 和延迟保障 |
| 配置方式 | 创建 EP 时必须选择 | 创建时选择,或基于已有按量计费 EP 购买 |
| 计费单位 | 个(模型单元数量) | 输入(kTPM)和输出(kTPM) |
| 适用范围 | 全量 SFT 模型、LoRA 精调模型、延迟要求极高的基础模型 | 部分基础模型高延迟要求场景 |
一句话记忆:PTU(ModelHub)≈ 模型单元/TPM保障包(方舟),都是"独享/保障资源";与之相对的是 Paygo 公共资源池这类"共享/非保障资源"。
三、完整使用流程
3.1 第一步:创建项目
- 访问 火山方舟控制台
- 点击「创建项目」,填写项目信息
- 选择服务树节点(正式项目必须绑定,用于费用结算)
- 提交后等待约 1 分钟,流程完成后进入项目
如果没有服务树权限,可咨询财务 BP 挂哪个服务树(在飞书搜索 "MyBP" 查看)。
3.2 第二步:获取 API Key
API Key 是请求火山方舟大模型服务的重要凭证,长期有效,建议定期轮换更新。
- 在项目内,左侧导航点击 API Key 管理
- 点击「创建 API Key」,确认/更改名称后创建
- 复制 API Key,妥善保管
- 严禁硬编码在代码或前端页面中
- 建议配置为环境变量使用
3.3 第三步:选择模型
在「模型广场」中浏览可用模型,常见模型系列:
| 系列 | 说明 |
|---|---|
| Doubao-Seed 系列 | 字节自研大模型,包括 seed-1.6、seed-1.8、seed-2.0 等,支持深度思考 |
| Doubao-Seed-Flash | 速度加快的思考模型 |
| Doubao-Seed-Thinking | 思考能力大幅提升 |
| Doubao-Seed-Code | 专为代码场景优化 |
| Doubao-Seedream | 生图模型 |
| Doubao-Seedance | 生视频模型 |
| DeepSeek 系列 | 第三方开源模型,如 DeepSeek-V3、DeepSeek-R1 |
| Kimi / MiniMax 等 | 其他经过授权的第三方模型 |
部分新模型或特定版本可能需要通过 OA 流程申请加入白名单。
3.4 第四步(可选):模型精调
如果基础模型不能满足业务需求,可以进行精调。
精调方式
| 方式 | 说明 | 适用场景 |
|---|---|---|
| SFT 全量精调 | 微调模型全部参数 | 对模型效果要求高,有足够训练数据和算力 |
| LoRA 精调 | 低秩适配,只训练少量参数 | 数据量有限、希望快速迭代、成本敏感 |
| DPO / PPO / GRPO | 偏好优化,基于人类反馈强化学习 | 希望对齐人类偏好、提升回答质量 |
精调流程
- 创建数据集:进入「数据集」页面,点击创建数据集,选择用途(SFT 精调等),上传训练数据文件
- 创建精调任务:进入「模型精调」页面,点击创建精调任务
- 填写任务名称和描述
- 选择训练方式(SFT/LoRA/DPO 等)
- 选择基础模型
- 配置训练集和验证集
- 设置训练参数(epoch、batch_size、learning_rate、lora_rank、lora_alpha 等)
- 提交任务:点击提交,等待训练完成
- 查看模型产物:训练完成后在「模型仓库」中查看精调产出的模型
精调模型的使用
精调后的模型可以:
- 模型体验:在体验中心直接对话测试效果
- 发起评测:与基础模型或其他版本进行效果对比
- 在线推理:创建推理接入点部署为在线服务
- 增量训练:基于当前模型继续精调
注意:LoRA 精调后的模型,如需要独立部署推理(模型单元、批量推理),需先完成模型压缩。压缩前后小概率存在部分效果差异,建议压缩后进行模型评测再上线。
3.5 第五步:创建在线推理接入点
在线推理是最常用的模型调用方式,适用于实时交互场景。
创建步骤
- 进入「在线推理」页面
- 点击「创建推理接入点」
- 填写接入点名称和描述
- 选择推理模式:
- 指定单一模型:绑定一个固定模型
- 智能模型路由:根据流量智能选择模型
- 选择接入模型(基础模型或模型仓库中的精调模型)
- 选择购买方式(见下文)
- 配置接入点限流(RPM/TPM)
- 点击创建,等待部署完成
购买方式选择
| 购买方式 | 说明 | 适用场景 |
|---|---|---|
| 按 Token 付费(公共池) | 共享底层资源,按实际消耗的输入输出 Token 计费;一段时间没有调用会被回收资源,新请求需重新拉起服务 | 临时离线评估、测试、对可用性容忍度高 |
| 按模型单元付费 | 独立部署,资源独占,性能稳定 | 线上生产服务、精调模型、对延迟要求高 |
| TPM 保障包 | 预先购买吞吐保障,提供更低延迟、更高并发、更强稳定性 | 基础模型的高流量、低延迟场景 |
精调模型的约束
| 精调类型 | 公共池(按Token付费) | 模型单元 |
|---|---|---|
| 全量 SFT 精调 | ❌ 不支持 | ✅ 必须用模型单元 |
| LoRA 精调 | ✅ 支持 | ✅ 也支持 |
全量精调后的模型只能走模型单元部署,公共池不支持。
动态模型单元创建(新版)
如果选择动态模型单元,创建流程略有不同:
- 在线推理 → 创建推理接入点
- 模型仓库 → 选择精调后的模型产物 → 选择可部署版本
- 选择「NEW」的部署(动态模型单元)
- 分别输入输入峰值、输出峰值的 TPM(输出峰值最大 500w TPM)
- 选择 TTFT、TPOT 的性能要求
- 系统根据峰值要求计算所需模型单元数量和费用
- 点击确认接入,部署成功
实际费用会根据真实消耗来推账单。
3.6 第六步:API 调用
接入点创建完成后,可以通过 API 或 SDK 调用模型。
调用信息获取
- 接入点 ID(Endpoint ID):在接入点详情页左上角,格式为
ep-xxxxxx-xxxxxx - API Key:在 API Key 管理页面创建和复制
- 调用地址:方舟 API 端点
Python SDK 调用示例
from volcenginesdkarkruntime import Ark
# 初始化客户端
client = Ark(
api_key="your-api-key",
base_url="https://ark.cn-beijing.volces.com/api/v3",
)
# 调用模型
response = client.chat.completions.create(
model="ep-20250505102733-qxbdg", # 接入点ID,不是模型名
messages=[
{"role": "system", "content": "你是一个 helpful assistant"},
{"role": "user", "content": "你好"},
],
)
print(response.choices[0].message.content)
注意:调用时
model字段传入的是接入点 ID(ep-xxxxxx),而不是模型基础名。
兼容 OpenAI SDK
方舟 API 兼容 OpenAI 接口格式,可以直接使用 OpenAI SDK:
from openai import OpenAI
client = OpenAI(
api_key="your-api-key",
base_url="https://ark.cn-beijing.volces.com/api/v3",
)
response = client.chat.completions.create(
model="ep-20250505102733-qxbdg",
messages=[{"role": "user", "content": "你好"}],
)
3.7 批量推理(可选)
批量推理适用于大规模离线数据处理场景,延迟要求低,可以第二天输出结果。
批量推理 vs 在线推理
| 维度 | 在线推理 | 批量推理 |
|---|---|---|
| 价格 | 标准价 | 在线推理的 5 折 |
| 延迟 | 实时返回 | 异步处理,可能需要数小时到一天 |
| 吞吐量 | 受 RPM/TPM 限制 | 高吞吐(100B~1T/D,根据模型和资源定) |
| 适用场景 | 实时交互、在线服务 | 大规模数据标注、数据生成、离线评测 |
| 工程改造 | 无 | 需要一定改造 |
批量推理配额
- TPD(Tokens Per Day):全天 24 小时内输入&输出总 Tokens
- 计算方式:
每天数据条数 × 每条数据的输入&输出总 Tokens
- 计算方式:
- Batch job 并发数 & 7天内提交的任务数:主要为了稳定性,一般不用提配额
四、资源配额与成本
4.1 配额申请原则
- 算准资源需求:需要多少申请多少,而不是申请很多放着
- 可拆时间段分段申请
- 有成本意识:资源配额虽不直接产生成本,但方舟为保障正常调用会准备 GPU 资源而产生成本
- 建议换算金额辅助判断合理性
4.2 资源计算步骤
- 算准输入输出 Tokens
- Tokens 跟字符不是 1:1,按字符数统计会偏大
- 方法 1:使用方舟官方 Tokens 计算器
- 方法 2:Endpoint 监控,API 实际调用后看真实 TPM,按上线要的 QPS 放大
- 算准模型单元个数
- 一个模型单元 ≈ 15~20w TPM
- 有 cache 命中时:
所需单元数 = 目标TPM / (15~20w × (1 / (1-cache命中率)))
- 估算成本量级
- 按 Token 付费成本(元/天)=
TPM(万) × 10000 × 24 × 60 / 峰值均值比例 / 1000 × 千tokens单价
- 按 Token 付费成本(元/天)=
4.3 免费额度
- 每款豆包大语言模型提供约 50 万 Tokens 的免费额度
- 足够个人开发者或小型应用进行测试和开发
- 超出免费额度的部分根据项目绑定的服务树进行计费
五、常见问题
Q1:模型单元和 GPU 是什么关系?
模型单元不是强对应单张 GPU,而是和模型大小相关的一组独占算力资源。一个模型单元可能对应 2 卡或几卡,具体取决于模型大小和部署模板。可以理解为一个独立的资源池,只有你的 EP 在里面使用。
Q2:精调后的模型上线用公共池还是模型单元?
- 全量 SFT 精调:必须用模型单元,公共池不支持
- LoRA 精调:两种都可以,但在线生产场景推荐用模型单元
- 公共池适合临时离线评估,因为资源共享、可能冷启动、高峰期被抢占
Q3:TPM 和模型单元怎么换算?
一般情况下,一个模型单元能承载约 15~20 万 TPM。如果有 cache 命中,承载力会放大:
可承载 TPM = 15~20万 / (1 - cache命中率)
例如 cache 命中率 50%,则一个模型单元可承载 30~40 万 TPM。
Q4:在线推理的模型服务背后是什么?
底层是部署在 GPU 上的推理服务,核心分两个阶段:
- Prefill:一次性处理输入,构建理解框架
- Decode:逐 Token 生成输出
根据流量规模不同,有单机部署、PD 分离部署、三分离部署等模式。这些服务通过接入点(EP)对外暴露 API。
Q5:模型精调和推理用的都是模型单元吗?
不完全是:
- 精调(训练)阶段:用的是训练资源池,不是模型单元。模型单元的定位是推理资源。
- 推理阶段:
- 基础模型 → 可以用公共池,也可以用模型单元/TPM 保障包
- 全量精调模型 → 必须用模型单元
- LoRA 精调模型 → 公共池或模型单元都可以
Q6:按 Token 付费的公共池,一段时间不用会怎样?
公共池是共享资源,一段时间没有调用会被回收资源,等有了新的请求来之后再重新拉起服务。这会导致首请求延迟很高(冷启动),因此不适合在线场景,只适合临时离线评估。
模型单元虽然也是独立部署,但 24h 没流量依然会被回收。
Q7:动态模型单元和弹性模型单元怎么选?
- 动态模型单元:按流量特点自动切换部署方式(低流量单机、高流量 PD 分离),流量波动场景下成本最低,适合新业务探索
- 弹性模型单元:支持弹性伸缩、多种部署模板,适合长期稳定使用,成本可预测,但比动态模型单元贵
历史案例:同流量场景从弹性切换到动态后,成本节省了 50%。
六、最佳实践
6.1 上线 Checklist
- [ ] 创建正式项目并绑定服务树
- [ ] 创建 API Key 并配置为环境变量(不硬编码)
- [ ] 完成模型精调和评测,确认效果达标
- [ ] LoRA 模型如需独立部署,先完成模型压缩
- [ ] 根据业务 QPS 和 Token 长度计算所需 TPM
- [ ] 选择合适的购买方式(在线生产用模型单元)
- [ ] 配置合理的接入点限流
- [ ] 进行压测,确认延迟和吞吐满足业务需求
- [ ] 配置监控告警,关注错误率、延迟、Token 消耗
6.2 成本优化建议
- 流量波动大的业务优先用动态模型单元,避免低流量时空转冗余卡
- 利用本地透明化缓存,命中缓存后可大幅降低所需模型单元数量
- 离线批量处理用批量推理,价格是在线的 5 折
- 评测/刷数用可抢占模型单元,利用在线业务的闲置资源,成本更低
- 合理设置弹性伸缩规则,根据实时流量自动扩缩模型单元数量,夜间节约成本
- 算准再申请,不要申请大量配额放着,可拆时间段分段申请
6.3 性能优化建议
- 高流量场景用 PD 分离部署,Prefill 和 Decode 用不同机型,资源利用更高效
- 超大规模流量用三分离部署,图片解码、Prefill、Decode 彻底分离
- 对延迟要求高的场景用低延迟 endpoint 或 TPM 保障包
- 合理配置 TTFT/TPOT 性能要求,在延迟和成本之间找到平衡