章节总览
模型架构与工程平台 / 24 · 正文
原目录

方舟的训练、精调、模型部署、节点配置和平台操作知识。

火山方舟(Ark)使用指南

本文档系统梳理火山方舟平台的核心概念、使用流程、资源模型与最佳实践,涵盖从项目创建、模型精调到在线推理、批量推理的全链路。


一、平台概述

1.1 什么是火山方舟

火山方舟(Ark)是火山引擎/字节跳动的一站式大模型服务平台,提供模型精调、推理、评测的全流程能力,登录即可使用豆包(Doubao)大模型家族,同时兼容 DeepSeek、Kimi、MiniMax 等第三方模型。

  • 国内入口:内部资源 (字节云方舟,公司内部使用)
  • 对外入口:https://console.volcengine.com/ark (火山引擎方舟)
  • 海外入口:内部资源 (i18n 国际站)

公司内部使用的是「字节云方舟」入口,能力与对外火山方舟基本一致,差异在逐步收敛。

1.2 平台能力全景

能力模块 说明
模型广场 浏览和选择可用模型,包括豆包系列、第三方模型、多模态模型等
模型精调 支持 SFT 全量精调、LoRA 精调、DPO/PPO/GRPO 等偏好优化
在线推理 创建推理接入点(Endpoint),通过 API 实时调用模型
批量推理 大规模离线数据处理,价格为在线推理的 5 折
模型评测 对精调前后的模型进行效果对比评测
Prompt 实验室 Prompt 生成、调优与评测
API Key 管理 管理调用凭证
资源配额 RPM/TPM 限流、模型单元、TPM 保障包等资源管理

二、核心概念

2.1 项目(Project)

项目是方舟中资源与权限的组织单位,创建时挂到服务树节点。部门通常有「默认项目」。

  • 体验项目的数据仅保留 7 天,不能用于生产环境
  • 正式项目需要绑定部门的服务树,以便进行费用结算
  • 项目下包含:模型、接入点、API Key、精调任务、批量任务等所有资源

2.2 接入点(EP / Endpoint)

接入点是一个具体模型实例的调用地址,是 API 调用的核心凭证。

  • 类比:模型是一个 git 仓库,EP 是基于这个仓库构建好的可用服务
  • EP ID 格式:ep-20250505102733-qxbdg
  • 通过 EP 可以对模型服务进行灵活控制、精细监控、安全加固、风险防护

方舟 2.0 把 EP 分了级:

  • 默认 endpoint:大部分在线场景
  • 离线 endpoint:单价更低、重吞吐、适合评测/数据生成
  • 低延迟 endpoint:更优首/尾 token 延迟

2.3 TPM / RPM

  • TPM(Token Per Minute):每分钟处理的 Token 数,衡量吞吐能力
    • 计算公式:TPM = QPS ×(每个请求的输入+输出 Token 数)× 60
  • RPM(Request Per Minute):每分钟请求数
    • 计算公式:RPM = QPS × 60

默认限流参考:

  • Seed-1.6 系列:默认 TPM 10w,RPM 1w
  • 其他模型:默认 TPM 1w,RPM 1w

2.4 模型单元(Model Unit)

模型单元是方舟里独占底层 GPU 资源的计量单位,本质是"用预付费换取专属、有 SLA 保障的吞吐能力"。

关键特性

  • 一个模型单元一般能承载约 15~20 万 TPM
  • 若命中缓存,承载力放大:可承载 TPM = 15~20万 / (1 - cache命中率)
  • 不是强对应单张 GPU,而是和模型大小相关的一组独占算力资源
  • 可以理解为一个独立的资源池(可能 2 卡或几卡),只有你的 EP 在里面用

方舟部署方式对比(按稳定性从低到高)

部署方式 说明 适用场景
公共池(按Token付费) 多账号共享资源,"一个大池子大家都在里面" 临时离线评估、刷数
固定部署 小公共池,抢占没那么严重(控制台不暴露) 中等稳定性需求
模型单元 独立池子,完全独享,性能最稳定 线上生产服务

模型单元的类型

类型 特点 适用场景
动态模型单元 按流量特点自动切换部署方式,低流量用单机、高流量用 PD 分离 流量波动大、新业务探索
弹性模型单元 支持弹性伸缩、多种部署模板,可按月/按小时计费 流量稳定、长期运行的核心业务
可抢占模型单元 资源高峰期可能被在线业务优先抢占,不保证一直可用 评测/刷数等对可用性容忍度高的离线任务

部署模板

模型单元提供多种部署模板,针对不同模型和流量规模预置最优方案:

  • 单机部署:所有计算在一个实例上,适合中等流量或测试验证
  • 分离式部署(PD 分离):Prefill 和 Decode 用不同机型独立部署,建议 50 万 TPM 以上
  • 三分离式部署:图片解码、Prefill、Decode 彻底分离,建议 100 万 TPM 以上

Prefill vs Decode:

  • Prefill(预填充):模型一次性"读透"所有输入信息,搭好理解框架,不生成输出
  • Decode(解码):基于 Prefill 的结果逐 Token 生成输出 两个阶段计算特性不同,因此高流量场景下分离部署可以更高效地利用资源。

2.5 TPM 保障包

TPM 保障包是方舟提供的另一种保障型资源,和模型单元都是"花钱买稳定",但定位不同:

维度 模型单元 TPM 保障包
核心 以资源为核心,用户配置要多少个单元(多少卡) 以服务质量为核心,用户声明要多少输入/输出 TPM 和延迟保障
配置方式 创建 EP 时必须选择 创建时选择,或基于已有按量计费 EP 购买
计费单位 个(模型单元数量) 输入(kTPM)和输出(kTPM)
适用范围 全量 SFT 模型、LoRA 精调模型、延迟要求极高的基础模型 部分基础模型高延迟要求场景

一句话记忆:PTU(ModelHub)≈ 模型单元/TPM保障包(方舟),都是"独享/保障资源";与之相对的是 Paygo 公共资源池这类"共享/非保障资源"。


三、完整使用流程

3.1 第一步:创建项目

  1. 访问 火山方舟控制台
  2. 点击「创建项目」,填写项目信息
  3. 选择服务树节点(正式项目必须绑定,用于费用结算)
  4. 提交后等待约 1 分钟,流程完成后进入项目

如果没有服务树权限,可咨询财务 BP 挂哪个服务树(在飞书搜索 "MyBP" 查看)。

3.2 第二步:获取 API Key

API Key 是请求火山方舟大模型服务的重要凭证,长期有效,建议定期轮换更新。

  1. 在项目内,左侧导航点击 API Key 管理
  2. 点击「创建 API Key」,确认/更改名称后创建
  3. 复制 API Key,妥善保管
    • 严禁硬编码在代码或前端页面中
    • 建议配置为环境变量使用

3.3 第三步:选择模型

在「模型广场」中浏览可用模型,常见模型系列:

系列 说明
Doubao-Seed 系列 字节自研大模型,包括 seed-1.6、seed-1.8、seed-2.0 等,支持深度思考
Doubao-Seed-Flash 速度加快的思考模型
Doubao-Seed-Thinking 思考能力大幅提升
Doubao-Seed-Code 专为代码场景优化
Doubao-Seedream 生图模型
Doubao-Seedance 生视频模型
DeepSeek 系列 第三方开源模型,如 DeepSeek-V3、DeepSeek-R1
Kimi / MiniMax 等 其他经过授权的第三方模型

部分新模型或特定版本可能需要通过 OA 流程申请加入白名单。

3.4 第四步(可选):模型精调

如果基础模型不能满足业务需求,可以进行精调。

精调方式

方式 说明 适用场景
SFT 全量精调 微调模型全部参数 对模型效果要求高,有足够训练数据和算力
LoRA 精调 低秩适配,只训练少量参数 数据量有限、希望快速迭代、成本敏感
DPO / PPO / GRPO 偏好优化,基于人类反馈强化学习 希望对齐人类偏好、提升回答质量

精调流程

  1. 创建数据集:进入「数据集」页面,点击创建数据集,选择用途(SFT 精调等),上传训练数据文件
  2. 创建精调任务:进入「模型精调」页面,点击创建精调任务
    • 填写任务名称和描述
    • 选择训练方式(SFT/LoRA/DPO 等)
    • 选择基础模型
    • 配置训练集和验证集
    • 设置训练参数(epoch、batch_size、learning_rate、lora_rank、lora_alpha 等)
  3. 提交任务:点击提交,等待训练完成
  4. 查看模型产物:训练完成后在「模型仓库」中查看精调产出的模型

精调模型的使用

精调后的模型可以:

  • 模型体验:在体验中心直接对话测试效果
  • 发起评测:与基础模型或其他版本进行效果对比
  • 在线推理:创建推理接入点部署为在线服务
  • 增量训练:基于当前模型继续精调

注意:LoRA 精调后的模型,如需要独立部署推理(模型单元、批量推理),需先完成模型压缩。压缩前后小概率存在部分效果差异,建议压缩后进行模型评测再上线。

3.5 第五步:创建在线推理接入点

在线推理是最常用的模型调用方式,适用于实时交互场景。

创建步骤

  1. 进入「在线推理」页面
  2. 点击「创建推理接入点」
  3. 填写接入点名称和描述
  4. 选择推理模式:
    • 指定单一模型:绑定一个固定模型
    • 智能模型路由:根据流量智能选择模型
  5. 选择接入模型(基础模型或模型仓库中的精调模型)
  6. 选择购买方式(见下文)
  7. 配置接入点限流(RPM/TPM)
  8. 点击创建,等待部署完成

购买方式选择

购买方式 说明 适用场景
按 Token 付费(公共池) 共享底层资源,按实际消耗的输入输出 Token 计费;一段时间没有调用会被回收资源,新请求需重新拉起服务 临时离线评估、测试、对可用性容忍度高
按模型单元付费 独立部署,资源独占,性能稳定 线上生产服务、精调模型、对延迟要求高
TPM 保障包 预先购买吞吐保障,提供更低延迟、更高并发、更强稳定性 基础模型的高流量、低延迟场景

精调模型的约束

精调类型 公共池(按Token付费) 模型单元
全量 SFT 精调 ❌ 不支持 ✅ 必须用模型单元
LoRA 精调 ✅ 支持 ✅ 也支持

全量精调后的模型只能走模型单元部署,公共池不支持。

动态模型单元创建(新版)

如果选择动态模型单元,创建流程略有不同:

  1. 在线推理 → 创建推理接入点
  2. 模型仓库 → 选择精调后的模型产物 → 选择可部署版本
  3. 选择「NEW」的部署(动态模型单元)
  4. 分别输入输入峰值、输出峰值的 TPM(输出峰值最大 500w TPM)
  5. 选择 TTFT、TPOT 的性能要求
  6. 系统根据峰值要求计算所需模型单元数量和费用
  7. 点击确认接入,部署成功

实际费用会根据真实消耗来推账单。

3.6 第六步:API 调用

接入点创建完成后,可以通过 API 或 SDK 调用模型。

调用信息获取

  • 接入点 ID(Endpoint ID):在接入点详情页左上角,格式为 ep-xxxxxx-xxxxxx
  • API Key:在 API Key 管理页面创建和复制
  • 调用地址:方舟 API 端点

Python SDK 调用示例

from volcenginesdkarkruntime import Ark

# 初始化客户端
client = Ark(
    api_key="your-api-key",
    base_url="https://ark.cn-beijing.volces.com/api/v3",
)

# 调用模型
response = client.chat.completions.create(
    model="ep-20250505102733-qxbdg",  # 接入点ID,不是模型名
    messages=[
        {"role": "system", "content": "你是一个 helpful assistant"},
        {"role": "user", "content": "你好"},
    ],
)

print(response.choices[0].message.content)

注意:调用时 model 字段传入的是接入点 ID(ep-xxxxxx),而不是模型基础名。

兼容 OpenAI SDK

方舟 API 兼容 OpenAI 接口格式,可以直接使用 OpenAI SDK:

from openai import OpenAI

client = OpenAI(
    api_key="your-api-key",
    base_url="https://ark.cn-beijing.volces.com/api/v3",
)

response = client.chat.completions.create(
    model="ep-20250505102733-qxbdg",
    messages=[{"role": "user", "content": "你好"}],
)

3.7 批量推理(可选)

批量推理适用于大规模离线数据处理场景,延迟要求低,可以第二天输出结果。

批量推理 vs 在线推理

维度 在线推理 批量推理
价格 标准价 在线推理的 5 折
延迟 实时返回 异步处理,可能需要数小时到一天
吞吐量 受 RPM/TPM 限制 高吞吐(100B~1T/D,根据模型和资源定)
适用场景 实时交互、在线服务 大规模数据标注、数据生成、离线评测
工程改造 无 需要一定改造

批量推理配额

  • TPD(Tokens Per Day):全天 24 小时内输入&输出总 Tokens
    • 计算方式:每天数据条数 × 每条数据的输入&输出总 Tokens
  • Batch job 并发数 & 7天内提交的任务数:主要为了稳定性,一般不用提配额

四、资源配额与成本

4.1 配额申请原则

  • 算准资源需求:需要多少申请多少,而不是申请很多放着
  • 可拆时间段分段申请
  • 有成本意识:资源配额虽不直接产生成本,但方舟为保障正常调用会准备 GPU 资源而产生成本
  • 建议换算金额辅助判断合理性

4.2 资源计算步骤

  1. 算准输入输出 Tokens
    • Tokens 跟字符不是 1:1,按字符数统计会偏大
    • 方法 1:使用方舟官方 Tokens 计算器
    • 方法 2:Endpoint 监控,API 实际调用后看真实 TPM,按上线要的 QPS 放大
  2. 算准模型单元个数
    • 一个模型单元 ≈ 15~20w TPM
    • 有 cache 命中时:所需单元数 = 目标TPM / (15~20w × (1 / (1-cache命中率)))
  3. 估算成本量级
    • 按 Token 付费成本(元/天)= TPM(万) × 10000 × 24 × 60 / 峰值均值比例 / 1000 × 千tokens单价

4.3 免费额度

  • 每款豆包大语言模型提供约 50 万 Tokens 的免费额度
  • 足够个人开发者或小型应用进行测试和开发
  • 超出免费额度的部分根据项目绑定的服务树进行计费

五、常见问题

Q1:模型单元和 GPU 是什么关系?

模型单元不是强对应单张 GPU,而是和模型大小相关的一组独占算力资源。一个模型单元可能对应 2 卡或几卡,具体取决于模型大小和部署模板。可以理解为一个独立的资源池,只有你的 EP 在里面使用。

Q2:精调后的模型上线用公共池还是模型单元?

  • 全量 SFT 精调:必须用模型单元,公共池不支持
  • LoRA 精调:两种都可以,但在线生产场景推荐用模型单元
  • 公共池适合临时离线评估,因为资源共享、可能冷启动、高峰期被抢占

Q3:TPM 和模型单元怎么换算?

一般情况下,一个模型单元能承载约 15~20 万 TPM。如果有 cache 命中,承载力会放大: 可承载 TPM = 15~20万 / (1 - cache命中率)

例如 cache 命中率 50%,则一个模型单元可承载 30~40 万 TPM。

Q4:在线推理的模型服务背后是什么?

底层是部署在 GPU 上的推理服务,核心分两个阶段:

  • Prefill:一次性处理输入,构建理解框架
  • Decode:逐 Token 生成输出

根据流量规模不同,有单机部署、PD 分离部署、三分离部署等模式。这些服务通过接入点(EP)对外暴露 API。

Q5:模型精调和推理用的都是模型单元吗?

不完全是:

  • 精调(训练)阶段:用的是训练资源池,不是模型单元。模型单元的定位是推理资源。
  • 推理阶段:
    • 基础模型 → 可以用公共池,也可以用模型单元/TPM 保障包
    • 全量精调模型 → 必须用模型单元
    • LoRA 精调模型 → 公共池或模型单元都可以

Q6:按 Token 付费的公共池,一段时间不用会怎样?

公共池是共享资源,一段时间没有调用会被回收资源,等有了新的请求来之后再重新拉起服务。这会导致首请求延迟很高(冷启动),因此不适合在线场景,只适合临时离线评估。

模型单元虽然也是独立部署,但 24h 没流量依然会被回收。

Q7:动态模型单元和弹性模型单元怎么选?

  • 动态模型单元:按流量特点自动切换部署方式(低流量单机、高流量 PD 分离),流量波动场景下成本最低,适合新业务探索
  • 弹性模型单元:支持弹性伸缩、多种部署模板,适合长期稳定使用,成本可预测,但比动态模型单元贵

历史案例:同流量场景从弹性切换到动态后,成本节省了 50%。


六、最佳实践

6.1 上线 Checklist

  • [ ] 创建正式项目并绑定服务树
  • [ ] 创建 API Key 并配置为环境变量(不硬编码)
  • [ ] 完成模型精调和评测,确认效果达标
  • [ ] LoRA 模型如需独立部署,先完成模型压缩
  • [ ] 根据业务 QPS 和 Token 长度计算所需 TPM
  • [ ] 选择合适的购买方式(在线生产用模型单元)
  • [ ] 配置合理的接入点限流
  • [ ] 进行压测,确认延迟和吞吐满足业务需求
  • [ ] 配置监控告警,关注错误率、延迟、Token 消耗

6.2 成本优化建议

  1. 流量波动大的业务优先用动态模型单元,避免低流量时空转冗余卡
  2. 利用本地透明化缓存,命中缓存后可大幅降低所需模型单元数量
  3. 离线批量处理用批量推理,价格是在线的 5 折
  4. 评测/刷数用可抢占模型单元,利用在线业务的闲置资源,成本更低
  5. 合理设置弹性伸缩规则,根据实时流量自动扩缩模型单元数量,夜间节约成本
  6. 算准再申请,不要申请大量配额放着,可拆时间段分段申请

6.3 性能优化建议

  1. 高流量场景用 PD 分离部署,Prefill 和 Decode 用不同机型,资源利用更高效
  2. 超大规模流量用三分离部署,图片解码、Prefill、Decode 彻底分离
  3. 对延迟要求高的场景用低延迟 endpoint 或 TPM 保障包
  4. 合理配置 TTFT/TPOT 性能要求,在延迟和成本之间找到平衡

参考资料