存储算力一体化TOKEN

存算一体TOKEN是算丰信息为AI训练场景中数据密集型工作负载设计的专项租赁产品，通过将高性能计算与分布式存储深度整合，消除传统存算分离架构中的数据搬运瓶颈，为千亿参数模型训练和PB级数据集处理提供极致I/O性能。方案基于丰收集群的本地NVMe存储池（单节点100TB+）与远端全闪分布式存储（Ceph/Lustre/自研FS）构建了分层存储架构——热数据缓存在本地NVMe提供<50µs延迟和28GB/s带宽，温数据存放于全闪集群提供2-5ms延迟和50GB/s+聚合带宽，冷数据归档至对象存储实现低成本海量存储。 训练工作流中，数据预处理、Shuffle和批加载器直接读取本地缓存层，消除网络传输瓶颈。训练Checkpoint采用异步写入策略——先写本地NVMe（<1秒），后台异步同步至远端存储集群，确保训练流程不被存储I/O阻塞。针对大模型训练中数百GB级Checkpoint存储需求，系统集成增量快照技术，仅保存权重变化量而非完整副本，将存储空间和写入时间降低85%+。数据集管理提供数据版本控制（类似Git for Data），支持数据血缘追踪和可复现训练。以15天为周期，适合CV大模型、LLM预训练和多模态模型等数据密集型任务。存算一体TOKEN在千亿参数大模型训练场景中的价值尤为突出——以训练175B参数的类GPT-3模型为例，传统存算分离架构下训练数据IO等待时间占端到端训练时间的35%-45%，而存算一体架构将这一比例压缩至5%以下，整体训练效率提升50%以上。这意味着相同的GPU集群在相同时间内可以完成更多的训练迭代，本质上是从存储维度"释放"了被IO瓶颈禁锢的GPU算力。适用于从事大规模模型预训练和数据集密集型研究的顶尖AI实验室和科技企业。在AI大模型Scaling Law持续有效的背景下，模型参数规模每18个月增长10倍，训练数据集规模增速更快，存算分离架构的IO瓶颈将成为限制模型迭代速度的首要障碍。存算一体TOKEN通过将数据搬运从"跨网络远程传输"变为"本地NVMe直读"，本质上是用存储架构创新为Scaling Law的延续提供物理支撑，是通往万卡集群和十万卡集群高效训练的关键基础设施。