首页 > 试题广场 >

大模型训练中，流水线并行（Pipeline Parallel

[单选题]

大模型训练中，流水线并行（Pipeline Parallelism）的核心思想是？

将训练数据分割到不同设备，每个设备训练完整模型

将模型的不同层分配到不同设备，按顺序执行前向和反向传播

将模型的张量（如权重矩阵）按维度分割到不同设备

将模型的不同子模块（如注意力和前馈层）分配到不同设备

查看答案及解析

这道题你会答吗？花几分钟告诉大家答案吧！

提交观点

问题信息

大模型开发

难度：

0条回答 17收藏 13浏览

扫一扫，把题目装进口袋