数据并行

数据并行是分布式训练的基本策略，每个GPU持有完整的模型副本，但处理不同的数据子集。前向传播和反向传播后，通过AllReduce操作同步梯度。常见实现包括PyTorch的DistributedDataParallel（DDP）。