https://github.com/OpenBMB/ModelCenter/blob/main/examples/cpm2/pretrain_cpm2.py#L24 请问这里模型初始化是不是每卡都会执行？ 如果模型很大，可能内存OOM。谢谢您的解答。
https://github.com/OpenBMB/ModelCenter/blob/main/examples/cpm2/pretrain_cpm2.py#L24
请问这里模型初始化是不是每卡都会执行？
如果模型很大，可能内存OOM。谢谢您的解答。