炼大模型，已成为人工智能领域的主流研发趋势，从GPT，3的1750亿，到如今悟道2.0的1.75万亿，超大语言模型在NLP基准任务中不断刷新SOTA，而，参数和数据集的快速增长让GPU算力开始捉襟见肘，单个GPU内存已经远远不能满足大模型的需求，如，阿里用480块GPU训练千亿模型；英伟达用3072块GPU训练万亿模型；谷歌用204...。