AI对大型模型的投入是AI解决工业碎片化问题的好办法

AI大模型也许是走向人工智能BQ2023PW的唯一途径，也许只是一种过渡手段，但无论如何，它已经变得越来越有魅力。

AI在着陆初期，面对大量分散的应用场景，为了提高传统行业的应用体验，提高机器学习算法的效率，行业努力工作“大炼模型”。

这确实在一定程度上得到了推动AI然而，为了进一步优化效果和提高精度，模型变得越来越复杂，数据变得越来越大，这进一步提高了行业的应用门槛，特别是对小公司的挑战。由于模型越复杂，投资越大，培训成本越高，许多企业无法应对这种情况，导致着陆效率越低。

OpenAI推出了GPT-3，它在处理自然语言方面表现出惊人的能力。它可以写文章、翻译、生成代码，甚至学习一个人的语言模式，并遵循这种模式与人交谈。GPT-33的上市也使得全球上市AI大模式迎来大爆发，参与企业越来越多，参数水平越来越高，成为新一轮AI比赛场地。2021年，谷歌发布了万亿级模型SwitchTransformer，微软和英伟达还推出了包含5300亿参数的自然语言生成模型。国内企业不愿意落后，华为也不愿意落后。浪潮.百度.阿里巴巴等企业竞相推出自己的大型模式。

从“三要素”到“大模型”AI变了吗？

几年前强调人工智能“算力.算法.数据”到目前为止，大模型越来越受到尊重。这反映了这一点。AI什么发展规律？AI核心元素有变化吗？

吴韶华认为，AI核心要素没有改变，大模型训练更需要“算力.算法.数据”创新有三个方面。“源1.0”以大模型为例，在算法层面，面向效率和精度优化的大模型结构协同设计方法针对效率和精度Attention优化层次结构，完善注意机制，注重学习文章内部联系；创新改进小样本学习精度的方法，在行业权威数据集中实现精度领先。

在计算能力层面，围绕深度学习框架和集群I/O，通信已经深入优化，只用了两次x200G在互联的情况下，“源1.0”计算效率为45%的2128个异构加速器集群，超过45%MT-NLG与GPT-3等国际知名模式。针对多种异构芯片，开发了大型模型推理软件框架，实现了国内400个芯片集群大型模型的弹性部署。模型的推理性能提高了几十倍，形成了一个大模型+算法基础设施建设的实际成果。

在数据层面，很难获得海量数据.清洗.海量数据过滤系统的潮等问题（MDFS）从数据采集.粗滤.质量分类.通过清洗8666TB获取5个海量数据TB大规模高质量的中文数据集。该数据集已被开源，并已广泛应用于工业用户模型培训。

解“困”AI大规模工业化问题

行业普遍认为AI目前，大型模型面临的主要瓶颈是：有限的计算能力资源.培训成本高.巨大的人力投入等。

绥远科技产品市场部总经理高平认为，计算能力资源不足、成本高的根本问题实际上是一个昂贵的问题AI市场竞争计算能力不足。目前，我国国内竞争还不够。AI海外大型工厂基本垄断了培训计算能力市场，成本和资源有限是垄断的必然结果；其次，AI计算能力技术的发展正在逐渐成熟，面向成熟AI计算的DSA架构在AI在大型模型的全面发展趋势下，随着技术的发展，将具有良好的规模经济效益，实现更好的成本优势；第三，当行业发展到一定程度时，人力投资主要缺乏相应的标准，减少重复投资。

吴认为，应用的碎片化，尤其是长尾场景的碎片化，仍然是AI着陆问题。碎片化意味着不同的场景需要有针对性的建模。每个小场景都应该从数据到模型，并应用整个过程。此外，模型也应该随着数据的更新而更新。想象一下，对于一个拥有数百个模型的企业来说，同时更新数百个模型和应用程序无疑是一项巨大的投资。

大模型的出现可以说是及时的，可以说是传统的烟囱式.碎片化AI转向集中开发的应用开发。一方面，AI大型模型具有良好的泛化能力，可以支持各种应用，有效缓解碎片化开发中重复建模的困境；另一方面，围绕AI大型算法基础设施，如开放式算法基础设施API，开源应用程序代码等，使开发人员可以直接构建应用程序，而无需关注基础技术和配置编程环境AI基于大模型的能力，让开发人员在降低开发门槛的同时，更加注重核心业务逻辑。

AI大模型有望重塑产业格局

高平认为，大型模型训练所需的海量计算能力必须依赖于AI在计算能力集群的支持下，集群的整体效率能否得到充分发挥，成本是否昂贵AI计算能力是降低大模型训练成本的关键。在液冷技术的基础上，绥远科技创造了液冷技术。AI集群培训产品“云燧智算机CloudBlazerPOD”硬件基础设施(通过软件级别(模型和框架)(计算).存储.网络的协同优化可以最大限度地提高计算能力的利用率，实现千卡训练集群中0.95的线性加速比。同时，使数据中心PUE可以达到1.1.功耗大大降低，成本进一步降低。

“AI对大型模型的投入是AI解决工业碎片化问题的好办法是技术迈向新台阶的唯一途径，AI大型模型的技术开发和商业实施也将重塑当前的技术开发AI计算市场格局AI应用市场格局”高平说，“未来大型模型的数量将远远少于现在的模型，这也有利于大型模型的数量AI有针对性的芯片设计.开发和优化是必要的AI还可以预见建立计算能力企业生态的新机遇。DSA架构的AI在大模型的发展下，芯片将大放异彩。”

此外，他认为，大型模型的应用将形成一个新的上下游产业链，掌握大型计算能力和数据的大型企业将把握产业链的上游；下游小企业可以利用大模型的能力，以低成本把握行业的理解优势AI技术应用于社会的各个方面。这将成熟并进入良性循环AI落地模式。

写在最后

一直以来，AI大多数研发依赖于模型:首先，使用数据训练模型；第二，根据数据获得更好的模型结果。这离不开各个环节的分工，找数据，标记数据，AI专业人士调参……通过多环节聚合劳动成果，最终实现劳动成果的聚合AI着陆。正是这种高度分散.高度分散的壁垒分工.分工分工，AI大规模的工业化带来了挑战。研究机构从目前各大企业的角度挑战研究机构。AI大模型的愿景，它将能够很好地解决这些问题。

不过，也有人认为AI本质上，大模型只是深度学习“加强版”通过给模型“填喂”大数据提高了自身的学习能力，进而实现了更加智能化。

但是，通过在算法、数据等层面的创新，它可以通过零样本、小样本学习精度的提升、高质量数据集的优化等，进一步提升泛化能力和效率，这是AI产业全链条的创新，而不仅仅只是追求更大的模型。