存内计算未来应用程序的机会点在哪里?
与SRAM相比,MRAM和RRAM的存储密度更高,因此可以从存储单元介质本身做得更大,从而达到存储更多计算参数的目的。比如Flash的优势是密度比较高,DRAM成本比较低,磁性存储器MRAM,除了存储密度比较高之外,记忆电阻RRAM的功耗也比较低。
如今,随着技术的发展,计算任务变得越来越复杂。在冯诺依曼体系结构中,数据需要在存储、内存、缓存和计算单元中连续处理,导致数据处理而不是计算消耗大部分时间的带宽、缓存和功耗。因此,存储墙已成为一个越来越严重的问题。
存内计算,所以名义是将计算单元嵌入内存,理想是完美解决存储墙的问题,近年来,三星、SK海力士、台积电、英特尔、美光、阿里等半导体巨头正在积极发展,许多新兴企业也加入,取得了良好的进展。
面对热门的存储计算,一些人认为存储计算可能不起作用。有几个原因:一是AI算法模型的容量相对较大,在存储器中计算的成本将非常高;一是由于存储芯片的工艺,如密度高、产量高,工艺难以实现。
那么,内部计算是否可行?未来的市场机会在哪里?在接受电子爱好者采访时,苹果核心技术首席执行官杨悦详细分享并回答了内存计算的主要应用场景方向。
存内计算是否可行
对于“AI算法模型的容量比较大,而这个在存储器里面做计算,成本会非常高”的问题,杨悦解释说,有些人认为内存中的计算成本会很高,因为他们认为如果他们想容纳很多网络参数,他们需要使内存非常大,而内存更大意味着高成本。
针对这一问题,杨越表示,目前有很多方法可以解决。
第一,解决算法模型,即网络模型的轻量化,如知识蒸馏,只是为了减少算法模型中参数的存储需求。目前,有许多非常成熟的方法,如CNN压缩,一类。
在这个演示系统中,苹果核心技术基于S200构建的功能演示平台采用了基于神经网络架构搜索NAS的方法之一,获得了轻量级模型,可以完成非常高的识别率,可以达到99%的关键字识别功能。S200是苹果核心的第一个商业存储计算芯片。它建立了一个基于S200的功能演示平台,旨在演示28纳米工艺节点上的存储计算,可以运行端对端神经网络。
第二,从可扩展的架构设计开始。杨悦表示,在开始计算固化假设之前,我们可以尝试打破将整个算法模型同时加载到内存中的固化假设。因此,一个良好的存储结构可以支持基于计算负载或存储负载的不同任务,从而形成一个基于存储计算的向上适应性强的计算能力平台。
第三,这个问题可以通过使用新的内存来解决,包括磁性内存MRAM和回忆电阻RRAM。与SRAM相比,MRAM和RRAM的存储密度更高,因此可以从存储单元介质本身做得更大,从而达到存储更多计算参数的目的。
可以看出,从这三个方面来看,人工智能算法模型太大了。如果存储器需要放下这么多数据,它需要使存储器非常大,从而带来高成本的问题。
针对存储芯片的工艺可能带来限制的问题,杨悦表示,苹果芯片技术主要是基于SRAM的存储计算。目前SRAM的工艺已经非常成熟。就存储设备本身而言,市场上有7nm和5nm的产品,成熟工艺的产量是有保证的。
此外,对于新型内存MRAM和RRAM,头部代工厂已经有了22nm甚至更高的量产线。杨悦说,因此,在他看来,内存计算技术可以跟随新内存设备本身的技术逐渐成熟。
此外,应该提到的是,尽管新的内存MRAM和RRAM可以解决容量小的问题,但作为一种新的产品类型,仍然存在一些挑战,如可靠性和耐久性。然而,杨悦预计,在不久的将来,新的存储将达到商业成熟的水平。
虽然成立时间不长,但团队在创业初期积累了很长时间。存内计算是一个技术壁垒非常高的项目,苹果核心技术积累了足够的知识,的物理特性、设计上层芯片架构、控制最终产品落地成本等方面有足够的积累。每个技术堆都有自己的IP,苹果核心技术也是第一个拥有工业级28nm SRAM存内计算加速单元DEMO的团队。
苹果芯片S300的下一代ABA-52563-TR1芯片已经从代工厂返回。据杨悦介绍,目前工程团队正在进行相应的测试和展示。与S200相比,S300具有更强的计算能力,可以与更多的网络模型兼容,从而支持更丰富的边缘应用场景。
存内计算的机会在哪里
众所周知,存内计算有很多不同的技术路线,每一条技术路线都有自己的特点。比如Flash的优势是密度比较高,DRAM成本比较低,磁性存储器MRAM,除了存储密度比较高之外,记忆电阻RRAM的功耗也比较低。杨悦说:这两种新型存储器MRAM和RRAM代表了存内计算的未来。但是因为是新技术,就像上面说的,在工艺成熟度和商业化方面需要一些耐心。
苹果核心技术采用SRAM+MRAM和RRAM混合技术路线。杨悦解释说:选择这种技术路线的原因是,SRAM作为最快的读写内存媒体,有很多优势,例如,它可以兼容更先进的工艺节点,具有高能效比计算优势,同时没有其他不容易失去的存储耐久性问题,更重要的是,基于SRAM设计,可以支持纯数字设计,以解决许多应用场景。
苹果芯选择新型存储器,一是因为它具有高性能的天花板,二是有利于团队核心成员更好地发挥过去的技术积累和工程经验。
未来存内计算的机会点在哪里?目前很多具有AI计算功能的芯片,包括GPU、FPGA、NPU、SOC等。,都是基于传统的冯·诺伊曼建筑设计的,这些建筑将受到存储墙和功耗墙的限制,这导致它们具有很强的绝对计算能力,但整个计算效率有一个上限。
存内计算可以弥补这些问题。在短期内,存内计算的主要市场机会将主要出现在最终产品上,因为存内计算的技术优势可以提供相对较高的计算效率和相对较低的功耗,如可穿戴设备和智能家居,这是非常适合存内计算的应用方向。
从长远来看,随着新存储技术的成熟,它不仅会给低功耗市场带来机会,还会将计算能力提高2-3个数量级,从而将存储计算的应用扩展到更多的场景。例如,在一些耗电量有限但仍需要绝对计算能力的场景层面,存储计算可以为客户带来差异化的选择机会。
小结
例如,对gardner曲线的解释,任何新兴技术在开发的早期阶段都会经历一些起伏,特别是在底层有重大突破的技术,如存内计算,从最初的流行到开发期的理性,到成长期的稳定和崛起,再到最终产品的商业化。扎实的技术背景和可靠的工程能力是基于市场和客户认可的存内计算企业的重要基础。我们期待着更多更好的技术和产品,为智能场景描绘更美好的未来。