商汤以AI软件重新“定义”图像传感器的发展趋势
白皮书指出,整合AI技术的CMOS图像传感器,可以最大化原始光信号的价值。如今,随着AI技术的加持,CMOS图像传感器的发展开始进入AI在软件定义的时代,成像系统的整体能力被推到了一个新的高度。面向未来,AI传感器的价值不仅在于提高智能手机的成像能力,还在于成为机器“认知”世界基础设施,赋予更多物联网终端智能感知和内容增强能力。
摄影界常说,“底大一级压死人”。
这通常是指数码相机CMOS图像传感器尺寸越大,成像效果越好。它是相机的关键成像部分,也是塑造图像竞争力的核心。
因此,我们可以看到,随着智能手机竞争的日益激烈和图像技术在手机中的地位越来越高,ADM1030ARQ传感器技术已经成为许多手机制造商的竞争场所和差异化竞争的场所。
然而,手机往往追求轻巧、低功耗,使得手机图像传感器的大小自然有物理限制。如何解决这一矛盾,已成为行业的重要方向。
近日,商汤智能产业研究院发布《AI传感器:智能手机图像新核心白皮书提出,在智能手机市场缓慢进入瓶颈期的趋势下,图像功能成为行业突破的焦点,而AI软件与CMOS图像传感器硬件的融合,将是智能手机图像能力的不断提升。
进入图像传感器AI时代
过去几年,AI算法大大提高了手机的图像能力,但在这个方案中,图像传感和AI在不同的硬件上完成算法的操作,图像传感器提供图像信号、处理器或AI加速芯片执行AI算法。这样会造成能源消耗的浪费,很难处理一些需要及时响应的场景。
白皮书指出,整合AI技术的CMOS图像传感器,可以最大化原始光信号的价值。
在设备获取视觉信号之初,AI传感器可以优化和处理,增强现实世界的感知,提高图像和视频的质量,丰富内容细节,最大限度地降低设备的功耗,提高数据安全性。
白皮书指出,自20世纪50年代以来,光学倍增管理一直处于领先地位(PhotoMultiplierTube,PMT)随着技术的发展,图像传感器不断演变。
如今,随着AI技术的加持,CMOS图像传感器的发展开始进入AI在软件定义的时代,成像系统的整体能力被推到了一个新的高度。
让手机成为“个人智能影像工作室”
凭借领先的AI商汤在技术和软硬件整合能力上已经超分辨率,AI超画质,夜景影像,高动态范围,超清人像,影像虚化,RGBToF3D等待关键图像场景,积累了大量的算法能力。
同时,早在2019年,商汤就将与世界领先的图像传感器制造商密切合作,并将与世界领先的图像传感器制造商密切合作。AI直接集成算法和传感器硬件。目前,商汤AI传感器已完成多款产品,并成功登陆多款高端旗舰手机。
凭借AI算法,AI传感器和AIISP商汤实现了三位一体AI技术对整个智能手机智能图像系统的集成赋能。
一方面,通过AI该技术充分挖掘了镜头模块、各种新型传感器等硬件的潜力,最大限度地发挥了成像设备的底层特性,实现了最佳的成像质量。
另一方面,使用AI该技术将成像系统中的各个独立部件有机地结合在一起,使原本独立运行的成像模块成为协作的成像平台。
超分辨率自上而下,AI超画质,夜景影像效果对比。左边是传统方案的拍摄效果,右边是商汤的拍摄效果。所有图片都是原始图片的局部放大
商汤的解决方案,全面提升了手机摄影的质量。
例如,通过AI学习各种光源的不同特性,了解自然光谱的特性,然后根据实际应用场景带来AI降噪,AI超分辨率,提高成像质量;在特殊的拍摄模式下,AI夜景增强,AI肖像增强,赋予智能手机多样性“魔幻场景”。
这些经历,让搭载AI智能传感器手机已经成为每个人的专属“个人智能影像工作室”在日常使用中,消费者也可以轻松拍摄出与专业影像设备相当的高质量作品。
机器“认知”世界基础设施
面向未来,AI传感器的价值不仅在于提高智能手机的成像能力,还在于成为机器“认知”世界基础设施,赋予更多物联网终端智能感知和内容增强能力。
在全球40亿手机用户的庞大基数下,AI传感器的广泛应用将大大降低世界建模成本,成为连接物理世界和虚拟世界的桥梁,加速加速“元宇宙”的构建。
在新兴的应用场景中,AI传感器也将发挥重要作用。例如,在智能汽车领域,AI传感器将成为车辆感知世界的核心部件;在智慧城市领域,AI传感器将在挖掘视频信息价值方面发挥重要作用。
Gartner数据显示,2022年CMOS图像传感器的出货量将超过84亿,到2026年将超过107亿,成长为半导体细分市场,出货量达100亿。
秉承在AI随着传感器技术领域的长期布局,商汤将与合作伙伴携手加速AI传感器的市场渗透是共同的AI软件重新“定义”图像传感器趋势,赋予硬件更多创新的可能性。