去中心化存储成2020年物联网领域的新进展
随着物联网的发展,有一个领域正在逐步发生变化,那就是数据存储市场。万物互联产生的数据正在以指数级增长,如何存储和管理这些数据,对于每家企业而言,都是成功的关键要素。
随着物联网的发展,有一个领域正在逐步发生变化,那就是数据存储市场。
万物互联产生的数据正在以指数级增长,如何存储和管理这些数据,对于每家企业而言,都是成功的关键要素。
引用市场研究机构IDC的数据,到2025年,全球将有55.9B的互联设备,其中75%将连接到物联网平台。届时由互联设备生成的数据,将从2019年的13.6 ZB,增长到79.4 ZB。
ZB是什么概念?举个例子,如果把1ZB的文件往1TB的硬盘里装,大概需要10亿块硬盘,连起来足够绕地球两圈半。
尤其是视频数据的存储需求将会飞速膨胀,以亚太地区为例,2025年来自物联网设备的视频数据规模将达到26,680 EB,以5年复合年增长率23.2%的速度增长。在视频数据之外,来自工业互联网的数据也将占据较大份额。
如此大量的数据如何被可靠、安全、快速、高性价比的存储,是很多企业正在探索的方向。
随着区块链的发展,去中心化存储逐步升温。最近京东云、华为云率先开始了新尝试。
在智能园区场景中,某地的华为云服务器集群将引入去中心化存储技术IPFS搭建,拟定投入4亿元人民币。
京东智联云也推出了无线宝智能终端,并将其定位于家庭场景中,去中心化存储、区块链和数字化资产管理的基础设施。
因此这篇文章,我们就来讲述去中心化存储的最新进展:
什么是去中心化存储?
值得关注的去中心化存储实现技术有哪些?
有哪些去中心化存储的误区需要避免?
01
什么是去中心化存储?
一切可以去中心化的,都将去中心化。
以存储作为服务的商业模式由来已久,亚马逊在2006年开始推出Amazon Web Services(AWS),将自己的服务器和存储空间租借给用户,降低了开发者创建并管理服务器基础设施的开销。
在2013-2017这5年间,全球云存储市场维持20%以上的高复合增速,而国内云存储市场的增速维持在85%-110%。根据多家机构的预测结果,预计2022年全球云存储市场规模将达到1000亿美元以上。
随着时间的演变,中心化的储存服务虽不断改善功能,价格也愈加亲民,但近年来却遇到了瓶颈,面临频繁的数据泄露、服务的限制性、运营商停运风险等问题。于是,去中心化存储这一概念逐渐兴起。
需要注意的是,中心化或去中心化存储,并不仅仅是描述一种技术,更多的是对应一种存储的商业模式。
存储市场的商业组织形式,可以分为中心化存储和去中心化存储:
中心化存储是将数据完整的存储在中心化机构开发的服务器上,设备服务器与存储供应者是一对一的关系。
去中心化存储则是将数据切片分散存储在多个独立的存储供应商上,设备服务器与存储供应者是一对多的关系。
去中心化存储是一种通过分布式存储技术,将文件或文件集分片,存储在不同供应方提供的磁盘空间上的存储商业模式。
它的价值主张是强隐私保护、低成本、数据冗余备份、开源的应用程序和算法,只有实现了以上的全部主张,才可能大范围代替现有的中心化存储方案。
你也许看出来了,去中心化存储就是偏偏要在一个更加分散、更加不安全、更加不可信的网络环境中,满足更加安全、更加可信、更加可控的存储需求。它有利于规避单点故障,和实现数据的价值传递。
从实现方式上来说,中心化存储系统的大型文件上传后,文件以整体或切片的形式存储在单一或分布式的网络或服务器上,需要极其高效的开发、运营团队来维持其运转。
去中心化存储必须使用分布式存储技术,初始种子节点(最初拥有完整文件资源的节点)在将大型文件进行切片处理后,使其产生多个子块。每个子块分别存储在不同的节点上,每个一般节点下载单个子块,上传到去中心化存储网络中,让其他节点下载后,便成为这个子块的种子节点。如此循环往复,不断扩大该文件在共享网络中的节点数。
为了实现去中心化的商业模式,去中心化存储的实现必然分为两部分:存储技术和激励机制。
存储技术相对比较成熟,有多种分布式存储方案可供选择。激励机制由区块链技术提供,在去中心化存储中,网络规模的大小对于性能的影响很大。如何让大家愿意贡献存储、网络资源?如何保证这些存储资源稳定、可靠的运行?这些都需要通过区块链技术实现。
与中心化存储不同,去中心化存储的特点主要有3个:
算法开源:去中心化存储平台或网络的算法和代码必须是开源的。
B2C端的存储服务已经被中心化存储抢占了大多数市场,在开源项目初期进入门槛较高,大多数集中于B2B端,只有代码开源才能让社区和应用的完善形成有效的正反馈效应。如果算法和代码不公开透明,则存储网络就会变相的中心化。
计费优势:去中心化存储的成功要素之一,就是计费优势。
由于中心化存储系统和去中心化存储系统的存储方式和检索方式的差异,导致二者在服务费用定价上存在差异。
中心化存储系统的收费标准是按月度、季度或年度为单位,根据存储数据文件的大小收取存储费用,并且对存储费用实施一定的促销策略(免费试用期等)。
由于大多数去中心化存储网络平台处于项目运营初期,大部分产品处于开发阶段或MVP阶段,因此需要以低廉的存储费用来吸引用户流量。但是,相比较中心化的相对固定的服务费用,除了存储费用之外,去中心化存储还有检索费用、手续费和交易费。因此,去中心化存储仅仅适合冷数据存储,在检索数据量较少的情况下,其费用比中心化存储低得多。而对于热数据,因检索频繁导致其成本可能高于中心化存储的费用。
安全和隐私保护:增强安全性和用户隐私保护,是去中心化存储的重要价值主张。
去中心化存储的优势主要体现在两个方面:首先,去中心化存储规避了单点故障和部分节点断网或不可用等风险;其次,去中心化存储使用户的具体存储内容不因主观原因而泄露。
由于去中心化存储的共享网络为P2P网络,而中心化存储的共享网络为以服务供应商为中心的中心化网络,从而导致前者不容易受到单点故障和服务器断网的影响,也不容易受到黑客的攻击。
同时,去中心化存储通过零知识证明和非对称加密等技术,将哈希加密的字符串放在区块的最底层,从而将存储内容的分片实现加密处理,其他任何节点包括运营商都无法看到存储的具体内容。
就现状而言,去中心化存储处于起步阶段,它与中心化存储在存储空间来源、带宽来源、安全性、使用方式、行业发展状态等多个维度存在差异,目前它的规模和性能远远不如中心化存储系统。