实施混合式数据分析平台的三个步骤
【导读】过去八年间,数据中台及其“统一数据、统一服务、统一身份(One data, one service, one ID)”理念的广泛采用,推动了中心化数据平台和职责的普及。2023年Gartner中国CIO调研显示,80%的中国受访者依赖中心化IT部门来提供IT架构能力、数据、网络安全标准和政策。
过去八年间,数据中台及其“统一数据、统一服务、统一身份(One data, one service, one ID)”理念的广泛采用,推动了中心化数据平台和职责的普及。2023年Gartner中国CIO调研显示,80%的中国受访者依赖中心化IT部门来提供IT架构能力、数据、网络安全标准和政策。
然而,中心化IT放大了两个问题:IT无法快速展示数据平台投资的业务价值,IT对高速变化的业务需求的响应较为缓慢、被动。关于是否采用数据中台/数据网格(Data Mesh)的许多争论,实际上都指向一个更为根本的问题:企业的数据分析平台和职责,适合怎样的中心化/去中心化程度。
中国企业机构在数据驱动转型中很难兼顾的两个需求,是数据和分析(D&A)的过程敏捷性和成果可靠性。为此,中国D&A领导者应采用混合式分析平台及其配套计划,成功实现由数据驱动的机构转型。
根据企业机构需求确定中心化程度
Gartner定义了数据和分析旅程的三个阶段:后企业数据仓库(EDW)阶段、逻辑数据仓库(LDW)阶段和数据编织阶段(见图1)。
图1:从企业数仓向逻辑数仓和数据编织的演变
与北美和欧洲相比,亚太和中国由于存在更大的行业差距、地域差距和其他影响因素,企业机构的数据分析成熟度差异更大。除数据分析成熟度之外,企业业务组合的多元化程度、行业竞争激烈程度等很多因素也影响着数据和分析职责的中心化程度。
D&A领导者应全面评估企业机构的数据分析成熟度和相关其他因素,确定最佳适用原则以及优先度最高的数据分析任务。
运用Gartner双模概念进化数据分析平台
除了涉及混合数据分析原则外,另一个关键而困难的任务是在细粒度层面上实现业务线和IT之间各项技术权责的最佳平衡。“业务部门对数据治理项目的参与度有限”和“分析交付成果等待时间过长、业务满意度低”等负面评价,是平衡失调的典型迹象。
IT拥有的企业数据仓库/湖和业务线拥有的数据集市/沙箱,并不互相排斥。两类平台有各自适用的数据分析用例,可通过Gartner双模概念进行区分。
双模IT旨在为两种IT工作负载实施不同的交付策略:
? 模式1:传统模式,强调可靠性、安全性和准确性,通常是中心化的。
? 模式2:探索模式,强调敏捷性和时效性,通常是去中心化的。
在数据和分析领域,模式1用例优先考虑数据质量、数据安全和数据可复用性,而不是敏捷性。这些用例应在中心化数据分析平台上交付,遵循严格的数据治理规则以及由中心化IT部门主导的详细测试流程。
模式2用例具有探索性和时效性,其洞察提供时效性优先于数据治理标准。应用/结果可在原型开发环境中交付,使用户能在有限的IT参与度下灵活完成探索和调查。根据数据敏感度和隐私级别,部分新的源数据可绕过数据仓库/数据湖,直接采集到目标应用或数据集市中。
持续调整数据分析角色和职责分配
随着技术架构的发展,不同数据分析角色的责任也应不断变化,以适应各类用例的不同价值偏好。在复杂的用例中,数据工程、数据治理、报表/应用交付等端到端任务通常由不同的部门完成。2023年Gartner中国CIO调研显示,对于“制定企业数字变革愿景时面临的主要困难”这一问题,得票最高的四项有三项与跨部门协调有关,这反映了IT和业务部门之间的责任不匹配。
原则上,与数据基础设施关联较为紧密的任务,如数据获取和元数据变更协调,应由IT集中管理。与洞察消费者关联较为紧密的任务,如BI报表交付和自助服务分析,则应更多地由业务端参与或由业务领导者负责。
用例责任分配不当,会造成预期价值偏好与现实情况不匹配,进而导致业务价值稀释。D&A领导者应不断调整责任归属,使之符合企业机构的数据分析成熟度、数据分析平台发展进度以及新的数据分析用例模式。
免责声明:本文为转载文章,转载此文目的在于传递更多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请联系小编进行处理。
推荐阅读:
第102届中国电子展—众多集成电路优质企业“大放异彩”
模拟开关用途和基本操作
如何验证高压放大器的性能好坏呢
使用电荷泵驱动外部负载
适用于热插拔应用的具有导通电阻的高效 MOSFET