攻克三大难点,亚马逊云科技助力企业实现数智融合
C114讯 5月19日消息(林想)福布斯调研报告显示,一个数据驱动型的公司,在收入会增加20%的同时成本会减少30%,可以真正做到双赢。然而企业在实现这一目标的过程中会遇到各种艰难险阻,例如数据和机器学习分而治之,数据处理能力不足等。
在全球已帮助十万用户通过利用大数据和AI技术实现业务快速发展的亚马逊云科技认为,企业应在云中打造统一的数据基础底座,实现大数据和机器学习的“双剑合璧”,不仅可以重塑企业洞察,还能为企业发展提供新动力。亚马逊云科技以“云、数、智三位一体”服务组合优势,坚持授人以渔,助力企业实现数据驱动转型成功。
企业数智融合面临三大难题
“企业数据如果要得到充分发挥,很多企业会选择成为数据驱动型的组织这条路,通过业务产生的数据反向驱动公司的战略,驱动公司的执行。而在云中实现数据与智能的大融合将成为企业加速创新的引擎。”亚马逊云科技大中华区产品部总经理陈晓建如是说。
如今,数据已经成为企业最重要的资产,同时还有许多数据价值还没有得到充分利用。企业要想摆脱这一现状的最有效的途径就是做到“数智融合”。
目前,越来越多的公司和企业从组织架构、人员能力、项目实施和工具支撑层面开始转型。
在陈晓建看来,企业的“数智融合”一定是将数据(大数据技术)和智能(机器学习技术)进行融合和统一。
“数、智统一与融合可以更加高效地围绕数据构建和实施项目,使得数据在两者之间无缝流转,成员快速具备相关能力,推动公司企业数字化转型迈向新的高度。然而企业的数据分析和机器学习融合并非一蹴而就,目前还存在三大难点。”陈晓建指出
首先是数据和机器学习分而治之,数据及技术孤岛制约敏捷迭代。其次,数据处理能力不足。在生产制造企业,机器学习帮助客户对产品售后维修需求进行预测,由被动响应变为主动规划。但由于不具备足够的大数据处理能力,模型开发成功后 ,不能够有效收集处理海量的运营数据,致使预测不准确,无法达到预期业务目标。最后,是数据分析人员参与度低。现实情况经常是,模型在实验环节效果良好,但实际使用中却不尽人意,实验环境只是对真实环境的简单模拟,生产环境要复杂得多。
因此,陈晓建认为,企业应在云中打造统一的数据基础底座,实现大数据和机器学习的“双剑合璧”,为企业发展提供新动力。
企业在实现数智有效融合的途径方面,首先可以建立统一融合的治理底座,如数据质量、数据权限、数据开发、数据工作流、可视化,其次,大数据和机器学习之间应该是高效充分的双向互动,互为支撑,互为因果,形成正向循环。此外,企业需要构建三大核心能力:统一数据共享,让数据资产化,打破数据孤岛;统一权限管控,因为只有具备完善的权限控制能力,放心的让数据在不同的业务系统之间流转;统一开发及流程编排:融合端到端的大数据和机器学习任务,提升整体的开发效率。
打造云、数、智三位一体服务组合优势
截至目前,亚马逊云科技已帮助全球数十万用户通过利用大数据和AI技术帮助业务发展,这其中包括宝马集团、淄博热力等众多知名企业。那么亚马逊云科技赢得客户信任的秘密武器又是什么呢?
那就是亚马逊云科技以“云、数、智三位一体”服务组合优势,打破数据及技能孤岛、机器学习由实验转为实践、赋能业务人员探索创新。亚马逊云科技大中华区产品部技术专家团队总监王晓野指出,智能湖仓架构五大核心优势理念延伸出在云中实现大数据与机器学习融合的实践路径,为大数据和机器学习打破数据及技能孤岛,机器学习由实验转为实践,赋能业务人员探索创新。
一是构建云中统一的数据治理底座,打破数据及技能孤岛。亚马逊云科技能帮助客户构建统一的数据治理底座,实现大数据和机器学习的数据共享,数据权限的统一管控,以及两者统一的开发和流程编排。云中统一的数据治理底座不仅能提升大数据和机器学习的高效融合,还能减少大数据和机器学习重复构建的工作,并且显著降低成本。其中, Amazon Lake Formation推出诸多新功能,实现了数据网格跨部门的数据资产共享,以及基于单元格的最细粒度的权限控制机制。Amazon SageMaker Studio可一站式地完成数据开发、模型开发及相关的生产任务,该服务基于多种专门构建的服务,如交互式查询服务Amazon Athena、云上大数据平台Amazon Elastic MapReduce (Amazon EMR)、云数据仓库服务Amazon Redshift、Amazon SageMaker等,为大数据和机器学习提供统一的开发平台。
二是助力机器学习由实验转为实践,为机器学习提供生产级别的数据处理能力。机器学习项目成功的关键是对复杂的数据进行加工和准备。亚马逊云科技提供多种灵活可扩展、专门构建的大数据服务,帮助客户进行复杂的数据加工及处理,应对数据规模的动态变化,优化数据质量。其中,Amazon Athena能够对支持多种开源框架的大数据平台,包括Amazon EMR、高性能关系数据库Amazon Aurora、NoSQL数据库服务Amazon DynamoDB、Amazon Redshift等多种数据源,对这些数据源进行联邦查询,快速完成机器学习建模的数据加工。 以Amazon Redshift、Amazon Managed Streaming for Apache Kafka (Amazon MSK)和 Amazon EMR 为代表的无服务器分析能力,可以让客户无需配置、扩展或管理底层基础设施,即可轻松地处理任何规模的数据,为机器学习项目提供兼具性能和成本效益的特征数据准备。
三是让数据分析智能化,赋能业务人员探索创新。亚马逊云科技还不断提供更加智能的数据分析服务,赋能业务人员进行智能分析、模型效果验证以及自主式创新。例如,在日常分析工具中集成机器学习模型预测能力,其中深度集成机器学习Amazon SageMaker模型预测能力的Amazon QuickSight 、在分析结果中添加基于模型预测的Amazon Athena ML,可帮助用户使用熟悉的技术,甚至通过自然语言来使用机器学习。亚马逊云科技还提供如Amazon Redshift ML、可视数据准备工具Amazon Glue DataBrew、零代码化的机器学习模型工具 Amazon SageMaker Canvas等服务,让业务人员探索机器学习建模。
王晓野最后指出,“亚马逊云科技坚持授人以渔,通过面向快速算法原型的数据实验室的应用科学家,面向生产精度模型指导的机器学习解决方案实验室,以及提供端到端咨询及交付的专业服务团队的大数据分析和机器学习的专家,上述各种分工的专家一起,在客户探索机器学习与大数据融合挑战时,共同探索和学习企业数据驱动转型成功路上的宝贵的实践经验。”