网易全链路大数据产品发布,可为企业节省20%成本
企业数字化转型的战斗正酣,释放数据价值成为企业当前的核心任务,大数据赛道上的选手们各出绝活,力求收获自己的金角银边。7月26日,2019网易云创峰会在杭州召开,网易大数据在会上发布了全链路大数据产品网易猛犸6.0,网易大数据总经理余利华表示,猛犸6.0通过整合全链路数据质量监控、全链路资产分析和全链路数据发现等一系列能力,解决了当前大数据实践中的各种痛点,使得企业的工作重心能够回归到数据分析本身,从而快速汲取数据的能量实现高效增长。
图:网易大数据总经理 余利华
网易猛犸6.0直击大数据落地五痛点
如果把数据价值比喻为山巅诱人的果实,那么摘取果实的路上往往是荆棘密布,这也是此前Hadoop、Spark等大数据技术备受关注的重要原因。网易大数据也凭借自身在大数据领域的技术积累,基于Hadoop打造了猛犸大数据管理和应用开发平台,完成了数据集成、任务运维、实时开发、离线开发等功能的开发,并于2018网易云创大会上发布。
然而,余利华指出,目前企业在大数据实践中仍然存在着五大痛点,包括指标口径不一致、数据重复建设、取数效率低、数据质量故障频繁和成本指数级增长等。他分享了一个指标口径不一致的真实案例:某客户分别在供应链系统、VIPApp和商品运营系统中查询某款产品的毛利,看到的是32%、28%、38%三个截然不同的数字,这给数据分析工作造成了极大的困扰。
这些困扰,直接导致了企业80%的工作都与数据分析无关。余利华认为,仅有Hadoop平台是不足以解决这些痛点的,企业需要全链路打通能力,而猛犸6.0的使命,就是提供全链路数据解决方案,赋能企业来应对挑战。
五大系统构筑全链路数据护城河
网易大数据此次发布的猛犸6.0,在此前的大数据平台产品基础上,提供了指标系统、数据服务、数据地图、数据质量中心、资产管理中心等全新的系统,所有这些系统形成了全链路大数据解决方案,能够支撑企业数据中台建设,保护企业的大数据之旅免受前述五大痛点的侵袭。余利华分别介绍了全链路“五大金刚”独特的软实力。
老大指标系统,猛犸6.0从业务口径、计算口径和数据来源三个层面着手,采用统一的管理规范,并引入审批机制,最终实现100%消除指标口径不一致,指标数量减少50%,同时理解一个指标的含义时间缩短80%。
老二数据服务,通过数据API、访问日志、授权认证、支持多种查询引擎、支持逻辑模型等加持,除了协助老大实现100%消除指标口径不一致,还消除了数据字段变更与应用的强绑定,通过建立数据产品到指标的链路追踪,明确了应用到表的访问链路,避免底层表暴露给数据产品。使得数据接入效率提升10倍以上。
老三数据地图,是破解不知道哪些数据可用、不知道到哪里查数据、不知道数据含义这“三不知”的一把好手,通过数据地图,企业可以告别取数低效的烦恼,快速搜数据、查数据,实现100%自助取数,取数效率提升可达300%。
老四数据质量中心,则是规避错误数据导致错误决策的行家。余利华分享说,某客户由于代码bug导致部分商品交易数据缺失,客户根据不完整的数据分析结果制定了背离实情的运营策略,造成了高达数百万的损失。他断言,70%的数据不可用都是由数据质量导致。猛犸6.0数据质量中心从数据稽查、质量度量,以及覆盖数据产品完整数据链路的全链路监控三个方面的努力,实现了99.8%的数据可用率——也就是在规定时间正确地产出数据,同时70%的数据不可用都被监控提前发现,故障修复速度也提升了100%——在此之前,90%的不可用是由数据使用方发现的,单次故障平均不可用时间则达到了6.5个小时。
老五数据资产中心,基于元数据中心的构建,通过资产分析、追踪数据价值,消灭低价值的资产,将成本节约20%以上,有效帮助企业实现成本管控。在成本的增长速度超过业务增长速度的企业而言,老五的能力可谓不可多得的及时雨。
五大金刚的能力,已经在网易考拉等复杂业务场景中得到验证。所以,五大金刚的发布,对于企业而言多了一个粉碎大数据落地应用五大痛点的手段,而对于网易大数据的市场竞争而言,同样也是构筑了一道难以逾越的护城河。
全链路大数据产品助力数字化转型
余利华强调,通过猛犸6.0,网易大数据完成了全链路打通能力,能够帮助企业客户实现全链路的数据质量监控、全链路的数据资产分析以及全链路的数据发现,从而让企业较为轻松地构建统一的、安全的、共享的企业数据资产体系,实现一切业务数据化,联通数据孤岛,驱动一切数据业务化,助力数字化转型,让数据产生价值。
“有了全链路大数据产品,企业可以将80%的工作投入商业分析,直接产生业务价值,而数据开发、数据治理只需占用20%的工作量。”余利华总结说。