亚马逊云科技数据分析能力介绍

作为亚马逊云科技的高级咨询合作伙伴,上海音智达信息技术有限公司(以下简称音智达)凭借多年在数据分析领域的方案实施经验,帮助客户在亚马逊云上从批量数据及流式数据采集、数据湖和数据仓库的建设到设计和实施数据分析应用,以及数据治理等。音智达不仅利用亚马逊云服务,通过信息化手段,为客户解决工作场景中关于数据的痛点问题,赋能企业经营,还为客户未来数字化转型之路打下了坚实的基础。

Volvo是一家国际知名的整车制造企业。虽然这些年,客户在中国的业务增长迅速,但仍面临着一些挑战,如数字化转型的要求,需要企业能根据数据来分析和判断市场的形势、经营效率等。
因此,Volvo亚太决定采用在亚马逊云上搭建数仓平台的解决方案,利用Amazon EMR集群的强大计算能力,对数据进行清洗和转换,利用Amazon Simple Storage Service来存储经不同程度清洗和规整后的中间逻辑层数据,最终将维度建模后的数据加载到Amazon Redshift数仓服务中,利用它的良好性能,为前端的BI报表和数据分析应用提供快速的并发查询能力等。
此外,方案的亮点不仅在于利用亚马逊云科技服务快速构建数仓平台,还利用亚马逊云科技 Glue服务建设Volvo的企业的统一元数据管理平台。此平台是建立在亚马逊云科技 Glue的Data Catalog功能之上,利用亚马逊云科技 Glue的Crawler程序自动爬取Amazon Simple Storage Service、Amazon Redshift上的数据Schema。另外,为了建成企业的统一元数据平台,还实现了跨账户收集和分享元数据。
通过此项目的建设,Volvo的报表制作效率得到大幅度提升,这不仅表现在报表生成的速度上,还体现在报表的数据质量上,最终让数据分析真正实现为企业决策赋能的目标。

拜耳是一家全球知名的医药和医疗保健的研发生产企业。随着拜耳在中国大陆地区的业务不断扩大,企业越来越感觉到数据分析在经营决策中的重要性,特别是对销售数据的分析。此外,客户也认识到公有云平台的技术优势,因此希望在云上搭建统一的数据平台来汇聚和处理企业内部的数据。

正是基于这些初衷的考量,拜耳的Crop Science部门决定采用音智达的方案在亚马逊云上分别建设数据湖和数据仓库。利用Amazon Simple Storage Service的低成本数据存储,搭建数据湖,将源数据抽取过来并统一存储。利用Kettle工具进行数据的转换,在数仓Amazon Redshift中根据数据清洗和规整程度,分别形成分层的数据逻辑存储,如STG、ITG、EDW和DM层。然后,通过Tableau等BI工具,形成可视化报表、仪表板以及其它数据分析应用等。

此项目的价值在于,不仅为客户打造了一个云环境的数据湖和数仓平台,将业务数据汇聚在一起。还在数据仓库中对原始数据通过不同程度清洗和转换,建立统一的数据模型。这样,不仅解决了数据冗余问题,使得可分析的数据有更好的一致性,数据质量得到很大的提升,最终可以更好的为数据分析应用服务。

+ 案例1:(Volvo)

Volvo是一家国际知名的整车制造企业。虽然这些年,客户在中国的业务增长迅速,但仍面临着一些挑战,如数字化转型的要求,需要企业能根据数据来分析和判断市场的形势、经营效率等。
因此,Volvo亚太决定采用在亚马逊云上搭建数仓平台的解决方案,利用Amazon EMR集群的强大计算能力,对数据进行清洗和转换,利用Amazon Simple Storage Service来存储经不同程度清洗和规整后的中间逻辑层数据,最终将维度建模后的数据加载到Amazon Redshift数仓服务中,利用它的良好性能,为前端的BI报表和数据分析应用提供快速的并发查询能力等。
此外,方案的亮点不仅在于利用亚马逊云科技服务快速构建数仓平台,还利用亚马逊云科技 Glue服务建设Volvo的企业的统一元数据管理平台。此平台是建立在亚马逊云科技 Glue的Data Catalog功能之上,利用亚马逊云科技 Glue的Crawler程序自动爬取Amazon Simple Storage Service、Amazon Redshift上的数据Schema。另外,为了建成企业的统一元数据平台,还实现了跨账户收集和分享元数据。
通过此项目的建设,Volvo的报表制作效率得到大幅度提升,这不仅表现在报表生成的速度上,还体现在报表的数据质量上,最终让数据分析真正实现为企业决策赋能的目标。

+ 案例2:(Bayer)

拜耳是一家全球知名的医药和医疗保健的研发生产企业。随着拜耳在中国大陆地区的业务不断扩大,企业越来越感觉到数据分析在经营决策中的重要性,特别是对销售数据的分析。此外,客户也认识到公有云平台的技术优势,因此希望在云上搭建统一的数据平台来汇聚和处理企业内部的数据。

正是基于这些初衷的考量,拜耳的Crop Science部门决定采用音智达的方案在亚马逊云上分别建设数据湖和数据仓库。利用Amazon Simple Storage Service的低成本数据存储,搭建数据湖,将源数据抽取过来并统一存储。利用Kettle工具进行数据的转换,在数仓Amazon Redshift中根据数据清洗和规整程度,分别形成分层的数据逻辑存储,如STG、ITG、EDW和DM层。然后,通过Tableau等BI工具,形成可视化报表、仪表板以及其它数据分析应用等。

此项目的价值在于,不仅为客户打造了一个云环境的数据湖和数仓平台,将业务数据汇聚在一起。还在数据仓库中对原始数据通过不同程度清洗和转换,建立统一的数据模型。这样,不仅解决了数据冗余问题,使得可分析的数据有更好的一致性,数据质量得到很大的提升,最终可以更好的为数据分析应用服务。



Copyright 2013 Advanced Service. All rights reserved. 沪公网安备 31010502001490号 沪ICP备12049665号-9





Copyright 2013 Advanced Service. All rights reserved. 沪公网安备 31010502001490号 沪ICP备12049665号-9