11
22
33
1
首页>协同观察>致远要闻
致远要闻 媒体聚焦 市场活动

数据中台——技术架构

发布时间:2020-06-11 来源: 44 次浏览

数据中台
架构


致远分析云,作为致远协同平台的数据中台,能够提供面向企业业务场景的一站式大数据分析平台,采用大数据、移动互联网、人工智能等先进技术,支撑企业业务创新,随时随地透视经营,辅助企业科学决策,加速企业数据驱动转型变革。


致远分析云,基于Hadoop和Spark体系相关技术,融合数据采集、分析、存储能力,以Spring boot微服务形态对外提供服务。


分析云整体架构:


应用架构:


大规模数据管理的能力:


分析云拥有PB级大规模数据管理能力,支持穿透数据库、Hadoop、大规模MPP集群。可支持:

  • PB级结构化数据

  • PB级非结构化数据

可实现多样化海量数据的统一存储、管理和分析。



数据存储


Part 1


Hadoop技术已经经历了十几年的发展,而数据中台作为第二数据平面最重要的数据存储和计算平台,与Hadoop技术的融合越来越紧密,相辅相成,相得益彰。


  • HBase可以让数据中台保存海量数据;

  • Spark 使得数据湖可以更快的批量分析海量数据;

  • Storm,Flink,NiFi等使数据湖能够实时接入和处理IOT数据。


Hadoop本身更多的聚焦于数据的处理与应用,但是对于底层的数据存储工作则并未过多的关注。数据中台需要从数据存储、数据治理等方面继续发展。


许多企业通常忽略数据积累的价值,数据需要从企业的各个方面持续的收集、存储,才有可能基于这些数据挖掘出价值信息,指导业务决策,驱动公司发展。


数据中台解决方案实现数据集中存储与共享是基于Hadoop+Spark大数据解决方案和海量对象存储架构,实现万亿级数据可靠存储与高效分析。


使用一套数据存储资源池,可有效解决企业中的数据烟囱问题,提供统一的命名空间,多协议互通访问,实现数据资源的高效共享,减少数据移动。


数据集中存储与共享实际上是将存储资源池化,将计算和数据进行分离。当前仍然有不少人不能接受大数据的计算和数据分离架构,认为一旦采用分离架构,必然会导致性能的降低。


但实际上,分离后可极大降低存储成本,有效提高计算资源利用率,增强计算和存储集群的灵活性。


数据集成


Part 2


数据采集是构建数据平台的核心要素,致远分析云的数据采集层由日志采集和数据库数据同步两部分组成。

1、日志采集:是通过整合全员行为、流程、组织绩效、流程审批效能等数据埋点规范,建立一套高性能、高可靠性的数据传输体系,完成数据从生产业务端到数据平台的传输。数据传输体系既支持实时流式计算,也支持各种时间窗口的批量计算。

2、数据同步:主要是指数据从业务系统同步进入数据仓库和数据仓库同步进入数据服务或数据应用两个方面。致远分析云支持不同业务系统的各类数据源按批量或实时同步到数据仓库中。

数据不仅要存下来,更要治理好,否则数据中台将变成数据沼泽,浪费大量的IT资源。

平台化的数据中台架构能否驱动企业业务发展,数据治理至关重要。

企业中收集的数据或从其他行业中采集数据种类多样,格式不一,多数以原始格式存储,企业需要不断对这些原始数据进行整合加工,根据各业务组织、场景、需求形成容易分析的干净数据,尽可能多的让更多的人访问分析数据。

数据治理是个一系列复杂的工作,这里重点介绍下元数据的管理。

致远分析云解决方案为企业中海量的数据集提供了一套集中的元数据管理系统,提供全局的数据资源目录、完整的数据元数据描述、数据血缘关系,方便员工快速查找了解数据,更好的支撑数据分析,元数据管理异步的从数据服务中抽取元数据,尽量不影响原系统的运行。



数据应用


Part 3


层是绩效层,即重点关注的KPI指标。

随着企业的发展,每个阶段要解决的问题不同,每个阶段每个管理者所关注的指标也不同,这些指标需要我们时时关注,才能保证整个企业的良好运行。通过绩效层指标最容易发现企业存在的问题。


第二层是运营分析层,这层指标是企业的数据支撑。

对这层的指标我们要进行透视分析,深入分析,只有提前发现运营层指标的异常,才能提前预测到KPI指标的异常。通过经营分析层指标,我们可以找到问题产生的根源,才能对症下药,调整企业的管理。对企业进行调整后,又会反馈到运营指标上来,我们可以持续监控调整是否起到了预期的效果。


第三层是业务优化层。

我们要创新,要探索新的模式,就要有数据支撑。我们也可以尝试一些模拟分析。


数据中台中具有开箱即用的ERP分析模型,也可以借助业务模型设计器定义出更多的领域、行业模型。




系统架构



基于中国企业大多数中层经理以上人员的计算机实际应用水平,在方案应用设计上,应充分考虑用户的实际情况,可根据这些人员平时看报表的顺序,将各类相关联的报表串起来,形成有序化的分析思路,并加以连续展现,辅之以动态多维查询分析功能。

最终的展现效果为一种固定报表格式和固定路径的初级数据钻探方式和动态报表即席查询与多维分析的数据钻探方式的相结合应用。

系统应用架构核心设计思想为基于角色的多维度、多层级应用模型。主要包括:


  • 应用角色:系统可满足总经理、财务总监、营销总监、财务经理、营销主管、供应主管、数据分析员、系统管理员等角色的应用需求;
  • 数据类型:财务数据、分销数据、终端数据、采购数据、库存数据、综合数据;
  • 数据周期:日、月、季度、半年和年。报表形成时间,可根据企业不同管理需求和资料取数的难易情况而定;
  • 数据属性:即数据表现形式,分为静态统计类报表、指标类、监控类、分析类(动态分析类报表,图形报表)、决策类(如定价模型、量本利模型等)。

上一篇: 数据中台,真的是“新瓶装旧酒”吗?

下一篇: 数据中台——设计原则