利用UDW构建企业级数据仓库和BI系统
发布时间：2021-01-12 08:38:19 所属栏目：大数据 来源：网络整理
导读：背景 随着大数据应用的发展与普及，越来越多的企业认识到企业运行中所产生数据本身也是一种高价值资产。并且，商业智能在企业的经营与决策中所扮演的角色，既可以是操作层中的数据指导，也可以是战术层与战略层上的决策顾问。 商业智能——即Business Intell
|
产品运营分析：产品存量、增长率、数据量等 数据源
问题分析数据源来源多数据有来自业务数据库，有来自CMDB数据，有监控数据，还有日志系统里面的数据。 数据格式多样化除了结构化数据，还是半结构化数据，还有json格式的数据 即时查询多70%以上为临时性的统计分析，很多需求无法提前预知。 产品运营数据平台不统一各个产品各自管理自己的运营数据、解决方案各自不同（Hive、MySQL、Mongodb、Elasticsearch等），管理复杂。 基于UDW的方案如下图所示，是基于UDW数据仓库的一个解决方案架构图。
多数据源的数据导入通过mysql2udw工具，定时增量的把业务数据导入到UDW；通过rsyslog把日志系统、监控系统的数据实时同步到Kafka，每隔一分钟把Kafka中最新的数据进行加工处理，然后导入到UDW中；CMDB里面的数据定期dump成CSV文件然后导入UDW；各个业务产生的运营数据通过UDW接口实时的写入UDW。 JSON格式数据UDW已经支持JSON数据类型，可以在创建的表格的时使用JSON格式类型，很方便的处理JSON类型数据,如下所示。?
（编辑：核心网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
