构建数据处理“小窗口”、实现渠道掌控“大作为”| 记渠道监控中
|
副标题[/!--empirenews.page--]
吴逊 ? ? ?浙江移动业务架构师 建设背景 ? 在当下移动互联网高速发展的时代，企业以前的金字塔组织结构，已经不能快速响应市场需求，移动互联网时代，商业流的加速，使得用户需求瞬息万变，而企业的任何市场行为都需要围绕用户需求开展，这要求企业具有快速应对市场的能力。 改变这一现状的有效措施是，将金字塔组织结构转变为扁平化组织结构，即减少组织管理层级而加大管理幅度的一种组织结构形态；同时组织结构扁平化也对企业决策层提出了更高的要求：即在进行市场经营过程中，需要及时了解瞬息万变的市场变化。 在这一时代大背景下，中国移动浙江公司急需一扇窗口，一个数据展示体系，在“渠道为王”的行业竞争中，将渠道基础信息、运营分析、现场管理、计件薪酬管理、资源整合等功能进行整合，同时具备统一视图、全面覆盖、数据实时监控等特点，对全省1300余家营业厅、40000余家社会渠道网点的主要业务核心指标进行集中展示和监控，对全渠道全业务进行跟踪，通过立体交互的屏幕向企业内外部人员全面了解和展示自己的核心竞争力； 由此渠道监控中心大屏展示系统应运而生。 建设特点和难点 ? 渠道监控中心大屏展示系统建设初期就需要立即直面的三大特点：“时间窗口紧、技术难度大、迭代变更多” 特点一：建设意义重大，时间窗口紧 从项目筹划、总经理办公会决策到启动建设、联调测试以及投入生产运营，前后只有3个月左右的时间，并且由于涉及自营渠道、社会渠道、电子渠道以及全渠道的不同指标数据、不同统计维度，以及不同展现方式等，如若按传统方式“需求分析－确认－方案设计－研发－测试－交付”等环节进行建设，预计工期将持续至16年9月。 难题一：如何在有限的时间内，达到项目预期制定的建设目标和效果？ 信息技术部打破传统团队分工壁垒，建立了以功能为导向的资源集中管理方式，引入“产品经理”角色和“敏捷开发”模式；在需求调研以及确认过程中，直接面对市场部相关需求，并且结合大屏展示效果的价值目标——如体现浙江公司渠道运营专业化、组织机构扁平化、运营考核标准化等；集中统一展示KPI指标和渠道考核指标的实际完成情况，以及各地市、县市或具体网点的分层分级实际运营情况，对需求进行优先级排序。 由于渠道监控中心大屏展示系统不论从业务还是技术层面来说，都是互联网思维下浙江公司一个全新的尝试，在整个需求调研和设计过程中，不断遇到很多用户展示效果不确定和技术实现的难题等因素；信息技术部通过采用“产品经理”在用户研究时常用的十二种可用性原则——有效的系统反馈、符合用户认知、用户自由控制以及一致性等，以“用户故事”简化需求环节，把重要的用户需求拆分成琐碎的“用户故事”（一句话或者一个简短的标题），从用户的角度来描述用户渴望得到的功能；结合敏捷软件开发Scrum这一经验性的过程，进行快速迭代、增量交付、持续的检查和调整，频繁交付可见成果（如版面设计线框图、页面高保真效果图以及可操作的测试DEMO等），并通过定期计划会议，提前识别和评估可能出现的风险，从而合理地估算制定风险消解计划，逐步确认和实现业务部门的真实需求，最终在规定时间范围内达到预期目标。 特点二：海量数据处理，技术难度大 渠道监控中心大屏展示系统需要承载信息展示、指标监控、视频监控、视频会议、讲解演示等5大功能模块；同时通过该系统，需要实现基础数据查询、考核进度跟踪、量化薪酬展示、宣传联播投放、远程巡厅监控以及在线培训等功能。 难题二：如何及时、准确地在大屏系统上展示相关数据信息，满足全面且高效的数据处理要求？ 目前大部分系统是通过FTP采集外部文件加载到HDFS，通过Hive读取HDFS文件进行清洗、转换等处理后写入HDFS文件，最后通过数据库客户端将HDFS文件加载到数据库中，过程中需要多次读写磁盘文件导致数据效率慢，无法支撑大批量的数据实时传输。 渠道监控中心大屏展示系统通过Flume实时监控采集文件加载到HDFS，之后SparkSQL平台做数据处理，处理后的结果通过适配的高性能内存加载组件并行加载到数据库，提高批量数据的交换效率；并且引入消息服务引擎、终端服务引擎和实时查询引擎等核心组件，通过OGG与主流的分布式存储处理模式，采用kafka+流处理（IBM streams）+内存数据库（redis）+消息通知的组合框架——通过kafka接入数据并进行数据缓存，采用ＩＢＭ streams实时计算数据，汇总数据在存储在内存数据库中，同时汇总数据通过消息通知组件给对应展示大屏系统，通过专业流计算处理引擎可通过硬件扩容的方式快速支撑高并发的扩展，解决高并发代码开发难及硬件性能扩展难等问题。 该技术是当今世界上实时分析海量大数据性能最好的技术之一，能确保系统拥有轻松地分析和理解互联网级信息的能力，实时敏捷地反应日常渠道信息数据的变化。高效、实时计算的系统最终能使展现在大屏上的全渠道各统计指标“全”、“快”、“准”。
为了让参观者获得良好的观感体验，渠道监控中心大屏展示系统前端采了用HTML5、CSS3技术，并使用Echarts、Highcharts和开发自定义组件结合的方式以便于准确的展示出指标的特性；使用Ajax技术，以便于后台快速响应页面请求，获取最好的展示体验。应用层则使用传统的J2EE架构，具备了很好的稳定性。数据层，可以支持Oracle、 DB2、gbase等多种数据源。 特点三：快速响应需求，迭代变更多 由于渠道监控中心大屏展示系统有别于其他系统一次性交付的特点，具有其自身建设的特殊性——即从上至下逐级进行审查验收，每级每次审查之后均会提出不同的修改意见或者建议。 难题三：如何才能及时满足各级审查要求，快速实现系统代码更新，发布上线，同时保证系统运行的稳定性？ 在系统建设过程中，信息技术部以即时通讯软件、电话、沟通会、UI原型确认等模式代替原先的集中调研和文档评审方式；从最终目标和高优先级的需求出发，尽早地交付，把可操作的系统页面直接展示给业务部门，从而获得及时反馈，验证我们对需求的认知的准确性，同时也有利于业务部门对原有需求提出变更，实现迭代开发、增量交付；同时在开发过程中，通过持续集成，频繁地（一天多次）将代码集成到主干，反馈代码问题。每完成一点更新，就集成到主干，可以快速发现错误，定位错误也比较容易。持续集成的目的，就是让产品可以快速迭代，同时还能保持高质量，减少生产环境因代码原因带来的反复修改，保证系统运行的稳定性。 建设意义 ? 渠道监控中心大屏展示系统的建设为中国移动浙江公司对全渠道的业务掌控提供了一个便捷、直观的入口；为各个渠道的运营监控提供了个集中的展示平台；为后续运营数据的实时流计算方案kafka＋streams＋redis的模式奠定了基础。 渠道监控中心大屏展示系统拥有更加规划的信息整合能力和更好的实际业务展示能力，绝对性地全面支撑渠道运营能力，助力于中国移动浙江公司业务工作的长期良性发展。
（编辑：核心网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
