现场直播|民生银行资深高级工程师 陈显义：《分布式核心运维体系建设》

下面是我们数据中心根据方法论的指导，我们自己创建了分布式核心的运维体系，我们把它叫做四化建设。分为运维管理集中化，运维操作自动化，运维监控可视化，运维分析智能化。这跟郝处长前面讲到的可视化也有很多的相似之处，我们首先来说其中的一个叫管控平台，也是运维管理集中化，我们对分布式系统进行集中管控管理的一个最主要的平台，它主要是面向我们系统的维护人员，主要包括配置管理、服务管理、作业管理和数据管理等模块。

我们使用了大量的开源软件，包含这八个主要的组件，是我们运维人员自己开发的，而且是我们平常对分布式核心系统运维的时候使用最多的工具。另外我们对数据库做了分库分表，提供了这种弹性的扩展能力，但是我们数据的查询是通过自主研发的一个工具CDAL来实现数据的集中化统一查询管理，我们自主研发的这个工具CDAL我们也申请了专利。我们的集中监控平台是中国民生银行科技应用系统的重要监控工具。这是我们分布式的DevOps平台，我们通过它来实现开发和运维一体化的部署，这是我们运维部署的实时流程图。

另外我们也实现了自动化，这是总揽，通过它我们可以很直观地判断出总体的运行情况。这是我们应用的批量部署。我们通过分布式这种架构，实现了多数据中心、多活的这种部署，但是我们平常做这种自动化切换以及这种切换，我们原来集中式的那种架构和方法已经不太适用了，所以我们把很多技术做了整合，实现了不同数据中心、不同机房之间的一键自动化切换。

交易监控平台是实现我们可视化的交易监控，包括交易量、响应时间、成功率、响应率、支持多个维度、多层次的交易分析。全景运维是我们运维团队的一个小伙子我们一块根据我们经常遇到的需求来开发的，我们分为三步，第一步看全景，展示了民生银行所有科技数据中心的系统，我们把它分为三个指标级，系统间的调用关系、系统交易量以及我们可以实现系统点击下载，进去查看每个系统的健康情况。针对所有系统的情况，哪一台系统如果有问题或者出现了告警之类的，我们都会这个图中通过红色的高亮提示出来，这是我们全部的系统所有的交易量。

前面我们看了全景，我们第二步通过系统里面点击下载来查自己，通过性能和交易量的分析可以查出我们系统自己本身的健康状况是什么时间和历史数据的交易量对比，都可以直观地看出来。

第三步，我们叫追别人。我们全景运维通过统一的流水号从前到后串联起来了，整个提供端到端的这种服务，所以我们叫它追别人。追别人，我们可能前面讲过了冰山下面，我们有这种交易的很多困难和难点。我们一笔3秒钟的交易可能路过了民生银行7套系统，每一套系统里面大家看发了多长时间，总共3秒钟，每一套系统每一步在哪、花了多长时间，我们可以通过这个很直观的看出来。通过交易的调用关系和分析，我们不用在运维团队之间一个问题转来转去了。

我们同时实现了架构的在线可查，我们叫它云图系统，前面全景运维里面展现出来的每一个点、每一个系统的架构，我们在这里都可以在线的把它查出来。这是我们云图系统里面分布式核心的系统架构，我们在这个架构展示出来，在各个数据中心它的系统的运行的健康状况，因为它跟我们集中监控平台实现了数据共享，实时地可以展现出系统告警、交易量等等。

日志在分库分表之后也做了集中化的处理，我们叫做它一眼清平台，通过这个平台把各个分库里面的日志做集中化的分析和处理，我们系统里面的问题可以通过集中的这种查询、分析。我们有了这个一眼清平台之后，可以把所有的日志聚合起来，轻松的可以面对上百台服务器。

最后一个是我们运维分析智能化里面的海链系统，因为我们分布式系统做了微服务的这种调整，各个组件分布在不同的服务器上，或者各个组件分布在不同的机房之间。我们单个交易有问题之后可以通过海链系统把每一个步骤、每一个技术组件都可以查询出来，哪一步调用了哪些，都可以通过这个展示出来。

通过这些，我们分布式核心系统建设方向就实现了提前的掌控，实现了对问题的精准定位，实现了防患未然，实现了对问题分析的快速响应。通过四化建设，我们实现了整个科技系统的全面掌控，为我们民生银行科技战略的转型提供了有力的支持。

我的演讲完了，谢谢大家！

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!