何佳佳：民生银行基于开源的运维实践

2018年3月21-22日，由中国信息通信研究院主办、中国通信标准化协会支持的"OSCAR云计算开源产业大会"在国家会议中心举行。

银行业云计算发展论坛作为大会分论坛之一，于22日下午召开。

李晓枫：下面请民生银行的技术专家何佳佳给大家分享民生银行基于开源的运维实践。开源体系坑多，所以才把运维和开发理念合在一起，出了新词。既然你要用开源建私有云，绕不过开源，我们听民生银行怎么介绍，请。

民生银行技术专家何佳佳带来的精彩演讲题为《民生银行基于开源的运维实践》。

以下为演讲实录:

何佳佳：各位领导、专家，大家好，我的分享主题是民生银行基于开源的运维实践，其实前面几位领导和专家都已经在云计算，包括开源方面的发展做了一些指引方面的描述，包括蓝图方面的介绍。我更多会从底层运维支撑角度来看，怎么去做云计算，包括开源的支撑。

我是03年参加工作，基本上到现在刚好分上下半场。上半场在传统制造业，做过几乎绝大部分IT各方面的工作，所以IT各个领域基本都有一定了解。下半场加入民生银行，基本上做核心系统运维，包括关键组件的运维。这两年更多把精力偏向工具平台建设，包括ITIL流程，DevOps平台建设，现在民生银行在做实践落地。

民生银行是比较特殊的银行，它是第一家民营性质全国性股份制银行，它发展非常快，21年的历程从最开始资本金10几亿，到现在3700亿的发展速度。它有一个特点，业务与需求追求短平快，要效果，以结果为导向。所以，在这种情况下，我们会面临哪些挑战呢？刚才提到业务的高速发展情况，有自己的业务特色，包括它的灵活性、多样性。再加上最近几年互联网金融模式，对我行的冲击比较大，不过民生这方面应对也很及时。比如在余额宝出来之后很快对标出来如意宝。在这种业务发展情况下，从业务架构来讲调整速度非常快，从而带动底层应用架构，甚至技术架构不停的转变和演进。同时对技术迭代要求非常高。从以前单一的开发运行框架到现在多样化的框架，各类新技术层出不穷，比如大数据、人工智能，机器学习等等。当然，比较重要的是从封闭商业软件模式到基于开源模式的转变。有一个数字可以证明这些变化量，我们2017年全年所有应用变更超过1万次，而且还在递增。

从信息科技角度来看，2000年左右我们主要是单体应用架构。2012年到2013年之间，随着“新”核心项目上线，改造为了SOA架构，可以从架构图看到逻辑和应用架构的复杂性。这两年有更大的跨度，分布式和微服务化的改造，和新技术新架构的高速演进，同时通过刚才提到的那些新技术会去引领业务，包括应用这块的技术革新，包括的业务革新。比如，2015年开始我们有一个和发改委合作的金融云科研项目，经过2年的研究积累，我们设计实施了分布式和微服务架构方案，上线了分布式的核心系统。该系统主要采用分布式架构，也就是我们当时做的金融云科研项目的落地化。另外，新零售信贷体系，利用新兴的大数据智能分析等技术，实现了决策引擎，反欺诈，贷后监测等功能，给业务带来很大的业务革新，诸如此类的创新还有很多。

当然，这也给我们的运维带来了一些难题。从应用架构演进到技术迭代，速度是越来越快的，而我们曾经的运维支撑能力发展相对会比较缓慢。这其中存在两大难题，一个是传统的运维模式，难以适应支持高速变化的应用与技术，导致运维不停的被动响应需求。另外一个是封闭的商业软件工具依赖，需求受限，转型缓慢不灵活，变相增加了运维的被动性，支撑能力因而发展缓慢。针对这些问题，我们也在思考如何破局。

首先，我们把视角转向运维模式。我们最早的数据中心是传统的组织架构，会建立很多个专业领域的中心，实现中心化管理。岗位会有明确职责，岗位之间有一定的隔离性。工具层面，包括流程层面，会和应用运维层面有比较清晰的定义。这种机制，是当时的一种比较理想的情况，但不一定适合不断变化的环境。那怎么去改变它呢？我们考虑组织机构的“云”化。主要从三个方面解决，首先是虚拟化，我们从最痛点的应用运维入手，建立虚拟的运维小组，把岗位做业务相关性聚合分组，化整为零，通过虚拟小团队提高灵活性，同时鼓励跨组跨中心的轮岗。在此基础上，建立了两个跨中心的虚拟组，一个是流程小组，一个是工具与平台小组。流程组会跨中心设立流程负责人，整体设计把控各种IT流程，包括问题、事件、变更等。工具与平台小组也是多中心协同，会从实际应用场景出发，全局考虑怎么构建我们的工具和平台。在这种虚拟化划分的基础上，从而做到整体扁平化管理，统一资源调配，统一工作流程，实现更有效地协同合作能力，实现全局信息共享，应用场景与工具、流程的深入融合设计。

工具和平台层面，我们参考AIOps的理念和漠视，转化设计了一套自己的运维发展蓝图。核心基础能力层面是我们的基础，主要由系统管理中心这边专门的大数据平台团队独立设计，实现了基于开源的大数据基础架构。另外，这个团队基于开源实施了日志技术平台。中间逻辑平台层包含三个方面。一个是监控，主要基于开源Zabbix搭建监控体系；自动化与DevOps部分，以前更多是使用商业软件，逐步以开源的Ansible，Jenkins等软件为后台，做上层的封装和整合。两者通过IT服务管理进行交互与流转。最外层是应用场景层面，会从应用运维角度看具体的痛点或需求，面向消费场景来驱动设计。我们在开源方面还是比较积极的，发展较快的。比如大数据平台团队现在不光是在用开源，而且开始贡献社区。慢慢的我们就会从购买使用封闭的商业软件转向商业软件与开源的融合发展。下边简单给大家介绍这几个层次的情况。

核心基础能力主要是指大数据基础架构，设计实现了三大集群，分计算集群、非计算集群和实时计算集群，三个平台各司其职，分别服务于批量数据任务、联机查询以及实时消息和流处理。这么多资源怎么管控是一个很大的问题，大数据管控平台是我们团队专门自主研发的，用于支撑大数据基础架构运行。平台层面实现界面逻辑和执行层Ansible的封装。支持项目管理、功能管理，同时还有批量作业发起，资源池使用监控跟踪等功能。日志技术平台，主要是基于ELK技术栈构建，我们建立了全行的整体日志视图，总行和分行的分层体系结构，通过平台统一管理所有的日志。包括日志收集、传输、存储、分析、可视化，都在这个大平台里面完成。

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!