工行分布式技术体系转型
来源：马国祥，工行分布式技术体系转型，2020年11月
银行面临的挑战
互联网金融业务量暴增：业务量增长迅速，热点业务频发，考验IT系统的弹性扩容能力和稳定性，如何应对“双十一”、“纪念币预约”？
前沿技术需求旺：人工智能、区块链、生物识别、5G、物联网...... 新技术日新月异。如何快速应用新技术，实现业务创新？
跨界融合势不可挡：行业跨界新生态，业务走向开发融合，IT架构需要由封闭走向开放。如何构建开放式的金融科技架构？
成本压力逐年加大：业务量迅猛增加，IT成本控制压力大。如何提升IT资源的利用率，提高利润率？
高性能：从单体集中式向分布式架构转型，实现性能容量突破
大容量：满足对大容量、高并发和突发峰值场景的需求
自主可控：建设开发平台银行业务系统，为大型主机应用下移开放平台提供有效的解决方案
灵活研发：应用系统分层逻辑，组件化、服务化，实现业务灵活创新，以及与新技术快速集成的能力
工行分布式体系发展历程
2014年：分布式架构技术预研
2015年：分布式服务及缓存试点，容器云上线
2017年：分布式技术体系初步形成，云计算 2.0
2018年：分布式技术体系全面推广
2019年：构建开放平台核心银行系统
多活数据中心路线的演进
集中式多活数据中心到分布式多活数据中心的演进
集中式：
1.冷备
2.热备
3. 异地灾备、交叉灾备
4/5.同城双活（AA/AS/AQ）
6.两地三中心、多地多中心
分布式：
7.【单数据中心】本地分布式
8.【多数据中心】异地灾备分布式
9.【多活动数据中心】同城双活（AA/AS/AQ）
10.【多活动数据中心】两地三中心（分布式）
11.【多活动数据中心】三地五中心 NewSQL
金融级分布式技术体系 —— 技术特点
体系完备、行业领先：覆盖银行核心业务体系，达到主流互联网企业的分布式技术水平
高性能、高并发：6万TPS，50ms响应时间
高可用、自恢复：99.999%，可秒级自愈
大容量、易扩展：快速弹性扩容；数万台主机集群处理能力
组件化研发、松耦合架构：服务化、应用分层解耦设计
可视化运维、服务精准治理：交易端到端闭环监控，故障秒级发现
金融级分布式技术体系架构 —— 应用场景
支持从用户交互到业务产品、账户体系和业务基础服务的银行前、中、后台架构转型；
满足高性能、高容量、高弹性、高可靠的银行 IT 架构转型升级需要；
满足多语言、多币种、多机构的差异化、多样化的业务架构转型升级需要。
银行信息系统：
一、用户交互
柜面
自助终端
手机银行
网络银行
API 开放平台
二、业务产品
借记卡
e 钱包
快捷支付
分期付款
贵金属积存金
账户外汇
三、账户体系
资金账户（个人Ⅱ/Ⅲ类账户等）
交易账户（贵金属份额账户等）
权益账户（客户积分、电子券等）
四、业务基础服务
客户信息
身份认证
会计核算
柜员管理
机构管理
金融级分布式技术体系 —— 技术创新
分布式应用组件：“9+1+2”
9：九大分布式技术组件，实现公共技术能力的集约式建设与运营；
1：容器云 PaaS 平台，运管数万级集群的能力，实现秒级弹性伸缩；
2：研发支持工具＋运维支持工具，与客户研发和运维平台对接集成。
3、研发支持工具体系
开发支持
资产共享
研发协同
持续集成
测试支持
1、分布式系统运行支撑平台
接入处理：软负载均衡
服务集成：分布式服务、分布式事务、分布式消息
数据处理：分布式数据库、分布式缓存、分布式批量、分布式对象存储、分布式文件存储
3、分布式运维支持工具体系
部署配置
全息监控
日志分析
流量调度
2．基础支撑平台
容器云平台（PaaS)
基建设施云平台（laaS)
业务实践1：同业规模最大的分布式账务处理平台
场景概述：工行现有近10亿账户，且仍在快速增长，每天处理近2亿笔支付结算业务，以随机更新为主，对数据更新性能、数据一致性、高可用能力要求极高，金融同业一般采用大型主机满足上述需求。
技术方案：数据库垂直和水平拆分，分布式事务框架，分布式批量框架。
实施效果：大型商业银行首家采用分布式式技术进行大规模账务处理，实现个人结算账户（Ⅱ/Ⅲ类账户）从开销户、消费到账务余额处理等完整的账户类业务处理功能；完成全部权益大账户（积分、电子券）下移大型主机：同时，将全量近10亿借记卡协议数据同步部署到开放平台，提供协议更新和查询服务，可支持6万 TPS 交易处理能力，交易响应时间50毫秒以内，在大型商业银行构建具备10亿级账户数据更新性能、数据一致性、高可用能力的账户处理体系方面实现有效突破。
业务实践2：高并发、高可靠的快捷支付系统
场量概述：对接清算机构为个人客户提供快捷支付结算服务，目前每天交易量逾1'8亿笔，在“双十一”、“春节红包”等特殊业务高峰期间，社会关注度高、监管压力大，对系统高并发、高可用和弹性扩缩支撑能力提出了很高要求。
技术方案：横向扩展对等应用节点，数据库垂直和水平拆分，应用节点容器化。
实施效果：工行快捷支付业务内部压测可达6万以上TPS，顺利完成2016年以来历次“双十一”、“春节红包”等高峰期保障，2018年“双十一”工行全链路交易响应时间77.98ms，排名同业第一，高峰期交易率从日常约4000TPS瞬间冲高至21,809 TPS ;2019年“双十一”全天交易量达1.98亿笔；展现了高并发、高可靠的弹性支撑能力。
业务实践3：企业级分布式客户信息平台
场景概述：管理6亿个人客户和1千多万对公客户，总记录数超过160亿，日均超2亿次维护与查询，需要满足超大数据量的高频访问需求。
技术方案：分布式数据库
实施效果：为全行180多个总分行应用提供日均超2亿次维护与查询服务，最高并发数7600TPs，平均交易耗时小于30ms，支撑应用范围同业最广、日均访问数量同业最多。
业务实践4：准实时高效处理的会计核算平台
场景概述：为业务提供准时的总账服务，可以在业务发生后30分钟内完成核算解析以及总账更新，满足高性能、大容量、高时效要求。
技术方案：分布式式服务、分布式批量、分布式数据库
实施效果：新的分布式会计核算应用，相对传统的联机登记日志、日终批量解析方式，极大提升了核算的时效性和应用规模，为业务快速的决策分析提供数据支撑。当前，已高效地支撑起工行每天超过3亿笔的核算业务量。
业务实践5：支持互联网金融新业态，提供极致用户体验
场景概述：工行纪念币的系统为例，为全国互联网用户提供纪念币预约服务，预约开始30分钟内业务呈高度集中，累计请求数可达8500万，每秒请求数可达7.5万，瞬时会话数可达140万，对系统并发处理、快速响应能力提出极高要求。
技术方案：服务器云化部署、数据库分库分表及高可用设计， CDN 缓存、分布式缓存
实施效果：系统可支撑10万 TPS 处理能力，交易响应日间90毫秒以内。成功完成2016年以来的纪念币发行任务，2019年鼠年贺岁币发行任务中，交易量峰值达6,739TPS，至当日0:30完成预的7118.72万枚，占任务总量88.5%，同业综合表现最优，历次纪念币预约均正常快速响应业务需求。
业务实践6：支持借记卡系统架构转型
场景概述：账户是银行各类业务的核心载体，借记卡系统涵盖了银行业务量最大的个人结算账户，事关国计民生，社会关注度高。在“双十一”、“春节红包”等特殊业务高峰期间，对系统高并发、高可用和弹性扩缩支撑能力提出了很高要求。
技术方案：数据库垂直和水平拆分，分布式事务框架，分布式批量框架，应用节点容器化、分布式式缓存
实施效果：支撑10亿多户个人结算账户，日均14亿多次服务调用，交易峰值达1.5万笔／秒，实现全球最大规模分布式个人账户体系正式对外提供全部服务，支撑未来业务高峰期10万 TPS 的交易并发量，满足未来五到十年个人业务发展的需要。