金融大数据平台功能技术要求（JR/T 0237—2021）

来源：《金融大数据平台总体技术要求》（JR/T 0237—2021）

https://www.cfstc.org/bzgk/gk/view/bzxq.jsp?i_id=1942

• 金融大数据平台是企业级、分布式、开放、统一的大数据平台，应包括数据接入、数据存储、数据处理、数据分析及数据服务相关组件。

• 从功能的必要性及重要性角度看，金融大数据平台具体功能技术要求可以划分为基本要求和增强要求。

• 增强要求是从技术的发展趋势和金融用户的前瞻性需求入手提出的。

• 数据接入的基本要求应包括作业调度、数据传输，消息队列、批量采集，増强要求宜包括实时采集；

• 数据存储的基本要求应包括分布式关系数据库、分布式存储系统（文件、对象、块）等，増强要求宜包括分布式列数据库、分布式图数据库；

• 数据处理的基本要求应包括批处理、流处理、图计算，增强要求宜包括批流融合计算、内存计算；

• 数据分析的基本要求应包括模型库、数据处理引擎等，増强要求宜包括数据可视化；

• 数据服务的基本要求应包括风险管理、用户画像、营销管理、客户服务和经营分析等。

• 金融大数据平台由数据接入、数据存储、数据处理、数据分析、数据服务和平台运维等部分组成。

主要内容如下：

•  a）数据接入提供结构化数据、非结构化数据或半结构化数据的采集、数据的导入导出以及数据流的定义等功能，支持多系统集成，支持多协议接入，如支持 RESTful 、 RPC 、异步消息接入。结构化数据包括数据库文件以及结构化文本文件等。非结构化数据包括图片、音频、视频、文档及应用数据等。半结构化数据包括XML 、表格、 JSON 、 HTML 、电子邮件等。

  注； REST 指的是一组架构约束条件和原则，满足这些约束条件和原则的应用程序或设计称为RESTful。

  
  

•  b）数据存储提供大数据的分布式存储管理，涵盖多种存储方式和文件系统。

  
  

• c）数据处理支持结构化、半结构化及非结构化数据，提供丰富的 API 接口和 SDK 开发包，支持分布式计算技术、流处理技术、内存计算技术，实现稳定、强大的数据处理能力。

  
  

• d）数据分析采用数据挖掘、机器学习等技术，支持多个数据处理引擎，具备数据可视化、多种算法、建模分析等深度挖掘分析能力。

  
  

•  e）数据服务提供海量金融交易数据、用户信息数据、金融业务数据的访问、控制等基础服务，提供营销管理、风险管理、客户服务、经营分析及用户画像等高级数据服务。

  
  

•  f ）平台运维具备高可靠、安全、容错、易用的集群管理能力，支持大规模集群的安装部署等功能，提供分钟级别的统一风险管理，具备各类日志的指标实时采集能力、通用的 SQL 查询能力、可视化监控能力。