查看原文
其他

【案例】郑州商品交易所:搭建AI预测模型,提升智能决策水平

提升智能决策水平 数据猿 2021-09-27


本项目案例由 星环科技 投递并参与由数据猿&上海大数据联盟联合推出的“行业盘点季之数智化转型升级”大型主题策划活动之《2021中国企业数智化转型升级创新服务企业》榜单/奖项的评选。

数据智能产业创新服务媒体

——聚焦数智 · 改变商业




期货市场连接实体经济和金融市场,有效弥补了现货市场的不足,对于稳定与促进市场经济发展发挥着重要作用。保证金标准、涨跌停板幅度、交易手续费等措施是期货交易所开展市场风控的重要手段。

以往,交易规则制定往往以专家经验和规则作为决策的主要依据,但市场随时都在发生变化,过去的规则经验往往对当下的市场反应估计不足。在这一背景下,郑州商品交易所选择了星环科技作为合作伙伴,携手推进交易所数字化变革。

问题与需求:

1、过去的规则经验不足以支撑目前的高频交易场景

高频交易数据量大,噪声多,数据类型较为单一,异常交易模式隐藏于这海量的交易数据当中,十分不易发现。面对庞杂的金融数据与瞬息万变的市场行情,传统异常交易识别手段面临一定挑战。

2、交易行为监控智能化程度低

在针对交易行为监控方面,以往,交易所的审批工作都是基于人工完成,业务响应效率较低,亟需由人工监控转为标准化流程。

在此背景下,郑州商品交易所选择了星环科技作为合作伙伴,以解决以上痛点。星环科技成立于2013年,专注于企业级容器云计算、大数据和人工智能核心平台的产品研发,目前公司建立了多个产品系列:基于容器的智能大数据云平台TDC、一站式极速大数据平台TDH、分布式关系型数据库ArgoDB及KunDB、大数据开发工具TDS、智能分析工具Sophon等。

●实施时间

开始时间:2019年12月

第一阶段

套期保值审批额度推荐系统

第二阶段

监管辅助决策系统

第三阶段

高频异常行为分析系统

截止时间:2021年3月

应用场景


应用场景一:套期保值审批额度推荐

目前,交易所的套期保值额度的审批均依赖于简单的规则和人工经验,对于临近月份的套期保值额度审批,需要大量的材料及数据审核,业务响应效率较低,因此在短时间内人工无法完成。亟待使用AI算法和实时的规则引擎对临近月套保审批额度进行预测,由人工监控转为标准化流程,提高额度预测精度及深审批效率。

应用场景二:监管辅助决策

在保证金、板幅、手续费等交易所措施出台前,使用规则算法和机器学习算法,预测未来市场可能出现的情况。监管人员可根据预测出的标的相关数据来进行有关措施的制定,通过AI、大数据技术来辅助监管决策。

应用场景三:高频异常交易行为分析发现

高频交易数据量大,噪声多,数据类型较为单一,异常交易模式隐藏于这海量的交易数据当中,十分不易发现。面对庞杂的金融数据与瞬息万变的市场行情,传统异常交易识别手段面临一定挑战。

在针对高频交易行为的监控方面,使用机器学习算法等人工智能技术,主动发现涉嫌违反证券法规或交易所业务规则的异常交易行为及客户,替代以往基于专家规则及人工发现的业务流程,加强高频交易监管的力度,并提高效率。

面临挑战


1、  问题难度大:由于期货市场本身的随机性、不可预知性,问题需求难度较大;

2、  数据量大:高频交易数据量大,噪声多,数据类型较为单一,异常交易模式隐藏于这海量的交易数据当中,不易发现;

3、  识别手段更新快:面对庞杂的金融数据与瞬息万变的市场行情,传统异常交易识别手段面临一定挑战;

4、  数据局限性强:期货市场受外部因素影响,但实际分析时外部数据获取难度大;

5、  业务知识性强:尤其是高频异常行为分析,需要对期货交易非常熟悉。

应用技术与实施过程


星环科技利用数据科学平台的机器学习及深度学习技术,为该期货交易所搭建了深度神经网络模型,应用在风控措施辅助决策、交易异常行为识别以及套期保值额度审批三个场景中。

对应这三个场景,星环科技为该期货交易所分别搭建了三个系统一一风控措施辅助决策、异常交易识别系统以及套期保值审批额度推荐系统。

1、风控措施辅助决策,措施制定更审慎合理

风控措施规则调整属于低频度行为,过往数据较少、历史数据信噪比低。此外,期货交易品种间交易特性也并非完全一样,这对模型的算法能力提出了更高要求。

考虑到这一难点,在搭建风控措施辅助决策系统时,星环科技最终选用了基于Seq2Seq等机器学习模型的融合算法。星环科技提供的风控措施辅助决策系统,通过结合历史措施调整情况和大量历史数据,建立风控参数目标值与市场运行情况的关系模型,深度分析并挖掘不同的风控措施目标值可能对市场产生的影响(交易量、持仓量变化等),能够在政策措施出台前,评估某一政策对期货市场产生的影响,提供交易规则措施制定的辅助决策,使得政策更加审慎合理。

图1.风控措施辅助决策系统架构

数据清洗加工环节采用星环TDH大数据平台进行数据的抽取、清洗、存储和加工;随后,基于星环TDH并结合TensorFlow框架进行数据输入,通过星环智能分析工具Sophon协作开发,采用Seq2Seq 深度学习相关技术进行算法建模。

在建模过程中,采用专家经验与机器学习相结合的方式进行规则发现,基于星环Slipstream进行规则计算,利用星环最新发布的FIDE智能决策平台进行规则决策,结合指标计算模块实时计算的能力,对AI模型特征进行实时的计算,以实现AI模型在实时业务的场景下完成模型的实时预测,并结合决策引擎对于模型/规则的管理,实现专家规则+AI模型的双轨制决策模式,增强了AI模型在业务场景中的应用可解释性。

最后,通过Sophon模型进行API发布,快速上线并支持更新,从而保证模型的质量,且方便维护。并对接下游应用系统、可视化BI系统、实时监控大屏的业务终端,最终完成模型上线闭环的打通。

2、异常交易识别系统,快速锁定异常行为

星环科技为郑州商品交易所提供的异常交易(交易模式)识别系统,通过一站式大数据平台TDH和企业级智能分析工具Transwarp Sophon共同构建逆向强化学习模型,采用全方位统计分析和指标提取等手段,结合市场行情分析客户的报/撤单、成交、盈利等交易特征,进而有效识别客户的异常交易模式,提前预测市场风险。

图2.异常交易(交易模式)识别系统架构

星环科技的高频交易模式识别模型可以根据定单、交易、持仓等一系列分析维度分析高频交易客户定单触发条件以及交易行为,总结交易模式(或策略),生成相应的交易模式(特征)报告,通过图形化方式展示客户交易特征。

此外,系统可构建异常交易客户标签体系,通过输出异常交易的客户特征标签,建立异常交易客户画像。系统还可以生成市场交易模式报告,根据选定的客户群体,结合异常交易(交易模式)识别算法以及所选客户的特征阈值,生成对应的交易模式报告。

3、套期保值审批额度推荐系统,实现审批自动化、智能化

在期货市场中,生产经营者通过进行套期保值业务来回避现货交易中价格波动带来的风险,锁定生产经营成本,实现预期利润。针对套期保值交易,交易所执行的是套期保值额度审批制度,即各合约同一方向套期保值持仓合计不得超过该方向获批的套期保值额度。

该期货交易所与星环科技合作上线了套期保值审批额度推荐系统。在准确理解业务,分场景、分品种大批量的应用规则基础上,系统完成了发现规则、配置指标、配置规则、计算指标、执行规则等5个核心步骤的建设, 能够结合客户基账户数据及其他外部数据,实现自动化、智能化的即时套保额度计算预审批。

图3.套期保值审批额度推荐系统架构

该系统的运作流程如下:基于星环Slipstream模块,建立实时流计算引擎和数据处理引擎;建立多维度的指标定义功能模块及灵活多变的配置功能模块;最后,基于星环FIDE智能决策平台进行规则决策,使得配置出来的规则都够快速执行出响应的结果。

商业改变


实施成效

1、风控措施辅助决策系统

该系统实现了查询响应时间在3秒以下;所有涉及智能化算法执行响应时间在5分钟以内;模型日常训练、迭代及批处理时长则在一小时以内。

2、异常交易识别系统

异常交易(交易模式)识别系统上线后,郑州商品交易所通过构建客户画像,能够更精准的识别不同客户的风险, 更及时发现异常交易。

3、套期保值审批额度推荐系统

上线了星环科技的这套解决方案后,郑州商品交易所实现了套期保值审批额度报表的自动生成。套保审核人员可根据实际需要,针对不同品种、合约的一般月份以及临近月份套保分别配置计算规则,用于规则额度的即时计算,并生成解释性报告。额度推荐包括可以在会员提交套保申请后3分钟内完成推荐报告。此外,套保审核人员还可进行参数配置,包括通用参数、品种(合约)具体规则等计算业务参数。

总体上,基于星环科技基础软件的风控措施辅助决策系统、异常交易识别系统以及套期保值审批额度推荐系统上线后,郑州商品交易所实现了比以往纯依赖人工和专家经验更精准的风控决策和分析研判、更科学的交易规则政策制定、更快速的异常行为识别、更高的审批效率,以及更优的用户体验。

相关企业介绍


●星环科技

星环科技致力于打造“云计算+大数据+数据库+数据开发与智能分析”的基础平台产品,构建明日数据世界。拥有大数据云平台TDC、极速大数据平台TDH、分布式关系型数据库ArgoDB及KunDB、大数据开发工具TDS、智能分析工具Sophon和超融合大数据一体机等自主研发的产品,并在二十多个行业应用落地。曾入围Gartner数据仓库及数据管理解决方案,被评为全球最具有前瞻性的远见者,两度被IDC评为中国大数据市场领导者,12年来全球首个完成TPC-DS测试并通过官方审计。

●郑州商品交易所

郑州商品交易所(以下简称郑商所)成立于1990年10月,是国务院批准成立的首家期货市场试点单位,由中国证监会管理。郑商所目前上市交易23个期货品种和6个期权,范围覆盖粮、棉、油、糖、果和能源、化工、纺织、冶金、建材等多个国民经济重要领域。郑商所拥有功能完善的交易、交割、结算、风险监控、信息发布和会员服务等电子化系统。

截至2021年5月底,郑商所当年累计成交量为11.0亿手,成交金额为43.5万亿元,同比分别增长124.7%和168.0%。



❷ 创新服务企业榜 

❸ 创新服务产品榜

❹ 最具投资价值榜 

❺ 创新技术突破榜

条漫:《看过大佬们发的朋友圈之后,我相信:明天会更好!》


联系数据猿

北京区负责人:Summer

电话:18500447861(微信)

邮箱:summer@datayuan.cn

全国区总负责人:Yaphet

电话:18600591561(微信)

邮箱:yaphet@datayuan.cn

: . Video Mini Program Like ,轻点两下取消赞 Wow ,轻点两下取消在看

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存