查看原文
其他

用Python进行金融市场文本数据的情感计算

以下文章来源于大邓和他的Python ,作者大邓


作者 | 大邓

来源 | 大邓和他的Python(ID:DaDengAndHisPython) 


之前我依据一篇论文中的中文金融情感词典CFSD(chinese financial sentiment dictionary),中文金融领域情感词典构建,整理成csv文件的情感词典。现在我们找点财经类新闻文本数据来做点简单的情感分析,

一、tushare介绍

tushare库是目前比较流行的开源免费的经济数据库,tushare有普通版和高级版,其中普通版无需积分就可以使用,而高级版需要使用积分才可使用。
tushare基础班提供了包括:
  • 交易数据,如历史行情、复权数据、实时行情等
  • 投资参考数据,如分配方案、业绩预告、限售股解禁、基金持股、新浪数据、融资融券
  • 股票分类数据、行业、概念、地域、中小板、创业板、封校警示板生
  • 基本面数据、股票列表、业绩报告(主表)、盈利能力、营运能力、偿债能力等
  • 宏观经济数据,如存款利率、贷款利率、GDP数据、工业品出场价格指数、居民消费节各直属
  • 新闻事件数据,如新浪股吧
  • 龙虎榜数据
  • 银行间同业拆放理论
  • 电影票房
安装
  1. !pip3 install tushare

Run
  1. Collecting tushare

  2. [?25l Downloading https://files.pythonhosted.org/packages/a9/8b/2695ad38548d474f4ffb9c95548df126e82adb24e56e2c4f7ce1ef9fbd01/tushare-1.2.43.tar.gz (168kB)

  3. [K 100% |████████████████████████████████| 174kB 162kB/s ta 0:00:01

  4. [?25hBuilding wheels for collected packages: tushare

  5. Running setup.py bdist_wheel for tushare ... [?25ldone

  6. [?25h Stored in directory: /Users/thunderhit/Library/Caches/pip/wheels/4b/28/7b/62d7a4155b34be251c1840e7cecfa4c374812819c59edba760

  7. Successfully built tushare

  8. Installing collected packages: tushare

  9. Successfully installed tushare-1.2.43

  10. [33mYou are using pip version 18.1, however version 19.2.3 is available.

  11. You should consider upgrading via the 'pip install --upgrade pip' command.[0m

二、新闻数据

新闻事件接口主要提供国内财经、证券、港股和期货方面的滚动新闻,以及个股的信息地雷数据。但目前只有新浪股吧api的接口可用,其他的需要使用tushare高级版。

获取sina财经股吧首页的重点消息。股吧数据目前获取大概17条重点数据,可根据参数设置是否显示消息内容,默认情况是不显示。

参数说明

  • show_content:boolean,是否显示内容,默认False
返回值说明:
  • title, 消息标题
  • content, 消息内容(show_content=True的情况下)
  • ptime, 发布时间
  • rcounts,阅读次数
调用方法
  1. import tushare as ts


  2. #显示详细内容

  3. newsdata = ts.guba_sina(show_content=True)

  4. newsdata.head(10)

三、读取词典

之前制作的中文金融情感词典是csv文件格式,我们使用pandas读取

  1. import pandas as pd


  2. df = pd.read_csv('CFSD/pos.csv', encoding='gbk')

  3. df.head()

我们将读取词典定义成函数
  1. def read_dict(file, header):

  2. """

  3. file: 词典路径

  4. header: csv文件内字段名,如postive

  5. 读取csv词典,返回词语列表

  6. """

  7. df = pd.read_csv(file, encoding='gbk')

  8. return list(df[header])


  9. poswords = read_dict(file= 'CFSD/pos.csv', header = 'postive')

  10. negwords = read_dict(file= 'CFSD/neg.csv', header ='negative')

  11. negwords[:5]

run
  1. ['闭门造车', '闭塞', '云里雾里', '拖累', '过热']

三、情感分析方法

这里我们对新闻content内容进行情感分析,分析的思路是统计content中正、负词的占比。我们会用到pandas的 df.agg(func)方法对content列进行文本计算。这需要先定义一个待调用的情感计算函数,注意有可能出现分母为0,所以定义的函数使用了try except捕捉0除异常,返回0.

import jieba


  1. def pos_senti(content):

  2. """

  3. content: 待分析文本内容

  4. 返回正面词占文本总词语数的比例

  5. """

  6. try:

  7. pos_word_num = 0

  8. words = jieba.lcut(content)

  9. for kw in poswords:

  10. pos_word_num += words.count(kw)

  11. return pos_word_num/len(words)

  12. except:

  13. return 0



  1. def neg_senti(content):

  2. """

  3. content: 待分析文本内容

  4. 返回负面词占文本总词语数的比例

  5. """

  6. try:

  7. neg_word_num = 0

  8. words = jieba.lcut(content)

  9. for kw in negwords:

  10. neg_word_num += words.count(kw)

  11. return neg_word_num/len(words)

  12. except:

  13. return 0

对content列分别施行情感计算函数possenti,negsenti,将得到的得分赋值给pos、neg列

  1. newsdata['pos']=newsdata['content'].agg(pos_senti)

  2. newsdata['neg']=newsdata['content'].agg(neg_senti)

  3. newsdata.head(10)

我们的数据中出现了pos和neg两个得分,我们还可以定义一个判断函数,判断文本的情绪分类。

  • 当pos比neg大,判断为'正'
  • 当pos比neg小,判断为'负'
这里不严谨,为了教程简单,没考虑相等的情况
  1. newsdata['senti_classification'] = newsdata['pos']>newsdata['neg']

  2. newsdata['senti_classification'] = newsdata['senti_classification'].map({True:"正", False:"负"})

  3. newsdata.head(10)

总结

至此,简单的情感计算就实现了。大家使用本文时,要注意:

  • 本文使用的情感词典是CFSD中文金融情感词典,大家可以用自己领域的词典,得到poswords和negwords
  • 还有要注意的是情感计算函数(possenti和negsenti),有不同的算法就有不同的结果
  • 正负面倾向判断,我这里比较粗糙,没有考虑相等的中性问题。
注意以上几点,本文的代码就可复用。不过再好的代码,前提是会python,会懂编程思维,知道如何写代码改代码,不然大家用起来也比较困难。
(*本文为Python大本营转载文章,转载请联系原作者)

精彩推荐


【结果提交倒计时】PV,UV流量预测算法大赛,结果提交截止时间为9月20日,还没有提交的小伙伴抓紧时间了~~9月25日公布初赛成绩。最新排行榜请点击阅读原文查看。

推荐阅读
你点的每个“在看”,我都认真当成了喜欢

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存