Python分析那些“标题党”文章
以下文章来源于月小水长 ，作者月小水长
来源 | 月小水长（ID:inspurer）
写作缘由
这是很久前一个好友给我的一个小任务：给出某平台历史文章数据，分析出哪些文章有”标题党“的嫌疑，哪些文章标题妙笔生花且内容名副其实。
分析一篇文章的标题起得好不好，无非看阅读量，但是怎么看”标题党“呢？我思索着，“标题党”文章大概是这样的：阅读量高但点赞数少，仔细想想，一篇文章，如果标题天花乱坠地吸引人，就会有许多读者点进去阅读，但是发现内容却是败笔，没有干货，这样的文章，会有许多读者给它点赞吗？显然不会。但是，这只是定性分析，怎么定量分析呢，在此需要利用最小二乘法做回归分析，先根据点赞数与阅读量的关系得到点赞数关于阅读量的回归直线，引入一个概念，文章优良指数，其定义为实际点赞数减去回归预测点赞数，取绝对值后再比上回归预测的点赞数，在推文时间等变量统计平均的前提下，如果这个值超过某个阈值（比如 0.5，可适当调整），那么就可认为该文章的内容是足够充实的，可评为优秀，相反地，如果这个比值远低于 0.5，则可认为该文章存在”标题党“嫌疑。
文章优良指数是我自己定义的概念，具有合理性但不具有权威性，其值=abs(实际点赞数-预测点赞数）/预测点赞数
理清思路后，开始动手实现。
编码实现
合并数据
对于一篇文章，有价值的数据应该无外乎标题、内容、点赞数、阅读数、内容、原文链接这几部分，但是原始数据是这样的：
文章标题和内容不在一个表中，而且数据大量冗余，我们要做的第一步就是数据清洗，把有用的数据合并到一个表中，并输出到文件，方便后续使用和查看。
这部分代码如下，主要是利用 pandas 库进行加载、输出文件操作，值得一说的是 pandas.merge() 函数，这是 pandas 类数据库内连接的操作的一个函数，内连接定义如下：两个或多个表在指定列上进行匹配，我这里是一个列”标题“，因为标题相同的就是一篇文章，可以进行合并，如果左边（第一个表）的”标题“没有出现在右边（第二个表），或者右边的”标题“没有出现在左边，那么这些数据都会被舍弃，只保留匹配上的；与内连接相对应的就是外连接，外连接又分为左外连接和右外连接，顾名思义，左外连接就是也保留那些出现在左边但是并不和右边匹配的记录。
EXPORT_FILE_NAME = "【数据清洗后】.xlsx"
if not os.path.exists(EXPORT_FILE_NAME):
## 从 excel 中加载数据
df1 = pd.read_excel("【历史文章】.xlsx")
## 截取指定的列
data1 = df1[['标题', '点赞数', '阅读数']]
df2 = pd.read_excel("【文章内容】.xlsx")
data2 = df2[['标题', '文本内容', '文章链接']]
# # 过滤掉文本内容里面的换行符
# data2['文本内容'].apply(lambda text: text.replace('[\r\n]', ''))
# print(dir(df1))
# 内连接,合并 data1 和 data2 在“标题”上匹配的元组，不保留未匹配的元组
data = pd.merge(data1, data2, how="inner", on="标题")
# 将清洗过的数据输出到 excel 中, index = False 的目的是不再自动创建行索引
data.to_excel(EXPORT_FILE_NAME, index=False)
print(data)
else:
data = pd.read_excel(EXPORT_FILE_NAME)
分析数据
“好标题” or “差标题”？
我们约定，那些阅读量排在前 20% 的文章，其”标题“被定义为”好标题“，排在后 20% 的，被定义为”差标题“。
# 前 20% 阅读量的标题被定义为好标题
# 后 20% 阅读量的标题被定义为差标题
threshold = ceil(data.shape[0] * 0.2)
best_titles = data.nlargest(threshold,'阅读数')
worst_titles = data.nsmallest(threshold,'阅读数')
用词云看看好的差的标题都有哪些关键词：
def WordcloudingKeywordsOfText(text,export_filename):
cut_words = jieba.lcut(text)
with open(export_filename+".txt",'w',encoding='utf-8') as f:
f.write("/".join(cut_words))
WC = WordCloud(
font_path='my_font.ttf',
background_color="#ffffff",
max_words=2000,
mask=imread('wordcloud_back.png'),
random_state=42
)
WC.generate("".join(jieba.lcut(text))
)
plt.figure(export_filename)
plt.imshow(WC)
plt.axis("off")
WC.to_file(export_filename+".png")
...
WordcloudingKeywordsOfText(best_titles_text,"好的标题")
WordcloudingKeywordsOfText(worst_titles_text,"差的标题")
这些标题和具体文章作者的写作定位有关，仅供参考。
“标题党” or “实力派”？
所谓方法论决定世界观，思想指导行动，下面写的代码都是根据最上面对”标题党“特点的分析，一步步实现的，主要用到最小二乘法思想和我自定义的文章优良指数概念。
import matplotlib
from scipy import optimize
import numpy as np
# 设置中文字体和负号正常显示
matplotlib.rcParams['font.sans-serif'] = ['SimHei']
matplotlib.rcParams['axes.unicode_minus'] = False
read_num = data['阅读数'].values.tolist()
praise_num = data['点赞数'].values.tolist()
plt.figure()
plt.xlabel('阅读数')
plt.ylabel('点赞数')
plt.title('点赞数和阅读数分布图')
plt.scatter(x=read_num,y=praise_num,label="实际值")
# def line_fit(x,A,B):
# return A*x + B
#
# # 直线拟合与绘制
# A1, B1 = optimize.curve_fit(line_fit, read_num, praise_num)[0]
# x1 = np.arange(min(read_num), max(read_num), 1000)
# y1 = A1 * x1 + B1
from sklearn.linear_model import LinearRegression
from scipy import vectorize
lr = LinearRegression()
lr.fit(np.array(read_num).reshape(-1,1),praise_num)
x1 = np.array(read_num).reshape(-1,1)
y1 = lr.predict(x1)
# 对 np.array 每个元素取整操作，应用scipy.vectorize()函数
y1 = vectorize(lambda x:ceil(x))(y1)
plt.plot(x1,y1,"y",linewidth=3,label="最小二乘法拟合")
# 增加一列
data['预测点赞数'] = y1
should_better_title_data = data[data['点赞数']>data['预测点赞数']*(1.5)]
title_pie_data = data[data['点赞数']<data['预测点赞数']*(0.5)]
sbtd_x = should_better_title_data['阅读数'].values.tolist()
sbtd_y = should_better_title_data['点赞数'].values.tolist()
plt.scatter(x=sbtd_x,y=sbtd_y,label="标题有待优化的文章(覆盖了部分实际值)",c='green')
tpd_x = title_pie_data['阅读数'].values.tolist()
tpd_y = title_pie_data['点赞数'].values.tolist()
plt.scatter(x=tpd_x,y=tpd_y,label="有标题党风险的文章(覆盖了部分实际值)",c='red')
plt.legend()
plt.show()
should_better_title_data.to_excel("标题有待优化的文章.xlsx",index=False)
title_pie_data.to_excel("有标题党风险的文章.xlsx",index=False)
其输出如下：
为了方便查阅，将标题和内容名副其实的文章和具有“标题党”嫌疑的文章分别保存了下来，程序运行结束后自动保存在项目的目录下。
有了这些证据，拿去怼编辑，哈哈哈，逃~
所有代码
https://github.com/inspurer/wechat_posted_analysis.git
◆
AI 开发者大会精彩提前看
◆
2019 AI开发者大会重磅嘉宾更新：阿里、华为、Google Brain、Amazon、微软中国、百度、京东、小米、快手、科大讯飞、商汤、旷视、图森、云知声、思必驰...“硬核AI技术大会，一年参加一次就够了”。更多嘉宾和大会信息请扫码查看 。
推荐阅读：