前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Python 分析那些“标题党”文章

Python 分析那些“标题党”文章

作者头像
月小水长
发布2019-07-30 14:56:48
1.1K0
发布2019-07-30 14:56:48
举报
文章被收录于专栏:月小水长

写作缘由

这是很久前一个好友给我的一个小任务:给出某平台历史文章数据,分析出哪些文章有”标题党“的嫌疑,哪些文章标题妙笔生花且内容名副其实。

分析一篇文章的标题起得好不好,无非看阅读量,但是怎么看”标题党“呢?我思索着,“标题党”文章大概是这样的:阅读量高但点赞数少,仔细想想,一篇文章,如果标题天花乱坠地吸引人,就会有许多读者点进去阅读,但是发现内容却是败笔,没有干货,这样的文章,会有许多读者给它点赞吗?显然不会。但是,这只是定性分析,怎么定量分析呢,在此需要利用最小二乘法做回归分析,先根据点赞数与阅读量的关系得到点赞数关于阅读量的回归直线,引入一个概念,文章优良指数,其定义为实际点赞数减去回归预测点赞数,取绝对值后再比上回归预测的点赞数,在推文时间等变量统计平均的前提下,如果这个值超过某个阈值(比如 0.5,可适当调整),那么就可认为该文章的内容是足够充实的,可评为优秀,相反地,如果这个比值远低于 0.5,则可认为该文章存在”标题党“嫌疑。

文章优良指数是我自己定义的概念,具有合理性但不具有权威性,其值=abs(实际点赞数-预测点赞数)/预测点赞数

理清思路后,开始动手实现。

编码实现

合并数据

对于一篇文章,有价值的数据应该无外乎 标题、内容、点赞数、阅读数、内容、原文链接这几部分,但是原始数据是这样的:

文章标题和内容不在一个表中,而且数据大量冗余,我们要做的第一步就是数据清洗,把有用的数据合并到一个表中,并输出到文件,方便后续使用和查看。

这部分代码如下,主要是利用 pandas 库进行加载、输出文件操作,值得一说的是 pandas.merge() 函数,这是 pandas 类数据库内连接的操作的一个函数,内连接定义如下:两个或多个表在指定列上进行匹配,我这里是一个列”标题“,因为标题相同的就是一篇文章,可以进行合并,如果左边(第一个表)的”标题“没有出现在右边(第二个表),或者右边的”标题“没有出现在左边,那么这些数据都会被舍弃,只保留匹配上的;与内连接相对应的就是外连接,外连接又分为左外连接和右外连接,顾名思义,左外连接就是也保留那些出现在左边但是并不和右边匹配的记录。

代码语言:javascript
复制
EXPORT_FILE_NAME = "【数据清洗后】.xlsx"
if not os.path.exists(EXPORT_FILE_NAME):
    ## 从 excel 中加载数据
    df1 = pd.read_excel("【历史文章】.xlsx")
    ## 截取指定的列
    data1 = df1[['标题', '点赞数', '阅读数']]
    df2 = pd.read_excel("【文章内容】.xlsx")
    data2 = df2[['标题', '文本内容', '文章链接']]
    # # 过滤掉文本内容里面的换行符
    # data2['文本内容'].apply(lambda text: text.replace('[\r\n]', ''))
    # print(dir(df1))
    # 内连接,合并 data1 和 data2 在“标题”上匹配的元组,不保留未匹配的元组
    data = pd.merge(data1, data2, how="inner", on="标题")
    # 将清洗过的数据输出到 excel 中, index = False 的目的是不再自动创建行索引
    data.to_excel(EXPORT_FILE_NAME, index=False)
    print(data)
else:
    data = pd.read_excel(EXPORT_FILE_NAME)

分析数据

”好标题“ or ”差标题“?

我们约定,那些阅读量排在前 20% 的文章,其”标题“被定义为”好标题“,排在后 20% 的,被定义为”差标题“。

代码语言:javascript
复制
# 前 20% 阅读量的标题被定义为好标题
# 后 20% 阅读量的标题被定义为差标题
threshold = ceil(data.shape[0] * 0.2)
best_titles = data.nlargest(threshold,'阅读数')
worst_titles = data.nsmallest(threshold,'阅读数')

用词云看看好的差的标题都有哪些关键词:

代码语言:javascript
复制
def WordcloudingKeywordsOfText(text,export_filename):
    cut_words = jieba.lcut(text)
    with open(export_filename+".txt",'w',encoding='utf-8') as f:
        f.write("/".join(cut_words))
    WC = WordCloud(
        font_path='my_font.ttf',
        background_color="#ffffff",
        max_words=2000,
        mask=imread('wordcloud_back.png'),
        random_state=42
    )
    WC.generate("".join(jieba.lcut(text))
)
    plt.figure(export_filename)
    plt.imshow(WC)
    plt.axis("off")
    WC.to_file(export_filename+".png")
    ...
WordcloudingKeywordsOfText(best_titles_text,"好的标题")
WordcloudingKeywordsOfText(worst_titles_text,"差的标题")

这些标题和具体文章作者的写作定位有关,仅供参考。

”标题党“ or ”实力派“?

所谓方法论决定世界观,思想指导行动,下面写的代码都是根据最上面对”标题党“特点的分析,一步步实现的,主要用到最小二乘法思想和我自定义的 文章优良指数 概念。

代码语言:javascript
复制
import matplotlib
from scipy import optimize
import numpy as np

# 设置中文字体和负号正常显示
matplotlib.rcParams['font.sans-serif'] = ['SimHei']
matplotlib.rcParams['axes.unicode_minus'] = False
read_num = data['阅读数'].values.tolist()
praise_num = data['点赞数'].values.tolist()
plt.figure()
plt.xlabel('阅读数')
plt.ylabel('点赞数')
plt.title('点赞数和阅读数分布图')
plt.scatter(x=read_num,y=praise_num,label="实际值")

# def line_fit(x,A,B):
#     return A*x + B
#
# # 直线拟合与绘制
# A1, B1 = optimize.curve_fit(line_fit, read_num, praise_num)[0]
# x1 = np.arange(min(read_num), max(read_num), 1000)
# y1 = A1 * x1 + B1
from sklearn.linear_model import LinearRegression
from scipy import vectorize

lr = LinearRegression()
lr.fit(np.array(read_num).reshape(-1,1),praise_num)
x1 = np.array(read_num).reshape(-1,1)
y1 = lr.predict(x1)
# 对 np.array 每个元素取整操作,应用scipy.vectorize()函数
y1 = vectorize(lambda x:ceil(x))(y1)
plt.plot(x1,y1,"y",linewidth=3,label="最小二乘法拟合")

# 增加一列
data['预测点赞数'] = y1

should_better_title_data = data[data['点赞数']>data['预测点赞数']*(1.5)]
title_pie_data = data[data['点赞数']<data['预测点赞数']*(0.5)]

sbtd_x = should_better_title_data['阅读数'].values.tolist()
sbtd_y = should_better_title_data['点赞数'].values.tolist()
plt.scatter(x=sbtd_x,y=sbtd_y,label="标题有待优化的文章(覆盖了部分实际值)",c='green')

tpd_x = title_pie_data['阅读数'].values.tolist()
tpd_y = title_pie_data['点赞数'].values.tolist()
plt.scatter(x=tpd_x,y=tpd_y,label="有标题党风险的文章(覆盖了部分实际值)",c='red')

plt.legend()
plt.show()

should_better_title_data.to_excel("标题有待优化的文章.xlsx",index=False)

title_pie_data.to_excel("有标题党风险的文章.xlsx",index=False)

其输出如下:

为了方便查阅,将标题和内容名副其实的文章和具有“标题党”嫌疑的文章分别保存了下来,程序运行结束后自动保存在项目的目录下。

有了这些证据,拿去怼编辑,哈哈哈,逃~

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-07-28,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 月小水长 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 合并数据
  • 分析数据
    • ”好标题“ or ”差标题“?
      • ”标题党“ or ”实力派“?
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档