路透社文章的文本数据分析与可视化

from bs4 import BeautifulSoup  import pandas as pd  import csv  article_dict = {}  i = 0  list_of_data_num = []  for j in range(0,22):  if j < 10:  list_of_data_num.append("00" + str(j))  else:  list_of_data_num.append("0" + str(j))  # 循环所有文章以提取日期、标题和文章主体  for num in list_of_data_num:  try:  soup = BeautifulSoup(open("data/reut2-" + num + ".sgm"), features='lxml')  except:  continue  print(num)  data_reuters = soup.find_all('reuters')  for data in data_reuters:  article_dict[i] = {}  for date in data.find_all('date'):  try:  article_dict[i]["date"] = str(date.contents[0]).strip()  except:  article_dict[i]["date"] = None  # print(date.contents[0])  for title in data.find_all('title'):  article_dict[i]["title"] = str(title.contents[0]).strip()  # print(title.contents)  for text in data.find_all('text'):  try:  article_dict[i]["text"] = str(text.contents[4]).strip()  except:  article_dict[i]["text"] = None  i += 1  dataframe_article = pd.DataFrame(article_dict).T  dataframe_article.to_csv('articles_data.csv', header=True, index=False, quoting=csv.QUOTE_ALL)  print(dataframe_article) 

import pandas as pd import re  articles_data = pd.read_csv(‘articles_data.csv’) print(articles_data.apply(lambda x: sum(x.isnull()))) articles_nonNull = articles_data.dropna(subset=[‘text’]) articles_nonNull.reset_index(inplace=True)  def clean_text(text):  ‘’’Make text lowercase, remove text in square brackets,remove \n,remove punctuation and remove words containing numbers.’’’  text = str(text).lower()  text = re.sub(‘<.*?>+’, ‘’, text)  text = re.sub(‘[%s]’ % re.escape(string.punctuation), ‘’, text)  text = re.sub(‘\n’, ‘’, text)  text = re.sub(‘\w*\d\w*’, ‘’, text)  return text  articles_nonNull[‘text_clean’]=articles_nonNull[‘text’]\  .apply(lambda x:clean_text(x)) 

articles_nonNull[‘word_length’] = articles_nonNull[‘text’].apply(lambda x: len(str(x).split())) print(articles_nonNull.describe())  articles_word_limit = articles_nonNull[articles_nonNull[‘word_length’] > 60]  plt.figure(figsize=(12,6))  p1=sns.kdeplot(articles_word_limit[‘word_length’], shade=True, color=”r”).set_title(‘Kernel Distribution of Number Of words’) 

from gensim.parsing.preprocessing  import remove_stopwords  import genism  from wordcloud import WordCloud  import numpy as np  import random  # 从gensim方法导入stopwords到stop_list变量  # 你也可以手动添加stopwords  gensim_stopwords = gensim.parsing.preprocessing.STOPWORDS  stopwords_list = list(set(gensim_stopwords))  stopwords_update = ["mln", "vs","cts","said","billion","pct","dlrs","dlr"]  stopwords = stopwords_list + stopwords_update  articles_word_limit['temp_list'] = articles_word_limit['text_clean'].apply(lambda x:str(x).split())  # 从文章中删除停用词  def remove_stopword(x):  return [word for word in x if word not in stopwords]  articles_word_limit['temp_list_stopw'] = articles_word_limit['temp_list'].apply(lambda x:remove_stopword(x))  # 生成ngram的单词  def generate_ngrams(text, n_gram=1):  ngrams = zip(*[text[i:] for i in range(n_gram)])  return [' '.join(ngram) for ngram in ngrams]    article_unigrams = defaultdict(int)  for tweet in articles_word_limit['temp_list_stopw']:  for word in generate_ngrams(tweet):  article_unigrams[word] += 1    article_unigrams_df = pd.DataFrame(sorted(article_unigrams.items(), key=lambda x: x[1])[::-1])  N=50  # 在路透社的文章中前50个常用的unigram  fig, axes = plt.subplots(figsize=(18, 50))  plt.tight_layout()  sns.barplot(y=article_unigrams_df[0].values[:N], x=article_unigrams_df[1].values[:N], color='red')  axes.spines['right'].set_visible(False)  axes.set_xlabel('')  axes.set_ylabel('')  axes.tick_params(axis='x', labelsize=13)  axes.tick_params(axis='y', labelsize=13)  axes.set_title(f'Top {N} most common unigrams in Reuters Articles', fontsize=15)  plt.show()  # 画出词云  def col_func(word, font_size, position, orientation, font_path, random_state):  colors = ['#b58900', '#cb4b16', '#dc322f', '#d33682', '#6c71c4',  '#268bd2', '#2aa198', '#859900']  return random.choice(colors)  fd = {  'fontsize': '32',  'fontweight' : 'normal',  'verticalalignment': 'baseline',  'horizontalalignment': 'center',  }  wc = WordCloud(width=2000, height=1000, collocations=False,  background_color="white",  color_func=col_func,  max_words=200,  random_state=np.random.randint(1, 8)) .generate_from_frequencies(article_unigrams)  fig, ax = plt.subplots(figsize=(20,10))  ax.imshow(wc, interpolation='bilinear')  ax.axis("off")  ax.set_title(‘Unigram Words of Reuters Articles’, pad=24, fontdict=fd)  plt.show() 

article_bigrams = defaultdict(int)  for tweet in articles_word_limit[‘temp_list_stopw’]:  for word in generate_ngrams(tweet, n_gram=2):  article_bigrams[word] += 1    df_article_bigrams=pd.DataFrame(sorted(article_bigrams.items(),  key=lambda x: x[1])[::-1])    N=50  # 前50个单词的柱状图  fig, axes = plt.subplots(figsize=(18, 50), dpi=100)  plt.tight_layout()  sns.barplot(y=df_article_bigrams[0].values[:N],  x=df_article_bigrams[1].values[:N],  color=’red’)  axes.spines[‘right’].set_visible(False)  axes.set_xlabel(‘’)  axes.set_ylabel(‘’)  axes.tick_params(axis=’x’, labelsize=13)  axes.tick_params(axis=’y’, labelsize=13)  axes.set_title(f’Top {N} most common Bigrams in Reuters Articles’,  fontsize=15)  plt.show()  #词云  wc = WordCloud(width=2000, height=1000, collocations=False,  background_color=”white”,  color_func=col_func,  max_words=200,  random_state=np.random.randint(1,8))\  .generate_from_frequencies(article_bigrams)    fig, ax = plt.subplots(figsize=(20,10))  ax.imshow(wc, interpolation=’bilinear’)  ax.axis(“off”)  ax.set_title(‘Trigram Words of Reuters Articles’, pad=24,  fontdict=fd)  plt.show()  Bigram比unigram提供更多的文本信息和上下文。比如，share loss显示：大多数人在股票上亏损。  3.最常用的Trigram词  让我们为trigma单词绘制条形图和词云。  article_trigrams = defaultdict(int)  for tweet in articles_word_limit[‘temp_list_stopw’]:  for word in generate_ngrams(tweet, n_gram=3):  article_trigrams[word] += 1  df_article_trigrams = pd.DataFrame(sorted(article_trigrams.items(),  key=lambda x: x[1])[::-1])    N=50  # 柱状图的前50个trigram  fig, axes = plt.subplots(figsize=(18, 50), dpi=100)  plt.tight_layout()  sns.barplot(y=df_article_trigrams[0].values[:N],  x=df_article_trigrams[1].values[:N],  color=’red’)  axes.spines[‘right’].set_visible(False)  axes.set_xlabel(‘’)  axes.set_ylabel(‘’)  axes.tick_params(axis=’x’, labelsize=13)  axes.tick_params(axis=’y’, labelsize=13)  axes.set_title(f’Top {N} most common Trigrams in Reuters articles’,  fontsize=15)  plt.show()  # 词云  wc = WordCloud(width=2000, height=1000, collocations=False,  background_color=”white”,  color_func=col_func,  max_words=200,  random_state=np.random.randint(1,8)).generate_from_frequencies(article_trigrams)  fig, ax = plt.subplots(figsize=(20,10))  ax.imshow(wc, interpolation=’bilinear’)  ax.axis(“off”)  ax.set_title(‘Trigrams Words of Reuters Articles’, pad=24,  fontdict=fd)  plt.show() 

import spacy  from matplotlib import cm  from matplotlib.pyplot import plt  nlp = spacy.load('en_core_web_sm')  ner_collection = {"Location":[],"Person":[],"Date":[],"Quantity":[],"Organisation":[]}  location = []  person = []  date = []  quantity = []  organisation = []  def ner_text(text):  doc = nlp(text)  ner_collection = {"Location":[],"Person":[],"Date":[],"Quantity":[],"Organisation":[]}  for ent in doc.ents:  if str(ent.label_) == "GPE":  ner_collection['Location'].append(ent.text)  location.append(ent.text)  elif str(ent.label_) == "DATE":  ner_collection['Date'].append(ent.text)  person.append(ent.text)  elif str(ent.label_) == "PERSON":  ner_collection['Person'].append(ent.text)  date.append(ent.text)  elif str(ent.label_) == "ORG":  ner_collection['Organisation'].append(ent.text)  quantity.append(ent.text)  elif str(ent.label_) == "QUANTITY":  ner_collection['Quantity'].append(ent.text)  organisation.append(ent.text)  else:  continue  return ner_collection  articles_word_limit['ner_data'] = articles_word_limit['text'].map(lambda x: ner_text(x))    location_name = []  location_count = []  for i in location_counts.most_common()[:10]:  location_name.append(i[0].upper())  location_count.append(i[1])  fig, ax = plt.subplots(figsize=(15, 8), dpi=100)  ax.barh(location_name, location_count, alpha=0.7,  # width = 0.5,  color=cm.Blues([i / 0.00525 for i in [ 0.00208, 0.00235, 0.00281, 0.00317, 0.00362,  0.00371, 0.00525, 0.00679, 0.00761, 0.00833]])  )  plt.rcParams.update({'font.size': 10})  rects = ax.patches  for i, label in enumerate(location_count):  ax.text(label+100 , i, str(label), size=10, ha='center', va='center')  ax.text(0, 1.02, 'Count of Location name Extracted from Reuters Articles',  transform=ax.transAxes, size=12, weight=600, color='#777777')  ax.xaxis.set_ticks_position('bottom')  ax.tick_params(axis='y', colors='black', labelsize=12)  ax.set_axisbelow(True)  ax.text(0, 1.08, 'TOP 10 Location Mention in Reuters Articles',  transform=ax.transAxes, size=22, weight=600, ha='left')  ax.text(0, -0.1, 'Source: http://kdd.ics.uci.edu/databases/reuters21578/reuters21578.html',  transform=ax.transAxes, size=12, weight=600, color='#777777')  ax.spines['right'].set_visible(False)  ax.spines['top'].set_visible(False)  ax.spines['left'].set_visible(False)  ax.spines['bottom'].set_visible(False)  plt.tick_params(axis='y',which='both', left=False, top=False, labelbottom=False)  ax.set_xticks([])  plt.show() 

from sklearn.feature_extraction.text import TfidfVectorizer  tfidf_vectorizer = TfidfVectorizer(use_idf=True)  tfidf_vectorizer_vectors=tfidf_vectorizer.fit_transform(articles_word_limit[‘text_clean’])  tfidf = tfidf_vectorizer_vectors.todense()  tfidf[tfidf == 0] = np.nan  # 使用numpy的nanmean，在计算均值时忽略nan  means = np.nanmean(tfidf, axis=0)  # 将其转换为一个字典，以便以后查找  Means_words = dict(zip(tfidf_vectorizer.get_feature_names(),  means.tolist()[0]))  unique_words=sorted(means_words.items(),  key=lambda x: x[1],  reverse=True)  print(unique_words) 

from sklearn.feature_extraction.text import TfidfVectorizer  from sklearn.cluster import KMeans  from sklearn.metrics import adjusted_rand_score  vectorizer = TfidfVectorizer(stop_words=’english’,use_idf=True)  X = vectorizer.fit_transform(articles_word_limit[‘text_clean’])  k = 4  model = KMeans(n_clusters=k, init=’k-means++’,  max_iter=100, n_init=1)  model.fit(X)  order_centroids = model.cluster_centers_.argsort()[:, ::-1]  terms = vectorizer.get_feature_names()  clusters = model.labels_.tolist()  articles_word_limit.index = clusters  for i in range(k):  print(“Cluster %d words:” % i, end=’’)  for title in articles_word_limit.ix[i  [[‘text_clean’,’index’]].values.tolist():  print(‘ %s,’ % title, end=’’)