专栏首页思考的代码世界Python网络数据采集之处理自然语言|第07天

Python网络数据采集之处理自然语言|第07天

处理自然语言包括自然语言工具包和数据概括。

处理自然语言

概括数据

在之前我们了解了如何把文本内容分解成 n-gram 模型,或者说是n个单词长度的词组。从最基本的功能上说,这个集合可以用来确定这段文字中最常用的单词和短语。另外,还可以提取原文中那些最常用的短语周围的句子,对原文进行看似合理的概括。

例如我们根据威廉 ·亨利 ·哈里森的就职演全文进行分析。文章地址

from urllib.request import urlopen
from bs4 import BeautifulSoup
import re
import string
from collections import Counter

def cleanSentence(sentence):
    sentence = sentence.split(' ')
    sentence = [word.strip(string.punctuation+string.whitespace) for word in sentence]
    sentence = [word for word in sentence if len(word) > 1 or (word.lower() == 'a' or word.lower() == 'i')]
    return sentence

def cleanInput(content):
    content = content.upper()
    content = re.sub('\n', ' ', content)
    content = bytes(content, 'UTF-8')
    content = content.decode('ascii', 'ignore')
    sentences = content.split('. ')
    return [cleanSentence(sentence) for sentence in sentences]

def getNgramsFromSentence(content, n):
    output = []
    for i in range(len(content)-n+1):
        output.append(content[i:i+n])
    return output

def getNgrams(content, n):
    content = cleanInput(content)
    ngrams = Counter()
    ngrams_list = []
    for sentence in content:
        newNgrams = [' '.join(ngram) for ngram in getNgramsFromSentence(sentence, n)]
        ngrams_list.extend(newNgrams)
        ngrams.update(newNgrams)
    return(ngrams)


content = str(
      urlopen('http://pythonscraping.com/files/inaugurationSpeech.txt').read(),
              'utf-8')
ngrams = getNgrams(content, 3)
print(ngrams)

自然语言工具包

自然语言工具包(Natural Language Toolkit,NLTK)就是这样一个 Python库,用于识别和标记英语文本中各个词的词性(parts of speech)。

安装与配置

NLTK网站(http://www.nltk.org/install.html)。安装软件比较简单,例如pip安装。

➜  psysh git:(master) pip install nltk
Collecting nltk
  Using cached nltk-3.2.5.tar.gz
Requirement already satisfied: six in /usr/local/lib/python3.6/site-packages (from nltk)
Building wheels for collected packages: nltk
  Running setup.py bdist_wheel for nltk ... done
  Stored in directory: /Users/demo/Library/Caches/pip/wheels/18/9c/1f/276bc3f421614062468cb1c9d695e6086d0c73d67ea363c501
Successfully built nltk
Installing collected packages: nltk
Successfully installed nltk-3.2.5
You are using pip version 9.0.1, however version 9.0.3 is available.
You should consider upgrading via the 'pip install --upgrade pip' command.

检测一下就OK

➜  psysh git:(master) python
Python 3.6.4 (default, Mar  1 2018, 18:36:50)
[GCC 4.2.1 Compatible Apple LLVM 9.0.0 (clang-900.0.39.2)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import nltk
>>>

输入nltk.download()就可以看到NLTK下载器。

默认下载全部的包,新手减少排除的相关的麻烦。

用NLTK做统计分析

NLTK做统计分析一般是从Text对象开始的。Text对象可以通过下面的方法用简单的 Python字符串来创建:

from nltk import word_tokenize 
from nltk import Text

tokens = word_tokenize("哈哈哈哈哈")
text = Text(tokens)

word_tokenize函数的参数可以是任何Python字符串。如果你手边没有任何长字符串,但是还想尝试一些功能,在NLTK库里已经内置了几本书,可以用import函数导入:

1

from nltk.book import *

统计文本中不重复的单词,然后与总单词数据进行比较:>>> len(text6)/len(words)

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Python网络数据采集之处理自然语言|第07天

    在之前我们了解了如何把文本内容分解成 n-gram 模型,或者说是n个单词长度的词组。从最基本的功能上说,这个集合可以用来确定这段文字中最常用的单词和短语。另外...

    你好我是森林
  • Python网络数据采集之数据清洗|第06天

    你好我是森林
  • Python编程从入门到实践之条件判断|第4天

    在日常开发中需要用到如果怎么样就怎么样,否则就怎么样的逻辑。主要采用if语句来实现的。

    你好我是森林
  • linux服务器开发实战(一)——排查Flamingo服务端一个崩溃的问题

    我的flamingo服务器(关于flamingo可以参看这里)最近在杀掉进程(如使用Ctrl + C或者kill + 程序pid)偶尔会出现崩溃问题,虽然这个问...

    范蠡
  • 信息学竞赛中何谓“打表”?

    众所周知,递归有一个极大的弊端就是效率特低。假如你不会别的方法(我才不告诉你用简单的递推就能AC)。那么你甘心只得一小部分分数吗?

    海天一树
  • MagicalRecord,一个简化CoreData操作的工具库

    简介 项目主页:https://github.com/magicalpanda/MagicalRecord 实例下载:https://github.com/io...

    ios122
  • 弈聪软件卓建超:政务大数据平台建设警惕成为过去共享数据平台的翻版

    随着大数据应用的不断推进,数据开始被视为重要的战略资源,在政治领域数据的所有权是一种新的权利源泉。围绕原始数据的占有权和发布权的斗争将成为一个持久性的政治议题。...

    西安弈聪软件公司
  • 1220 数字三角形

    1220 数字三角形  时间限制: 1 s  空间限制: 128000 KB  题目等级 : 黄金 Gold 题解  查看运行结果 题目描述 Descripti...

    attack
  • 【行业】2018年你应该知道的十大机器学习算法

    本文简要介绍一些最常用的机器学习算法,没有代码,没有抽象理论,只有图片和一些如何使用它们的例子。

    AiTechYun
  • Python网络数据采集之数据清洗|第06天

    你好我是森林

扫码关注云+社区

领取腾讯云代金券