因为在玩Python challenge的时候，有用过这个模块，而且学习这个模块之后也对系统学习网络爬虫有用。 当时查了各种资料学习，没有碰官网文档（因为还是对英语有抗拒性），但是还是官方的文档最具权威和学习价值，因此想要此次翻译官方文档的同时，锻炼自己的英语能力，也对urllib模块加深理解。 因为是为了自己复习起来方便~所以就不一句英语一句中文的对照着翻了，有兴趣看原版的，自己点官方文档吧~ Python 3.x版本后的urllib和url
原作者及原文链接： Jack-Cui，https://blog.csdn.net/c406495762/article/details/58716886
本文介绍了如何利用Python3通过requests库向接口发送GET请求，以及通过BeautifulSoup库解析返回的HTML文档，提取出网页中的文字信息。同时，本文还介绍了如何获取网页的编码方式，以及利用第三方库chardet进行网页编码的自动判断。
大家都熟知的爬虫，爬虫就是请求网页，进行网页的抓取，那么如何进行网页的抓取呢，今天呢，给大家分享一个能够请求网页，进行数据抓取的库，python自带的urllib。
urllib.request定义了一些打开URL的函数和类，包含授权验证、重定向、浏览器cookies等。
在 Python 中有两种方式可以发送 HTTP 请求，分别是自带的 urllib 库和第三方的 requests 库。
urllib 是 Python 自带的网络请求标准库，包含了多个处理 URL 功能的模块。
额……有这种想法，感觉自己坏坏哒……其实，自己刚开始写CSDN博客，看到朋友们的博客访问量都达到几十万几百万了，而自己刚开始写，一星期过去了访问量才两位数，好拙计啊……说白了还是自己的虚荣心在作怪……尝试一下吧……
学习爬虫，最初的操作便是模拟浏览器向服务器发出请求，那么我们需要从哪个地方做起呢？请求需要我们自己来构造吗？需要关心请求这个数据结构的实现吗？需要了解 HTTP、TCP、IP 层的网络传输通信吗？需要知道服务器的响应和应答原理吗？
网上的代码基本上都是python2，这里的代码使用的是python3注意没有urllib2这个库了。
AAAAF110 0003E818 0003E1FC 0003E770 0003FFFC 90
下面代码演示了调用一个shell命令， 其中，命令的输出会存储到result变量中， 而命令的返回值，则存储到exitcode中，由此可见，调用shell命令还是很方便的：
urllib2的异常错误处理 在我们用urlopen或opener.open方法发出一个请求时，如果urlopen或opener.open不能处理这个response，就产生错误。 这里主要说的是URLError和HTTPError,以及对它们的错误处理。 URLError URLError产生的原因主要有： 没有网络连接 服务器链接失败 找不到指定的服务器 我们可以用try except语句来补货相应的异常。下面的例子里我们访问了一个不存在的域名。 #urllib2_urlerror.py impor
urllib是Python自带的标准库中用于网络请求的库 ，无需安装，直接引用即可。通常用于爬虫开发、API（应用程序编程接口）数据获取和测试。
在我们用urlopen或opener.open方法发出一个请求时，如果urlopen或opener.open不能处理这个response，就产生错误。
错误信息：ModuleNotFoundError: No module named 'urllib3'
PyHero是用python编写的软件，可让您从命令行控制GoPro HERO，HERO2，HERO3和HERO4！
爬虫所需要的功能，基本上在urllib中都能找到，学习这个标准库，可以更加深入的理解后面更加便利的requests库。
最近开始阅读一些优秀的开源项目，读完之后就顺手谢谢读后感吧，今天说说 dirsearch，开头嘛，先读个简单点的，哈哈。
参考连接： https://zhuanlan.zhihu.com/p/412408291
爬虫简介 什么是爬虫？ 爬虫：就是抓取网页数据的程序。 HTTP和HTTPS HTTP协议（HyperText Transfer Protocol，超文本传输协议）：是一种发布和接收 HTML页面的方法。 HTTPS（Hypertext Transfer Protocol over Secure Socket Layer）简单讲是HTTP的安全版，在HTTP下加入SSL层。 SSL（Secure Sockets Layer 安全套接层）主要用于Web的安全传输协议，在传输层对网络连接进行加密，保障在Int
os.rmdir() 删除空目录(删除非空目录, 使用shutil.rmtree())
模块学习： http://wsyht90.blog.51cto.com/9014030/1845737 1、getpass 2、os 3、sys 4、subprocess 5、hashlib 6、json 7、pickle 8、shutil 9、time 10、datetime 11、re 12、random 13、configparser 14、traceback 15、yaml 16、itertools 17、logging 18、urllib、urllib2 19、paramiko #########
urllib是Python3中内置的HTTP请求库，不需要单独安装，官方文档链接如下：
第一个爬虫代码的实现我想应该是从urllib开始吧，博主开始学习的时候就是使用urllib库敲了几行代码就实现了简单的爬数据功能，我想大多伙伴们也都是这么过来的。当时的感觉就是：哇，好厉害，短短几行竟然就可以搞定一个看似很复杂的任务，于是就在想这短短的几行代码到底是怎么实现的呢，如何进行更高级复杂的爬取呢？带着这个问题我也就开始了urllib库的学习。
大家好，我是架构君，一个会写代码吟诗的架构师。今天说一说urllib与urllib2的学习总结(python2.7.X),希望能够帮助大家进步!!!
第一个爬虫代码的实现我想应该是从urllib开始吧，博主开始学习的时候就是使用urllib库敲了几行代码就实现了简单的爬数据功能，我想大多伙伴们也都是这么过来的。当时的感觉就是：哇，好厉害，短短几行竟然就可以搞定一个看似很复杂的任务，于是就在想这短短的几行代码到底是怎么实现的呢，如何进行更高级复杂的爬取呢？带着这个问题我也就开始了urllib库的学习。 首先不得不提一下爬取数据的过程，弄清楚这到底是怎样一个过程，学习urllib的时候会更方便理解。 爬虫的过程 其实，爬虫的过程和浏览器浏览网页的过程是一样的
控制节点，也叫中央控制器，主要负责根据url地址分配线程，并调用爬虫节点进行具体的爬行。
包含4个子模块，常用的是urllib.request和urllib.error模块
urllib是Python中用来处理URL的工具包，源码位于/Lib/下。它包含了几个模块：用于打开及读写的urls的request模块、由request模块引起异常的error模块、用于解析urls的parse模块、用于响应处理的response模块、分析robots.txt文件的robotparser模块。
【前言】 有好一段时间都没敲py了， 今天将urllib库算是较全的学习了一下老实说还是敲py比较舒服，当然还有requests，Beautiful库，正则表达式这些对于进行对爬去文章的处理都是不可避免的。
注解：这里使用urllib2.HTTPHandler()访问https网页得到的html代码。
一、python常用的标准库 1、python标准库常见模块 操作系统相关：os 时间与日期：time，datetime 科学计算：math 网络请求：urllib 2、os模块 os模块主要对文件、目录对操作 常见的方法 os.mkdir() 创建目录 os.removedirs() 删除文件 os.getcwd() 获取当前目录 os.path.exists(dir or file) 判断文件或者目录是否存在 import os # 创建一个目录 os.mkdir('testdir') # 查看当前目录
公司项目的广告展示率太低，需要查找原因，之前做了统计埋点，运维给出过滤后的数据，一个 txt 文件 500M 以上，文件打开非常乱。
涉及到网络这块，必不可少的模式就是urllib.request了，顾名思义这个模块主要负责打开URL和HTTP协议之类的
5、解决 “NameError: name 'xrange' is not definedw” 错误提示
高中生都开始写爬虫了，可见爬虫有多热门，一个某某985高校的研究生不学习学习爬虫实在是有些落伍啦~ 一、网络爬虫和url 秉承着有事不知问度娘的习惯，小詹先查了下网络爬虫的具
下面继续学习python的web模块 --- urllib2，一个源于urllib又高于urllib的模块。
此篇文章继续跟着小甲鱼的视频来初学网络爬虫，除了小甲鱼的网站上可下载视频，发现b站上也有全套的视频哦，会比下载来的更方便些。 网络爬虫，又称为网页蜘蛛（WebSpider），非常形象的一个名字。如果你
详情见http://api.qingyunke.com/ 智能机器人API接口说明 支持功能：天气、翻译、藏头诗、笑话、歌词、计算、域名信息/备案/收录查询、IP查询、手机号码归属、人工智能聊天 接口
这种程序有自己特定的功能，能按照使用者给定的一系列规则自行浏览万维网并获取需要的信息。此类程序被称为 网络爬虫（web crawler） 或 网络蜘蛛（spider）。它具有智能分析能力，也称为 机器人程序 。
本文由腾讯云+社区自动同步，原文地址 http://blogtest.stackoverflow.club/96/
['AbstractBasicAuthHandler', 'AbstractDigestAuthHandler', 'AbstractHTTPHandler', 'BaseHandler', 'CacheFTPHandler', 'ContentTooShortError', 'DataHandler', 'FTPHandler', 'FancyURLopener', 'FileHandler', 'HTTPBasicAuthHandler', 'HTTPCookieProcessor', 'HTTPDefaultErrorHandler', 'HTTPDigestAuthHandler', 'HTTP Error', 'HTTPErrorProcessor', 'HTTPHandler', 'HTTPPasswordMgr', 'HTTPPasswordMgrWithDefaultRealm', 'HTTPPasswordMgrWithPriorAuth', 'HTTPRedirectHandler', 'HTTPSHandler', 'MAXFTPCACHE', 'OpenerDirector', 'ProxyBasicAuthHandler', 'ProxyDigestAuthHandler', 'ProxyHandler', 'Request', 'URLError', 'URLopener', 'UnknownHandler', '__all__', '__builtins__', '__cached__', '__doc__', '__file__', '__loader__', '__name__', '__package__', '__spec__', '__version__', '_cut_port_re', '_ftperrors', '_have_ssl', '_localhost', '_noheaders', '_opener', '_parse_proxy', '_proxy_bypass_macosx_sysconf', '_randombytes', '_safe_g ethostbyname', '_thishost', '_url_tempfiles', 'addclosehook', 'addinfourl', 'base64', 'bisect', 'build_opener', 'collections', 'contextlib', 'email', 'ftpcache', 'ftperrors', 'ftpwrapper', 'getproxies', 'getproxies_environment', 'getproxies_registry', 'hashlib', 'http', 'install_opener', 'io', 'localhost ', 'noheaders', 'os', 'parse_http_list', 'parse_keqv_list', 'pathname2url', 'posixpath', 'proxy_bypass', 'proxy_bypass_environment', 'proxy_bypass_registry', 'quote', 're', 'request_host', 'socket', 'splitattr', 'splithost', 'splitpasswd', 'splitport', 'splitquery', 'splittag', 'splittype', 'splituser', 'splitvalue', 'ssl', 'string', 'sys', 'tempfile', 'thishost', 'time', 'to_bytes', 'unquote', 'unquote_to_bytes', 'unwrap', 'url2pathname', 'urlcleanup', 'urljoin', 'urlopen', 'urlparse', 'urlretrieve', 'urlsplit', 'urlunparse', 'warnings']
作者：admin IDF实验室 http://blog.idf.cn/2015/02/programming-of-grabing-red-envelopes/ 背景大家都懂的，要过年了，正是红包满天飞的日子。正巧前两天学会了Python，比较亢奋，就顺便研究了研究微博红包的爬取，为什么是微博红包而不是支付宝红包呢，因为我只懂Web，如果有精力的话之后可能也会研究研究打地鼠算法吧。 因为本人是初学Python，这个程序也是学了Python后写的第三个程序，所以代码中有啥坑爹的地方请不要当
运行时报错：AttributeError: module ‘urllib’ has no attribute ‘urlopen’
urllib.request库 是 Python3 自带的模块(不需要下载，导入即可使用) python 自带的模块库文件都是在C:\Python\Lib目录下（C:\Python是我Python的安装目录），python第三方模块库都是在C:\Python\Lib\site-packages 下。 urllib.request库在windows下的路径（C:\Python\Lib\urllib）。
环境是python3.6.5以及PyCharm不得不说，JetBrains做的IDE都很不错，无论是这款PyCharm还是IntelliJ、Goland在形参处的名称提示太方便了
（一） URL地址 URL地址组件 URL组件 说明 scheme 网络协议或下载方案 net_loc 服务器所在地（也许含有用户信息） path 使用（/）分割的文件或CGI应用的路径 params 可选参数 query 连接符（&）分割的一系列键值对 fragment 指定文档内特定锚的部分 net_loc组件 user:password@host:port 组件
目前我们使用的Python 3.7.x的版本是在2018年发布的，Python的版本号分为三段，形如A.B.C。其中A表示大版本号，一般当整体重写，或出现不向后兼容的改变时，增加A；B表示功能更新，出现新功能时增加B；C表示小的改动（例如：修复了某个Bug），只要有修改就增加C。如果对Python的历史感兴趣，可以阅读名为《Python简史》的网络文章。
这段时间想玩玩python网页信息爬取，在使用urllib2这个库的时候导入失败，提示信息为：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
