W3School官方文档：http://www.w3school.com.cn/xm...
最近一直在自学Python爬虫里面的「解析库的使用」，学习的过程中很多知识点边学边忘，当然，这也是每一个学习编程语言的人都会遇到的问题。所以，我准备把学习的解析库的基础知识整理出来，供大家交流学习，自己也可以随时复习。
官方推荐使用lxml作为解析器,因为效率更高. 在Python2.7.3之前的版本和Python3中3.2.2之前的版本,必须安装lxml或html5lib, 因为那些Python版本的标准库中内置的HTML解析方法不够稳定
BeautifulSoup 是一个可以从 HTML 或 XML 文件中提取数据的 Python 库，它能够将 HTML 或 XML 转化为可定位的树形结构，并提供了导航、查找、修改功能，它会自动将输入文档转换为 Unicode 编码，输出文档转换为 UTF-8 编码。
我想在我的个人网站上展现我在Github上提交代码的组织名称，并且不用我手动更新提交记录的变化。Github提供了读取数据的API，但是，不能体现出我想一些开发组织提交的代码。这就是我之所以要爬取那些信息的原因。本文的代码仓库：https://github.com/DahlitzFlorian
参考连接： XPath教程 https://www.w3school.com.cn/xpath/index.asp lxml文档 https://lxml.de/index.html#support-the-project 爬虫专栏 https://blog.csdn.net/m0_38139250/category_12001010.html
现在一般的web开发框架安全已经做的挺好的了，比如大家常用的django，但是一些不规范的开发方式还是会导致一些常用的安全问题，下面就针对这些常用问题做一些总结。代码审计准备部分见《php代码审计》，这篇文档主要讲述各种常用错误场景，基本上都是咱们自己的开发人员犯的错误，敏感信息已经去除。
首先来了解一下lxml，很多常用的解析html的库都用到了lxml这个库，例如BeautifulSoup、pyquery。
本文带大家学习网页解析库Xpath——lxml，并通过python代码举例讲解常用的lxml用法
python爬虫抓取网页内容，需要对html或xml结构的数据进行解析，如果用正则，单是写正则表达式就让很多望而生畏了。
用python实现csdn博主全部博文下载，html转pdf，有了学习的电子书了。。。（附源码）
XPath 是一种查询语言，用于在HTML/XML文档中定位和提取一些片段。XPath也是一个W3C标准。XPath只能处理DOM，所以必须先将HTML或XML文档加载解析成DOM。在Python中可以用lxml保的etree来 执行DOM解析和XPath查询。
XPath介绍： 是什么？ 全称为XML Path Language 一种小型的查询语言 说道XPath是门语言，不得不说它所具备的优点： 1） 可在XML中查找信息 2） 支持HTML的查找 3） 通过元素和属性进行导航
Xpath表达式可以用来检索标签内容： 获取 标签的所有class属性： //div/@class
这个同学自己开发了一个Python包，这个包在使用pip安装时，会产生一些临时文件。他希望安装完成以后，能够自动清理这些临时文件。
1、文档类型定义（DTD）可定义合法的XML文档构建模块。它使用一系列合法的元素来定义文档的结构。
XPath 表达式 描述 nodename 选取此节点的所有子节点 / 从根节点选取 //xxx 从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置 . 选取当前节点 .. 选取当前节点的父节点 @xxx 选取属性内容 /text() 选取文本内容 starts-with(@属性名称，属性字符相同部分) 以相同字符开始 演示使用HTML内容 html = ''' <!DOCTYPE html> <html> <head lang="en"> <meta charset="UTF-8">
Beautiful Soup 4 库它是一个从HTML或者XML文件中提取数据的Python库。使用它，将极大地简化从网页源码中提取数据的步骤。
今天我们将要学习如何使用BeautifulSoup库来抓取网站。BeautifulSoup是一个很好的工具，用于解析HTML代码并准确获取所需的信息。因此，无论您是从新闻网站，体育网站，还是在线商店的价格中提取新闻等，BeautifulSoup和Python都可以帮助您快速轻松地完成这些工作。
前面，我们实现了一个最基本的爬虫，但提取页面信息时使用的是正则表达式，这还是比较烦琐，而且万一有地方写错了，可能导致匹配失败，所以使用正则表达式提取页面信息多多少少还是有些不方便。
XXE漏洞全称XML External Entity Injection，即XML外部实体注入漏洞。引用程序在解析XML时，如果没有禁止外部实体的加载，理论上可以加载外部文件（操作系统层面的文件），可以造成文件读取，命令执行，内网端口扫描等。以bwapp的xxe为例
1.xpath 1.1 xpath使用： google提前安装xpath插件，按ctrl + shift + x 出现小黑框 安装lxml库 pip install lxml ‐i https://pypi.douban.com/simple 导入lxml.etreefrom lxml import etree etree.parse() 解析本地文件html_tree = etree.parse('XX.html') etree.HTML() 服务器响应文件html_tree = etree.HTML(
DTD：Document Type Definition 即文档类型定义，用来为XML文档定义语义约束。可以嵌入在XML文档中(内部声明)，也可以独立的放在一个文件中(外部引用)，由于其支持的数据类型有限，无法对元素或属性的内容进行详细规范，在可读性和可扩展性方面也比不上XML Schema。
XPath，全称 XML Path Language，即 XML 路径语言，它是一门在XML文档中查找信息的语言。XPath 最初设计是用来搜寻XML文档的，但是它同样适用于 HTML 文档的搜索。
删除所有的 -lssl 和 -lcrypto 然后添加 libssl.dylib 和 libcrypto.dylib 的路径（如果你安装了 brew，那么则是 /usr/local/opt/openssl/lib/），重新运行 make 命令，done。
Python3 默认提供了urllib库，可以爬取网页信息，但其中确实有不方便的地方，如：处理网页验证和Cookies，以及Hander头信息处理。 为了更加方便处理，有了更为强大的库 urllib3
XXE定义: XXE，"xml external entity injection"，即"xml外部实体注入漏洞" 攻击者通过向服务器注入指定的xml实体内容，从而让服务器按照指定的配置进行执行，导致问题。
上一节我们实现了一个最基本的爬虫，但提取页面信息时我们使用的是正则表达式，用过之后我们会发现构造一个正则表达式还是比较的繁琐的，而且万一有一点地方写错了就可能会导致匹配失败，所以使用正则来提取页面信息多多少少还是有些不方便的。
xml是可扩展标记语言(EXtensible Markup Language)的缩写。它与HTML类似同为w3c推荐标准，但是比HTML要严谨。因为它所有的标签一定要闭合。 同时它也可以用自己定义的标签，但是XML是不作为的标记语言，不像HTML，XML只是将数据结构化存储与传输。
XXE（XML外部实体注入，XML External Entity) ，在应用程序解析XML输入时，当允许引用外部实体时，可构造恶意内容，导致读取任意文件、探测内网端口、攻击内网网站、发起DoS拒绝服务攻击、执行系统命令等 当使用了低版本php,libxml低于2.9.1或者程序员设置了libxml_disable_entity_loader(FALSE)就可以加载外部实体
靶机下载链接：https://download.vulnhub.com/xxe/XXE.zip
lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高 XPath，全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言，它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索 XPath的选择功能十分强大，它提供了非常简明的路径选择表达式，另外，它还提供了超过100个内建函数，用于字符串、数值、时间的匹配以及节点、序列的处理等，几乎所有我们想要定位的节点，都可以用XPath来选择 XPath于1999年11月16日成为W3C标准，它被设计为供XSLT、XPointer以及其他XML解析软件使用，更多的文档可以访问其官方网站：https://www.w3.org/TR/xpath/
由于是静态网页，我用的是绝对路径 ，我就直接存放在桌面的目录里： C:\Users\伟\Desktop\网页作业\另一个网页作业\11.html
lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高
今天有一个用户来跟我反馈，GNE 0.1.4 版本在提取澎湃新闻时，只能提取一小部分的内容。
爬虫是什么：自动从网络上收集信息的一种程序。一整套关于数据请求、处理、存储的程序，这之间又设计到关于网络、数据结构的一些知识。详细的有数据的采集、处理、存储三方面的知识。 为什么会有爬虫呢：可以从网络上爬取到大量自己需要的数据。 我们在哪里用到爬虫：自动采集帖子、发帖、秒杀、抢购东西。 怎样才能学好爬虫：冷静、仔细、耐心、多写代码。
抓取网站的代码实现很多，如果考虑到抓取下载大量内容，scrapy框架无疑是一个很好 的工具。下面简单列出安装过程。PS：一定要按照Python的版本下载，要不然安装的时候会提醒找不到Python。
刚开始学习网络安全的时候接触过XML外部实体注入，不过当时没有博客，今天在刷题的时候又碰到了关于XML外部实体注入的知识点，就想博客上也没有就简单的写一篇吧，为了以后再学习的时候能够用到。
安装scrapy过程中出现各种包安装错误，所以自己一直看教程知道scrapy安装需要准备好各种环境 。
这几天，很多朋友在群里问Scrapy安装的问题，其实问题方面都差不多，今天小编给大家整理一下Scrapy的安装教程，希望日后其他的小伙伴在安装的时候不再六神无主，具体的教程如下。
以链家网为例，解析网页打印出来的东西居然不是想象中的html文件，而是“<Element html at 0x52e5c10>”这么个东西。这个东西其实是一个元素，后面会介绍到。现在还是说说怎么把这个东西变成我们能看懂的html内容吧。
要了解xxe漏洞，那么一定得先明白基础知识，了解xml文档的基础组成。另外php版本大于5.4.45的默认不解析外部实体
Scrapy已经支持Python3了https://blog.scrapinghub.com/2016/02/04/python-3-support-with-scrapy-1-1rc1/
通过《网络爬虫和相关工具》一文，我们已经了解到了开发一个爬虫需要做的工作以及一些常见的问题，至此我们可以对爬虫开发需要做的工作以及相关的技术做一个简单的汇总，这其中可能会有一些我们之前没有使用过的第三方库，不过别担心，这些内容我们稍后都会一一讲到。
小编学习爬虫的时候，遇到很多Scrapy安装的问题，其实问题方面都差不多，今天小编给大家整理一下Scrapy的安装教程，希望日后其他的小伙伴在安装的时候不再六神无主，具体的教程如下。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
