本期任务： 1.掌握备案号的收集 。 2.练习从http返回包中获取信息的能力。...答：备案号是网站是否合法注册经营的标志，一个网站的域名是需要去备案的。上一期我们教大家如何用搜索引擎收集网站的子域名，思路是从主域名下手，延伸下去获取尽可能多的子域名。...奉上一碗美味的汤 美味的汤，Beautiful Soup，是python的一个库，用它我们可以很方便的从html或者是xml标签中提取我们想要的内容。...标签里的文字： getlist=bsObj.find_all("span",{"class":"green"}) for get in getlist: print get.get_text...() 结果： ILoveStudy 回到上面我们获取到的返回包中，我们要的信息：分别在和标签中，并且标签属性是有规律的。
哦豁，报错了，从报错代码来看说明返回的并不能解析为json数据，没事不慌，bs4登场，我们用美丽的汤试试 soup = BeautifulSoup(res.text) soup ? 搞定?...为了再照顾一下不熟悉的读者，我已经标注了你F12之后要干嘛，先点击位置1处的小箭头，它就变成了蓝色，再点击页面中美国确诊的总人数的数字，你戳它一下，右边的页面就会自动定位到前端页面中该数字的位置，从标注...3中可以看到这个数字被存储在一个名为strong的标签中，并且class属性为jsx-1831266853，OK请执行下面代码 t = soup.find_all('strong', class_="jsx...就是从soup中找标签为'strong'，class为"jsx-1831266853"的内容? ? 返回了一个list，我们要的数据都在里面，拿总确诊人数来说，怎么取出来?...可以看到，我们刚刚取出了57个div标签，一个div标签里面有5个span，而前4个span中分别存储了州名、确诊、死亡、致死率，所以我们的思路就对每一个div取出这4个span中的内容，先取第一行?
解析器负责解析标记语言中的标签、属性和文本，并将其转换成一个可以被程序操作的数据结构，比如树形结构或者 DOM 树。这样我们就可以通过编程的方式来访问、提取和操作网页中的数据了。...text 和 string 是有区别的，text 支持从多节点中提取文本信息，而 string 只支持从单节点中提取文本信息。 获取标签名 通过 name 属性可以获取节点的名称。...# 省略部分代码 # 以下两句的输出结果是一样的 print(soup.a.attrs['href']) # 简化版 print(soup.a['href']) 嵌套选择 可以通过嵌套选择的方式精准选择元素...如果你想通过属性名等条件选择标签，可以使用 find_all 和 find 方法。...find() 方法返回的是单个元素（节点），会返回第一个匹配到的元素。 用法和 find_all() 一样，这里就不重复讲述了。
CSS Selector是通过HTML 元素的 class、id、标签名、属性等来定位元素，同时也正因此特性，该定位方式就具有很高的灵活性与可读性，精准度也较高。...另外就是无论这些span子元素是否直接作为子元素，或者嵌套在更深层次的子元素中，都是可以被后代选择器指定的。...首先 // 是从根节点开始查找，div则是查找下面的所有div元素，然后在所有的div元素中搜索id属性值为ui_automation_t的元素，最后在匹配到的结果中定位下面的所有p元素。...“轴”这个概念，说直白点它就是用来表示当前页面中节点一个大合集，掌握了轴的用法可以帮助我们快速的定位页面中的节点，在复杂的页面中，经常会有多层嵌套的的结构，我们可以跳过一些不相关的节点来直接定位到所需的节点...需要注意的是，匹配的起始数是1，而不像是下标中的从0开始计算。如果比较的结果不匹配，那么这个元素的查找结果仍然会抛出一个NoSuchElementException的异常。
前言 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式。...通常人们把 beautifulSoup 叫作“美味的汤，绿色的浓汤”，简称：美丽(味)汤 它的官方文档：https://www.crummy.com/software/BeautifulSoup/bs4...beautifulsoup4 或 easy_install BeautifulSoup4 解析库 Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如果我们不安装它...) 和 find_previous() find_all_previous()返回节点后所有符合条件的节点, find_previous()返回第一个符合条件的节点 CSS选择器 使用十分的简单，通过select...find()、find_all() 查询匹配单个结果或者多个结果如果对CSS选择器熟悉建议使用select() 记住常用的获取属性和文本值的方法 荐读： urllib的基本用法 urllib3
beautifulSoup “美味的汤，绿色的浓汤” 一个灵活又方便的网页解析库，处理高效，支持多种解析器。...在Python2.7.3之前的版本和Python3中3.2.2之前的版本,必须安装lxml或html5lib, 因为那些Python版本的标准库中内置的HTML解析方法不够稳定....story 嵌套选择 我们直接可以通过下面嵌套的方式获取 print(soup.head.title.string) 子节点和子孙节点 contents的使用 通过下面例子演示： html = """...通过list(enumerate(soup.a.parents))可以获取祖先节点，这个方法返回的结果是一个列表，会分别将a标签的父节点的信息存放到列表中，以及父节点的父节点也放到列表中，并且最后还会讲整个文档放到列表中...1和标签2 标签1 标签2 找到标签1内部的所有的标签2 [attr] 可以通过这种方法找到具有某个属性的所有标签 [atrr=value] 例子[target=_blank]表示查找所有target=
经过初始化，使用prettify()方法把要解析的字符串以标准缩进格式输出，发现结果中自动补全了html和body标签。...当然还有一种更简单的获取方式：不写attrs，直接在元素后面中括号取值也行： print(soup.p['name']) print(soup.p['class']) ''' dromouse ['title...需要注意，列表中的每个元素都是 p 节点的直接子节点。比如第一个 a 节点里面的span节点，这相当于子孙节点了，但返回结果并没有单独把span节点列出来。...方法选择器 前面聊的通过属性选择节点，但如果进行比较复杂的话还是比较繁琐。...除了 find_all 方法，还有 find 方法，不过 find 方法返回的是单个元素，也就是第一个匹配的元素，而 find_all 返回的是所有匹配的元素组成的列表。
一开始想直接通过分别发送请求再使用BeautifulSoup进行分析，但发现单纯通过发送请求获取HTML的方法行不通，因为有时候发送请求返回的是一段js代码，而最终的html代码是需要通过执行js代码获得...具体思路 采用selenium+BeautifulSoup(以下简称BS,注释中为靓汤)+pandas 思路是通过使用selenium库打开浏览器，进入相关网页，然后采用BS进行解析获取其中的评论。...，再通过pandas写到csv文件中，导出。...attrs={"class": "score"}).string) ''' 这里使用靓汤依次解析，并保存到评论中 ''' # 4.评论 # 4.1 获取页数...其实当初委托中还有要爬马蜂窝的评论，但马蜂窝的反爬机制相对较强，试了很多方法都不成功。因此最后只爬了去哪儿网和携程网。本蒟蒻知识有限，按传统功夫，点到为止，权当兴趣了解，勿喷。
引言 命名实体识别：从大段文字中识别一小段span、实体的类别 根据实体是否嵌套，分为嵌套命名实体识别nested NER（如下图）、普通命名实体识别flat NER ?...我们的目标是从X中获取实体，且实体类别为y∈Y 。y的可能取值有 PER、LOC等等 本文训练需要的是一些已标注实体的数据集，形式为三元组： ? 其中长度为m的问题 记作 ?...其中d是BERT最后一层的维度，一般d=768 3.3.2 跨度选择 MRC中跨度选择（span selection）的方法有两种： 用2个n类分类器，分别预测start下标和end下标；但是此方法只能定位一个...测试时，start和end首先分开，然后再用排列的方法来定位跨度段span 4. 实验 4.1 Nested NER的实验 ?...通过上图，上下文和标记的分类标签之间的相似度可以更好的体现出来，如Flevland和geographical、cities和state. 5.2 如何使用问句 我们采用不同的方法使用问句，并观察问句的影响
selenium 常用的元素定位方式 元素的定位应该是自动化测试的核心，想要操作一个元素，首先应该识别这个元素。Webdriver提供了一系列的元素定位方法。...() 大家如果在项目实战的过程中，会发现classname可能会存在空格类的复合元素，如class=”van-cell van-field”那么一般通过name定位通常会报错，报错的时候，我们可以在consle...这种方法，找到属性值，然后定义一个变量，通过索引的方式去进行定位元素。...什么是frame嵌套？ 通俗点的理解，就是一个页面中嵌套了另外一个网站的页面。...，切换至frame页面 driver.switch_to_frame("search") # 如果有嵌套的iframe，则再次进入到二级的ifeame中 driver.switch_to_frame(
那么接下来我们就可以通过调用soup的各个方法和属性对这串HTML代码解析了。...所以soup.title就可以选择出HTML中的标签，再调用string属性就可以得到里面的文本了，所以我们就可以通过简单地调用几个属性就可以完成文本的提取了，是不是非常方便？...，把选择的标签的所有属性和属性值组合成一个字典，接下来如果要获取name属性，就相当于从字典中获取某个键值，只需要用中括号加属性名称就可以得到结果了，比如获取name属性就可以通过attrs['name...嵌套选择 在上面的例子中我们知道每一个返回结果都是bs4.element.Tag类型，它同样可以继续调用标签进行下一步的选择，比如我们获取了head节点元素，我们可以继续调用head来选取其内部的head...注意得到的列表的每一个元素都是p标签的直接子节点，比如第一个a标签里面包含了一层span标签，这个就相当于孙子节点了，但是返回结果中并没有单独把span标签选出来作为结果的一部分，所以说contents
，我们需要做的就是： 1、从网上爬下特定页码的网页 2、对于爬下的页面内容进行简单的筛选分析 3、找到每一篇帖子的 标题、发帖人、日期、楼层、以及跳转链接 4、将结果保存到文本。...这下我们就能通过简单的url修改，达到翻页的效果了。...7-20 分析完之后，我们就能很容易的通过soup.find()方法得到我们想要的结果 具体代码的实现： ''' 抓取百度贴吧---西部世界吧的基本内容 爬虫线路： requests -...liTags = soup.find_all('li', attrs={'class': ' j_thread_list clearfix'}) # 通过循环找到每个帖子里的我们需要的信息...保存到当前目录的 TTBT.txt文件中。
令人欣慰的是，漂亮的汤让使用 HTML 变得容易多了。 从 HTML 创建一个BeautifulSoup对象 需要用包含它将解析的 HTML 的字符串来调用bs4.BeautifulSoup()函数。...用select()方法寻找元素 您可以通过调用select()方法并为您正在寻找的元素传递 CSS 选择器的字符串来从BeautifulSoup对象中检索 Web 页面元素。...从元素的属性中获取数据 Tag对象的get()方法使得从元素中访问属性值变得简单。向该方法传递一个属性名称字符串，并返回该属性的值。...点击页面 从find_element_*和find_elements_*方法返回的对象有一个click()方法，模拟鼠标点击该元素。...查找属性设置为favorite的元素的 CSS 选择器字符串是什么？ 假设您有一个漂亮的汤Tag对象存储在元素Hello, world!的变量spam中。
:值; } 子元素选择器只会查找儿子, 不会查找其他被嵌套的标签 子元素选择器之间需要用>符号连接, 并且不能有空格 后代选择器使用空格作为连接符号 | 子元素选择器使用>作为连接符号 后代选择器会选中指定标签中...; 取值: 2em, 其中em是单位, 一个em代表缩进一个文字的宽 快捷键 ti text-indent:; ti2e text-indent: 2em; 颜色属性 在CSS中如何通过color属性来修改文字颜色...作用: 一般用于配合css完成网页的基本布局 什么是span? 作用: 一般用于配合css修改网页中的一些局部信息 div和span有什么区别?...div会单独的占领一行,而span不会单独占领一行 div是一个容器级的标签, 而span是一个文本级的标签 容器级的标签和文本级的标签的区别?...容器级的标签中可以嵌套其它所有的标签 文本级的标签中只能嵌套文字/图片/超链接 容器级的标签 div h ul ol dl li dt dd ...
，我们需要做的就是： 从网上爬下特定页码的网页。...这下我们就能通过简单的url修改，达到翻页的效果了。...span> 分析完之后，我们就能很容易的通过soup.find()方法得到我们想要的结果。...liTags = soup.find_all('li', attrs={'class': ' j_thread_list clearfix'}) # 通过循环找到每个帖子里的我们需要的信息：...保存到当前目录的 TTBT.txt文件中。
：2018-03-02 00:10 ---- 什么是beautifulsoup: 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式....标签.get(属性名) 使用标签名来获取结点的文本内容： soup.标签.text soup.标签.string soup.标签.get_text() 补充1：上面的筛选方式可以使用嵌套: print...(soup.p.a)#p标签下的a标签 补充2：以上的name,text,string,attrs等方法都可以使用在当结果是一个bs4.element.Tag对象的时候: ?...，只会查找子结点 获取到结点后的结果是一个bs4.element.Tag对象，所以对于获取属性、文本内容、标签名等操作可以参考前面“使用标签筛选结果”时涉及的方法 from bs4 import...字符串中末尾缺少</span 和 </body print(c) 如果想要获得更详细的介绍，可以参考官方文档，令人高兴的是，有了比较简易的中文版： https://www.crummy.com/software
("s_ipt") element.send_keys("Selenium") 4、by_tag_name by_tag_name方法可以通过元素的标签名来查找元素。...由于搜索到的标签名通常不止一个，所以一般结合使用find_elements方法来使用。 例如打开百度首页，获取超链接地图的文本信息。...从图中可以看到标签名为a的很多，无法精确定位，需要结合name属性才能过滤出我们要的元素。...而当/出现在XPath路径中时，则表示寻找父节点的直接子节点，当//出现在XPath路径中时，表示寻找父节点下任意符合条件的子节点，不管嵌套了多少层级。...("//span[2]") 索引 driver.find_element_by_xpath("//span[substring(@name,3,5)='bruce']") 返回第一个参数中从第二个参数指定的位置开始
本书将通过一系列深入浅出的方式，带你从入门到精通CSS，探索Web开发的奥秘。...你将学到： CSS基础知识： 我们会从CSS的基础语法和常用属性开始，让你了解如何使用CSS来设置网页的样式，包括文字样式、颜色、布局等方面。...CSS动画和过渡效果： 通过CSS的动画和过渡效果，可以让网页元素变得更加生动和吸引人。我们将教你如何运用这些技术来增强用户体验。...写在一个单独的.css文件中 提示：需要通过link标签在网页中引入 作用范围 多个页面 适用于 项目 <link rel="stylesheet" href="....h等块级元素 a<em>标签</em>内部不能<em>嵌套</em>a<em>标签</em> 盒子模型： 页面<em>中</em><em>的</em>每一个<em>标签</em>多可以称为盒子 盒子分别由：内容区域，内边距区域padding，边框区域border，外边距区域margin构成。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
