如何通过数据字段挖掘需求，这对分析师来说是基本的能力了。...在互联网世界中，我们可以通过各种各样的手段方法获得丰富的数据，比如数据爬虫、手机采样，甚至是各种各样的行为数据、城市数据都变得更加透明和可获得。...然后，在实际工作中，我们经常会遇到有了各种个月的数据后会遇到怎么样使用、怎么盈利的问题，这里并不会讨论法律允许之外的贩卖数据的问题，讨论的是如果利用数据产品各种个月利润的问题。...假设A公司是为B公司提供数据分析的乙方公司，B公司是一家通信领域的运营商，B公司拥有一大批数据，这些数据主要包括手机号码、对应手机号码访问的网址和时间、以及经纬度，那么数据分析公司A公司如何通过上面的数据让童装店以及银行各自获利呢...三、回答童装店和银行是怎么盈利的问题。 既然是盈利的问题，就需要明白盈利=利润-成本，这里提高利润和降低成本都会在一定程度上实现盈利，这里就需要分别讨论利润和成本的问题了。
选取所有class包含container的节点 li a 选取所有li下的所有a节点 ul + p 选择...选取所有href属性值以http开头的a元素 a[href$=".jpg"] 选取所有href属性值以.jpg结尾的a元素 input[type=radio]:checked...非贪婪（尽可能少匹配字符） ^ 字符串开头 $ 字符串结尾 \A/\Z 指定的字符串必须出现在开头...*] 选取所有带属性的title元素 //div/a|//div/p 选取所有div元素的a和p元素 //span|//ul...选取文档中的span和ul元素 article/div/p|//span 选取所有属于article元素的div元素的p元素以及文档中所有的span元素
上个章节说到从Spider的角度来看，爬取的运行流程如下循环： 以初始的URL初始化Request，并设置回调函数。...在回调函数内，可以使用选择器(Selectors) 来分析网页内容，并根据分析的数据生成Item。 最后，由Spider返回的Item将被存到数据库或存入到文件中。...可以看出来使用Selector来分析提取网页内容是在编写Spider中必不可少，同时也是最重要的工作之一，这一章节我们就来学习使用Selector如何提取网页数据。... 元素的每个 元素 [attribute^=value] a[src^="https"] 选择其 src 属性值以 "https" 开头的每个 元素 [attribute$=value...] a[src$=".pdf"] 选择其 src 属性以 ".pdf" 结尾的所有 元素 [attribute*=value] a[src*="abc"] 选择其 src 属性中包含 "abc"
/ 从根节点选取，在路径中间时表示一级路径 // 从当前节点开始选择文档中的节点，可以是多级路径 . 从当前节点开始选取 .....//body/div ` ` //body/ul 选取body的所有div和ul元素。 body/div 相对路径，选取当前节点的body元素的子元素div。绝对路径以 / 开始。...XPath函数 Xpath的函数很多，涉及到错误、数值、字符串、时间等等，然而我们从网页中提取数据的时候只会用到很少的一部分。其中最重要的就是字符串相关的函数，比如contains()函数。...)]') 跟contains()类似的字符串匹配的函数还有： starts-with(string1, string2) 判断string1是否以string2开头 ends-with(string1,...string2) 判断string1是否以string2结尾 matches(string, pattern) 通过正则表达式匹配 然而，在lxml的xpath中使用ends-with(), matches
属性选择器 1E[att$=”val”]{ sRules } 选择具有att属性且属性值为以val结尾的字符串的E元素。 1 29 4E[att^=”val”]{ sRules } 选择具有att属性且属性值为以val开头的字符串的E元素。...选择具有att属性且属性值为包含val的字符串的E元素。...> 21 7E[att|=”val”]{ sRules } 选择具有att属性且属性值为以val开头并用连接符”-“分隔的字符串的E元素。...--E[att|="val"]：选择具有att属性且属性值为以val开头并用连接符"-"分隔的字符串的E元素。
> 元素 $("tr:even") 选取偶数位置的 元素 $("tr:odd") 选取奇数位置的 元素 $('[name^="value"]') 匹配 name 以 value 开头的元素...$('[name$="end"]') 匹配 name 以 end 结尾的元素 $('[class*="text"]') 匹配class属性包含text的元素 $('#demo>p') 子代选择器,通过父元素找子元素...console.log(d) first 和 last 从查询结果筛出第一个和最后一个元素 var p1 = $('p:first'); //查找 第一个p元素 console.log...(p1) var p2 = $('p:last'); //查找 最后一个p元素 console.log(p2) 模糊匹配 模糊匹配属性以什么开头和以什么结尾的元素 var p1.../匹配以info结尾的class属性 console.log(p2) 匹配属性包含指定字符的元素 var p3 = $('[class*="text"]'); // 匹配包含text的class
Requests 库 这是一个网络请求库，主要的作用是可以模仿浏览器，发送网络请求，下载网页源码等。 上一篇已经讲了如何安装，不再赘述。...get和post是最常用的两种请求，其他请求详见HTTP协议内容。...的节点 .container 选择所有class包含container的节点 div,p 选择所有 div 元素和所有 p 元素 li a 选取所有li 下所有a节点 ul + p 选取ul后面的第一个...p元素 div#container > ul 选取id为container的div的第一个ul子元素 ul ~p 选取与ul相邻的所有p元素 a[title] 选取所有有title属性的a元素 a[...^=”http”] 选取所有href属性值中以http开头的a元素 a[href$=”.jpg”] 选取所有href属性值中以.jpg结尾的a元素 input[type=radio]:checked 选择选中的
> 效果如下 鼠标经过的元素后的所有兄弟元素全部触发样式 三、属性选择器 属性选择器专门用于通过元素的属性及其值匹配页面中的元素，当类，id和元素选择器无法区分元素时...”、“en-gb”等 E[attribute *= val] 选择属性attribute的值包含val子字符串的E元素 E[attribute ^= val] 选择属性attribute的值以val开头的...E元素，val为完整的单位或单词的一部分 E[attribute $= val] 选择属性attribute的值以val结尾的E元素，val为完整的单位或单词的一部分 现在通过一些例子来加深一下印象...，上面得例子就是class属性包含nav的所有a元素生效 E[attribute ^= val]选择器：选择属性attribute的值以val开头的E元素，val为完整的单位或单词的一部分 html代码...attribute的值以val结尾的E元素，val为完整的单位或单词的一部分 html代码 doc文件 <a href="http:/
再如： $("Hello").appendTo("body"); $()中的是一个字符串，用这样一段字串构建了jQuery对象，然后向中添加这一字串...; }); 对于选择HTML文档中的elements，jQuery有两种方法： 1）如$("div>ul a")，它的意思是div标签中的ul标签中的a标签 不过，$('div>ul')和$('...不过有一点——$('div>ul')和$('div ul')是有区别的， $('div>ul')是的直接后代里找；而$('div ul')是在的所有后代里找。...$('ul li')和$('ul[li]')虽然返回的都是一个jQuery数组，但两者的含义正好相反。前者是要找下所有子孙，而后者却是在找所有子孙为的数组。...在XPath中，要找一个“以...开头”的属性，用^=，如找一个name属性是以mail开头的input元素，就用 $('input[@name^="mail"]') 要找一个“以...结尾”的属性
，根组件 App 除外 有意义的名词、简短、具有可读性 命名遵循 PascalCase 约定 公用组件以 Abcd (公司名缩写简称) 开头，如（AbcdDatePicker,AbcdTable） 页面内部组件以组件模块名简写为开头...复杂的业务逻辑处理说明 特殊情况的代码处理说明,对于代码中特殊用途的变量、存在临界值、函数中使用的 hack、使用了某种算法或思路等需要进行注释描述 多重 if 判断语句 注释块必须以/**（至少两个星号...-- bad --> {{ todo.text }} 避免 v-if 和 v-for 同时用在一个元素上...scoped 中出现 官方文档说明:在 scoped 样式中，类选择器比元素选择器更好，因为大量使用元素选择器是很慢的 分类的命名方法(使用单个字母加上"-"为前缀) 布局（grid）（.g-）...父级选择器的伪类选择器 (:first-letter, :hover, :active etc) 伪类元素 (:before and :after) 父级选择器的声明样式 (.selected, .active
Django ORM框架的功能： 建立模型类和表之间的对应关系，允许我们通过面向对象的方式来操作数据库。 根据设计的模型类生成数据库中的表格。 通过方便的配置就可以进行数据库的切换。...从SQL 的角度，QuerySet和SELECT 语句等价，过滤器是像WHERE 和LIMIT 一样的限制子句。...以…开头 __istartswith 以…开头 忽略大小写 __endswith 以…结尾 __iendswith 以…结尾，忽略大小写 __range 在…范围内...="aaa")).all() print(q1) Q对象可以组合使用&,|操作符,当一个操作符是用于两个Q对象时,会产生一个新的Q对象 #查找以"aaa"开头,或者以"bbb"结尾的所有title Q(...查询条件: #查找以"aaa"开头,以"bbb"结尾的title且书的id号大于4的记录 Q(title__startswith="aaa") | Q(title__endswith="bbb"),book_id
正则表达式介绍 正则表达式 ：一组由字母和符号组成的特殊文本，可以帮助我们从某个复杂的字符串中，提取出满足我们要求的特殊文本。...为了更加方便记忆和学习正则表达式，我将这些分成了匹配单个字符、匹配多个字符、匹配开头结尾、匹配分组来分别讲解。 3. 匹配单个字符 代码 功能 ....匹配开头和结尾 代码 功能 ^ 匹配字符串开头， [^指定字符]: 表示除了指定字符都匹配 $ 匹配字符串结尾 示例1：^ # 匹配以数字开头 match_obj = re.match("^\d.*"...$ # 匹配以数字开头中间内容不管以数字结尾 match_obj = re.match("^\d....match()：匹配字符串的开头，如果开头匹配不上，则返回None； search()：扫描整个字符串，匹配后立即返回，不在往后面匹配； findall()：扫描整个字符串，以列表形式返回所有的匹配值；
XPath 用于在 XML 文档中通过元素和属性进行导航 【XPath 使用路径表达式来选取 XML 文档中的节点或者节点集】 Xpath的缺点 Xpath 这种定位方式， webdriver会将整个页面的所有元素进行扫描以定位我们所需要的元素...标签 选取此节点的所有子节点，类似 css 中的标签选择器 / > 从根节点选取，也就是当前节点的最顶层（默认情况下当前节点是 html 最顶层，若从某元素开始，当前节点为此元素） // 空格...，后代选择器 从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置 ....所以不推荐使用绝对路径的写法 相对路径定位 作用：相对路径 以"//" 开头， 让xpath 从文档的任何元素节点开始解析（也就是说每个节点都作为起点找一下） 和绝对路径的区别：绝对路径 以 "/"...开头，让xpath 从文档的根节点开始解析 索引定位 跟Python的列表一样，通过[ 1 ]下标去找，注意！
//span | //ul 选取文档中的span和ul元素 article/div/p | //span 选取所有属于article元素的div元素的p元素以及文档中的所有span元素 //div[@...的h2标签 //div[not(contains(text(),'activated'))] 选择标签内容中不包含activated的div标签 XPATH如何选择不包含某一个属性的节点 我们知道选择包含某一特定属性的节点...那么不含某属性的节点如何用xpath取得呢？ 这里可以用到not。...下的所有a节点 （子节点） ul + p 选择ul后面的第一个p元素（兄弟节点） div#container > ul 选取id为container的div的第一个ul子元素 ul ~ p 选取与ul相邻的所有...href^="http"] 选取所有href属性值以http开头的a元素 a[href$=".jpg"] 选取所有href属性值以.jpg结尾的a元素 inupt[type=radio]:checked
//不匹配 （4） 子串匹配属性选择器--匹配属性值以指定的字符串开头、结尾或者含有某个字符串 [abc^="def"] 选择 abc 属性值以 "def"...开头的所有元素 [abc$="def"] 选择 abc 属性值以 "def" 结尾的所有元素 [abc*="def"] 选择 abc 属性值中包含子串 "def" 的所有元素 <style type...h1 + p {margin-top:50px;} 这个选择器读作：“选择紧接在 h1 元素后出现的段落，h1 和 p 元素拥有共同的父元素”。...伪元素为DOM树没有定义的虚拟元素。不同于其他选择器，它不以元素为最小选择单元，它选择的是元素指定内容。 在CSS3中，伪类与伪元素在语法上也有所区别，伪元素修改为以::开头。...但因为历史原因，浏览器对以:开头的伪元素也继续支持，但建议规范书写为::开头。 (adsbygoogle = window.adsbygoogle || []).push({});
[attribute=value] : 用于选取带有指定属性和值的元素 [attribute~=value] : 用于选取属性值中包含指定词汇的元素 [attribute|=value] : 用于选取带有以指定值开头的属性值的元素...，该值必须是整个单词匹配属性值以指定值开头的每个元素。...[attribute^=value] : 匹配属性值以指定值开头的每个元素 [attribute$=value] : 匹配属性值以指定值结尾的每个元素 [attribute*=value] : 匹配属性值中包含指定值的每个元素...li[class$="-box"] : 匹配带有一个名为attr的属性的元素，其值结尾为value子字符串。...在 CSS2 中，它们称为派生选择器，但是无论你如何称呼它们，它们的作用都是相同的。
/ 绝对路径匹配，从根节点选取。 // 相对路径匹配，从所有节点中查找当前选择的节点，包括子节点和后代节点，其第一个 / 表示根节点。 . 选取当前节点。 .. 选取当前节点的父节点。.../text() 文本匹配，表示值取当前节点中的文本内容。 contains() //div[contains(@id,'stu')] 模糊匹配，表示选择 id 中包含“stu”的所有 div 节点。...start-with() "//input[start-with(@id,'st')]" 匹配 id 以 st 开头的元素。...ends-with() "//input[ends-with(@id,'st')]" 匹配 id 以 st 结尾的元素。...如何每天自动发送微信消息给女朋友说晚安 又给家人们送福利了-清华出版的python 八千字直接带你学完《基于Python的Selenium4从入门到高级》全教程
它是基于 XPath 表达式构建的它是一种从 XML 文档中查找和提取元素和属性的语言。...-- 其他书籍 -->如何从 "books.xml" 中选择节点？XQuery 使用函数和路径表达式来从 XML 文档中提取数据。...如何使用 FLWOR 从 "books.xml" 中选择节点？...XQuery 元素、属性和变量必须是有效的 XML 名称。XQuery 字符串值可以使用单引号或双引号括起来。XQuery 变量以 $ 开头，后跟一个名称，例如 $bookstore。...XQuery 选择和过滤XML 示例文档在浏览器中查看 "books.xml" 文件。
如下： $('#div1') // id为div1的元素 .children('ul') //该元素下面的ul子元素 .slideDown('fast') //高度从零变到实际高度来显示ul元素 .parent...() //跳到ul的父元素，也就是id为div1的元素 .siblings() //跳到div1元素平级的所有兄弟元素 .children('ul') //这些兄弟元素中的ul子元素 .slideUp...[abc123] : 匹配‘abc123’中的任意一个字符 [a-z0-9] : 匹配a到z或者0到9中的任意一个字符 限制开头与结尾： ^ 以紧挨的元素开头 $ 以紧挨的元素结尾 那么参数部分，常用的有...); //创建一个空的div var $div2 = $('这是一个div元素'); 移动或者插入标签的方法 1、 append() 和 appendTo()：在现存元素的内部，从后面放入元素...，从后面放入元素 4、 before() 和 insertBefore()：在现存元素的外部，从前面放入元素 删除标签 $('#div1').remove(); 3.4 对象 JavaScript 的对象
2 element p 选择所有元素 1 element,element div,p 选择所有元素和元素 1 element* *element div p 选择元素内的所有...属性以 en 为开头的所有元素 2 :link a:link 选择所有未访问链接 1 :visited a:visited 选择所有访问过的链接 1 :active a:active 选择活动链接 1...属性的起始值="it"的所有元素 2 element1~element2 p~ul 选择p元素之后的每一个ul元素 3 [attribute^=value] a[src^="https"] 选择每一个...src属性的值以"https"开头的元素 3 [attribute$=value] a[src$=".pdf"] 选择每一个src属性的值以".pdf"结尾的元素 3 [attribute=value*...] a[src*="python"] 选择每一个src属性的值包含子字符串"python"的元素 3 :first-of-type p:first-of-type 选择每个p元素是其父级的第一个p元素
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
