腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(909)
视频
沙龙
1
回答
lxml
错误
,
抓取
文本
数据
的
网站
html
。尝
试了
几次
迭代
、
、
我正试着从https://www.congress.gov/members
网站
上获取国会议员
的
文本
属性。我在这方面是个新手。我在youtube上看了一个教程,我觉得我已经很接近了。这是我想要获取
的
html
信息
的
一小段。以粗体显示
的
文本
。 ? 下面是我认为最接近
的
语法(使用python 2.7 - work约束): import requests,
lxml
import
l
浏览 19
提问于2021-08-16
得票数 0
回答已采纳
1
回答
从网页中提取主题/关键字
、
、
我正在寻找一个系统,以提取主题或简单
的
关键字从一个网页,只有从指定
的
网页,没有跟随所包含
的
链接。要分析
的
页面属于不同
的
站点,特别是我想分析一个人在Facebook上共享
的
链接,并从这些页面中提取主题或简单
的
关键字。非常感谢。
浏览 5
提问于2014-04-11
得票数 0
1
回答
尝试从多个
网站
访问<p>
、
、
、
、
正如标题所述,我正在尝试从多个
网站
获取所有
文本
数据
。如果我使用以下命令,我可以获取
文本
数据
(<p>):response = requests.get(url, timeout=5)things = tree.find_class(“the class that contain
浏览 11
提问于2021-06-12
得票数 0
回答已采纳
3
回答
为什么requests.get()不能在for循环中工作?
我试图
抓取
文本
文件中列出
的
网站
列表,我现在有一个返回urls
的
for循环,但不知道如何将urls放到requests.get()中,却没有得到一个404
错误
。这些
网站
分别返回200个状态代码,查看
HTML
没有问题。source = requests.get(i) soup = BeautifulSoup(content, '
lxml
'
浏览 0
提问于2019-02-08
得票数 1
回答已采纳
2
回答
尝试使用Python 3.3
抓取
数据
时出现Http
错误
405
、
、
、
我想从
网站
上
抓取
数据
;但是我总是收到HTTP: Error 405: Not Allowed。我做错了什么?(我已经查看了文档,并尝
试了
他们
的
代码,只用我
的
url代替了示例
的
url;我仍然有相同
的
错误
。)'User-Agent': 'Mozilla/5.0'})如果我跳过用户代理这一术语,
浏览 3
提问于2016-12-15
得票数 0
1
回答
Python
抓取
xpath不适用于特定站点/表
、
、
、
、
我在尝试从url
的
表中
抓取
数据
时遇到问题: 我从Stack Overflow中读到了下面的问题: import
lxml
import
lxml
.etree url =
浏览 0
提问于2014-01-18
得票数 0
1
回答
使用vpn会中断一次又一次使用相同cookie
的
python会话请求吗?
、
、
、
我从peoplefinders.com上
抓取
数据
,这是一个无法从我
的
国家访问
的
网站
,所以我基本上是在使用一个虚拟专用网络客户端。我用会话帖子登录这个
网站
,通过同一会话,我从同一
网站
的
不同页面获得项目。问题是,我在一个带有get请求
的
for循环中进行了
抓取
,但由于某些原因,我在
几次
迭代
后收到了响应400
错误
。
错误
发生在平均
抓取
4-
浏览 1
提问于2017-02-07
得票数 1
2
回答
Scrapy:修改响应中
的
元素和字段
、
、
、
我对Scrapy、Python和面向对象编程比较陌生,所以如果我遇到任何术语
错误
或不清楚
的
地方,我深表歉意。目前,我正在使用Scrapy
的
选择器
抓取
数据
,并使用
lxml
修改响应。using
lxml
body_
lxml
浏览 2
提问于2015-07-19
得票数 6
1
回答
从硬盘上打开
html
文件并对其执行xpath搜索。
、
我
的
HD上有一个
html
文件,我想对它进行xpath搜索,就像在
抓取
网站
时一样。我使用了以下代码从
网站
上
抓取
:import requests response = requests.get('http://www.website.com,这个方法很好,但是当
HTML
文件在我
的
HD上时,我该如何处理呢?我已经尝
试了
10种方法
浏览 2
提问于2016-11-26
得票数 0
回答已采纳
3
回答
使用Beautifulsoup排除多个标签
的
文本
、
、
我想用漂亮
的
肥皂从下面的
网站
上
抓取
文本
,但不是所有的
文本
。因此,我希望避免以下任何内容中包含
的
文本
:2-包含在或描述图像中
的
文本
。from bs4 import BeautifulSoup r = r
浏览 0
提问于2020-07-28
得票数 0
1
回答
如何在点击更多按钮后
抓取
网站
数据
、
、
、
我正在尝试使用BS4 + selenium学习web
抓取
。
网站
链接为 from selenium import webdriver def openUrl(link= driv
浏览 4
提问于2017-06-20
得票数 0
1
回答
Python BeautifulSoup4只显示标签,不显示
文本
、
、
我正在练习网络
抓取
,使用BeautifulSoup4从
网站
抓取
数据
。然而,当我运行我
的
代码时,当我检查
网站
上
的
元素时,它只显示开始标记和结束标记,当它们之间有明显
的
文本
时。我
的
代码: import requests url = 'https://emenscr.nesdc.go.th/thaime
浏览 33
提问于2021-07-28
得票数 0
回答已采纳
1
回答
Python -请求、lmxl和xpath不起作用
、
、
我正在尝试编写一些python来为固件/驱动程序更新而
抓取
网页,但不同
的
网页
的
响应却不同。from
lxml
import
html
url="https://downloadcenter.intel.com/product
浏览 5
提问于2019-12-25
得票数 4
回答已采纳
1
回答
因新段落而停止
的
请求
、
、
、
从
网站
抓取
数据
有以下问题,返回
的
文本
被在源代码中。我怎样才能要求在它之前和里面返回我
的
文本
?代码:import requests tree =
html
.froms
浏览 0
提问于2015-10-27
得票数 0
回答已采纳
1
回答
使用
lxml
/ xpath()从站点
抓取
文本
时遇到麻烦
、
、
我刚开始使用
lxml
,并且花了相当长
的
时间试图从特定
的
站点
抓取
文本
数据
。元素结构如下所示: from
lxml
import
html
tree =
html
.pa
浏览 1
提问于2014-09-29
得票数 0
回答已采纳
1
回答
从一个站点返回
的
数据
,而不是从另一个站点返回
的
数据
、
、
、
我只是学习巨蟒,并决定玩一些
网站
刮。我希望它做
的
是给我一个列表,其中包含页面上每个offer_title元素
的
文本
。我从Firebug
抓取
的
xpath是: /
html
/body/div1/div
浏览 1
提问于2017-04-21
得票数 1
回答已采纳
2
回答
在Python3中使用多处理
的
Web爬虫
、
、
、
、
我基本上试图得到与下面的代码相同
的
结果,但使用了多进程。下面的代码是一个基本
的
网络爬虫,它打印给定
网站
内
的
所有URL。我希望能够检查新
的
网址从多个
网站
一次使用多个进程。我有一个单独
的
web
抓取
脚本,它使用pools和apply_async一次
抓取
多个站点,但我从URL
的
静态列表开始。然后我有这个脚本,它一次
迭代
一个站点,以获得一个非重复URL
的
完整列表。我已经读过了,我觉得队列可能
浏览 0
提问于2014-02-13
得票数 0
1
回答
web
抓取
,python,请求,下载pdf文件,身份验证
、
、
我是新手,我正在尝试
抓取
一个
网站
。一些
html
文本
可以被公开访问。但是我需要在
网站
上下载一些pdf文件。我也有登录详细信息。 所以我尝
试了
这些方法。#Attempt 1: s = requests.session() login = s.get('https://www.cottongrower.com.au/Me
浏览 8
提问于2019-02-22
得票数 1
回答已采纳
2
回答
如何使用Python从网页中获取超链接
的
文本
元素?
、
、
、
、
我正在
抓取
网页
数据
,只需要返回与超链接相关
的
文本
元素。超链接和
文本
是未知
的
。这门课是众所周知
的
。ie=UTF8&ids=15112acd">Direct Name</a> </h3>或者,所需
的
文本
可以与图像而不是超链接相关联: <div class"&
浏览 1
提问于2018-12-06
得票数 1
回答已采纳
2
回答
用Selenium,BS
抓取
Java驱动
的
站点
、
、
、
、
我是Python
的
新手 我正在尝试从它
的
网站
获取打印机计数器值。这个
网站
是用Javascript写
的
,我什么也弄不出来。 站点元素看起来像这样,我需要突出显示
的
元素
的
值。我
的
最新代码看起来像这样,我尝
试了
一堆其他
的
东西,但什么都没有得到。= driver.execute_script("return document.documentElement.outerHTML") print(
h
浏览 14
提问于2019-02-01
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
爬虫入门——详解Python是如何进行网页抓取!
使用Python进行网页抓取的介绍
python爬虫超简单攻略,带你写入门级的爬虫,抓取上万条信息
Python爬虫基础学习,从一个小案例来学习xpath匹配方法
python教程|如何批量从大量异构网站网页中获取其主要文本?
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券