腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何
从
python
抓取
的
URL
列表
中
抓取
数据
?
python
、
web-scraping
、
beautifulsoup
、
orange
我正在尝试使用Orange
中
的
BeautifulSoup4
从
同一网站
抓取
的
URL
列表
中
抓取
数据
。 当我手动设置
URL
时,我已经成功地
从
单个页面
中
抓取
了
数据
。) 并且我已经能够
抓取
我需要
的
URL
列表
from urllib.request import url
浏览 21
提问于2021-07-23
得票数 1
回答已采纳
1
回答
如何
检测
URL
列表
中
的
重复值并停止迭代?
javascript
、
node.js
、
web-scraping
、
puppeteer
我正在尝试使用puppeteer & cron
抓取
一个网站。它工作得很好,除了我不知道
如何
停止程序执行,如果检测到重复
的
url
?下面是我
的
项目的伪代码: // target = grab the <a> tag from site // saveit to the file 虽然这段代码运行良好,但当我在scheduler&
浏览 19
提问于2020-12-11
得票数 0
回答已采纳
2
回答
正在尝试
从
R
中
的
url
加载
数据
html
、
r
所以我想从这个
url
加载所有格式化
的
数据
: 转换成r,这样我就可以过滤掉其中
的
一些。一旦我得到它,我知道
如何
正确地过滤它,但我不能将它“注入”到R
中
。如果
url
以".txt“或".csv”结尾,我已经看到了许多拉取
数据
的
方法,但是如果这个
url
不是以文件类型结尾,那么我知道
如何
获取它
的
唯一方法就是拉出html,但是我得到...所有的html。有几种选择可以将文件
浏览 3
提问于2016-04-07
得票数 0
3
回答
抓取
urls
的
抓取
顺序
python
、
scrapy
我有个关于scrapy和
python
的
问题。我有几个链接。我使用循环在一个脚本
中
抓取
每个脚本
中
的
数据
。但
抓取
数据
的
顺序是随机
的
,或者至少与链接不匹配。所以我不能将每个子页面的
url
与输出
的
数据
进行匹配。 喜欢:
抓取
的
网址,data1,data2,data3。Data 1,data2,data3 =>这是可
浏览 0
提问于2018-04-18
得票数 0
5
回答
如何
从
其他网站获取
数据
?
python
、
database
、
parsing
、
web-scraping
我想创建一个网站,
从
其他网站提取信息,并将它们打印到我
的
网站上,我正在进行研究,所以我想听取一些意见,这个项目的最佳解决方案是什么?我听说
Python
使用解析器可以做到这一点,我只是想知道我应该走哪条路,应该使用哪种语言?
浏览 1
提问于2013-06-14
得票数 4
2
回答
将
数据
从
Tripadvisor导入Google电子表格或Excel
excel
、
web-scraping
、
import
、
tripadvisor
是否可以获取此
数据
的
列表
:阿姆斯特丹所有餐馆
的
名单。如果可能的话,还有详细
的
地址等等。非常感谢!
浏览 1
提问于2020-09-17
得票数 0
1
回答
从
多个页面
中
抓取
表格
python
、
beautifulsoup
我想从网站上
抓取
数据
。这个表扩展到多个页面上,但是
url
没有像page=3这样
的
东西,所以我不能遍历各个页面来获取
数据
。 有没有其他方法可以像这样
抓取
数据
,而不会在不同
的
页面上循环?
如何
从
python
访问不同
的
页面来
抓取
数据
?
浏览 19
提问于2018-03-04
得票数 0
1
回答
web爬虫
如何
构建
URL
目录以
抓取
所需内容
web
、
web-scraping
、
web-crawler
、
search-engine
我在试着了解网络爬行是
如何
工作
的
。有三个问题: 有没有用
python
编写
的
开源web爬虫?哪里是学习更多关于网络爬虫
的
最好
的
地方?
浏览 2
提问于2018-10-11
得票数 1
2
回答
如何
在带有R
的
网站
的
搜索框中直接书写
python
、
r
、
web-scraping
我正在寻找一种方法来做网页
抓取
后,在其搜索框中键入。让我用一个例子更好地解释:我正在寻找一个R函数,它直接在amazon主页上写入单词"notebook“,这样我就可以随后对生成
的
页面进行web
抓取
。也许我可以用
Python
来做?感谢大家
的
帮助。
浏览 2
提问于2021-01-25
得票数 1
1
回答
从
URL
列表
中
抓取
Python
python
、
csv
、
scrapy
我计划打开一个CSV文件,其中包含许多我想要
抓取
的
URL
。但是,在运行请求时,我只收到一个空白文档作为结果。当直接在
Python
代码
中
输入
URL
时,一切工作正常。我
的
想法是CSV文件可能有问题,因为代码似乎与其他用户
的
代码一致。 保存在与刮板相同
的
文件夹
中
的
CSV文件当前
的
格式如下: 'https://www.google.com/searc
浏览 5
提问于2019-02-11
得票数 0
3
回答
如何
从
网站拉取信息到我
的
项目中?
python
、
html
、
module
我有一个问题,那就是
从
网站获取信息到我
的
python
项目中(当项目正在运行时)。我还没有写过任何代码,因为我是这种编程
的
初学者。我想问你,我需要哪些模块以及
如何
使用它们,如果你们
中
的
一些人可以,我将感谢一些代码
的
例子。
浏览 1
提问于2020-09-18
得票数 0
2
回答
如何
抓取
没有页数
的
url
python
、
web-scraping
、
beautifulsoup
我正在
抓取
一个网页,其中有一个没有页面,我
如何
才能
抓取
这些页面,以获得我想要
的
信息。假设我正在
抓取
一个
URL
,这个页面有两个页面,我
如何
抓取
这些总页面并得到总
的
产品
列表
。到目前为止我所做
的
是:我
从
他们那里
抓取
一个
url
,我通过正则表达式
抓取
一个特定
的
url
,并试图从那个
url</em
浏览 1
提问于2016-02-28
得票数 0
1
回答
从
具有不同结构
的
不同域(主要是)
抓取
多个单页面
python
、
web-scraping
、
scrapy
、
web-crawler
、
phpcrawl
我有一个非常具体
的
urls
列表
,我需要从其中
抓取
数据
(不同
的
选择器/字段)。总共有大约1000个来自大约300个不同网站
的
链接,它们具有不同
的
结构(选择器/xpath)。我正在尝试看看是否有人对
如何
做到这一点有任何建议。我在网上寻找解决方案,可以看到人们推荐
Python
和Scrapy。虽然我对这些了解不多,并且仍然在努力理解,但我
从
网络上发现
的
似乎如果我使用Scrapy/
浏览 0
提问于2018-08-22
得票数 2
1
回答
抓取
oddsportal信息
javascript
、
parsing
、
python-3.x
、
beautifulsoup
、
scrape
我使用
的
是
Python
3.5,实际上我关注
的
是使用BeautifulSoup/lxml/Selenium/PhantomJS进行3.5
抓取
我只是想用
Python
代码
抓取
我需要
的
所有
数据
。我可以很容易地用BeautifulSoup
从
静态HTML
中
抓取
信息。我最近也发现了
如何
从动态
url
中
获取信息,使用Chrome<e
浏览 2
提问于2016-01-14
得票数 1
1
回答
使用
Python
从
Google Trends获取主题名称
的
主题id
python
、
google-trends
使用
Python
,我试图
从
Google Trends
中
抓取
“主题”(而不是“搜索词”)
的
数据
。我目前使用
的
是pytrends模块,但除非您知道topic_id,否则(目前)不可能
抓取
主题而不是搜索词。例如,如果你想
抓取
topic_name“假日”
的
数据
,你可以使用topic_id /m/03gkl进行搜索,但前提是你知道那是topic_id。 我有一个主题名称
列表</em
浏览 36
提问于2019-05-30
得票数 0
3
回答
如何
使用
Python
Pandas Lib设置For循环来读取
URL
列表
并
抓取
数据
pandas
、
python-3.7
这是我
的
第一个
Python
脚本。我目前正在尝试
从
多个
url
中
抓取
嵌入到HTML表
中
的
数据
,这些
url
位于一个名为
url
-list.txt
的
文件
中
。我已经成功地使用
Python
的
Panda库从一个页面
中
抓取
了所需
的
数据
,然而,我正在尝试执行一个简单
的<
浏览 4
提问于2019-06-08
得票数 0
2
回答
如何
使用
Python
查找(并
抓取
)给定域上
的
所有网页?
python
、
http
、
dns
我
如何
抓取
一个域名来找到所有的网页和内容?我想用
Python
做这件事,如果可能的话,最好用Beautiful Soup。
浏览 0
提问于2013-06-20
得票数 4
回答已采纳
1
回答
如何
在
python
语言中使用selenium和chromedriver
抓取
此页面?
screen-scraping
我正在尝试使用selenium和chromedriver
从
网站“”
中
抓取
数据
。当我运行代码时,chromedriver成功地输入了
url
,但无法加载页面,显示了一个空白页面。我尝试将目标网站切换到google.com,但
抓取
成功。我
的
结论是目标网站服务器检测到selenium并拒绝发送回
数据
。那么
如何
在
Python
语言中使用selenium和chromedriver
从
网站
抓取
<em
浏览 0
提问于2020-05-29
得票数 0
2
回答
从
MongoDB获取_ids
列表
-避免“distinct太大”
python
、
mongodb
、
list
、
pymongo
、
distinct
我有一个
从
网站地图.xml文件
中
抓取
数据
的
文件,并从每个页面下载一些
数据
。每次启动
抓取
函数时,我都会转到这个xml来获取要
抓取
的
url
,将它们放在一个
列表
中
,将它们与我已经下载
的
url
列表
进行比较,因此只需要
抓取
剩下
的
url
。我使用这些
URL
作为mongod
浏览 142
提问于2021-03-14
得票数 0
回答已采纳
1
回答
Coursera
URL
web
抓取
python
、
web-scraping
我有
python
代码,可以刮课程
的
细节,如course_title,评级,学生数量等,但我想课程链接以及。谁能帮助我
如何
从
coursera获取每个课程
的
URL
。
浏览 0
提问于2020-08-12
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
自学python爬虫二:如何正常操作urllib2通过指定的URL抓取网页内容
Go 爬虫在大规模数据抓取中的性能如何
如何使用Python从列表中删除指定的元素
资深技术咖详述 Python 爬虫的多线程实现思路
Python爬虫入门,快速抓取大规模数据6
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券