腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(7519)
视频
沙龙
1
回答
怎样在不使用API的前提下
爬
取
Twitter
数据
?
数据挖掘
、
python
、
api
、
twitter
、
数据
由于现在Twitter API
数据
爬
取
付费,所以我想在不使用Twitter API的情况下使用
python
爬
取到特定关键词的Twitter
数据
或者Reddit
数据
,有什么好办法吗?
浏览 217
提问于2024-01-06
1
回答
如何用
python
爬
取
数据
并保存到excel?
python
利用
python
爬
取
豆瓣电影排行榜(https://movie.douban.com/chart)的
数据
并保存到excel中。用相同代码
爬
取
网页
豆瓣top250的
数据
可以
爬
取到excel中,但将网址及相关信息改为
网页
豆瓣电影排行榜中的信息时便无法
爬
取
,也找不出问题所在。以下图片为完整代码。
浏览 291
提问于2021-01-09
0
回答
能否用腾讯云函数更新小程序云
数据
库?
云函数
、
serverless
、
微信
、
小程序
、
小程序·云开发
小程序云函数不支持
python
,所以想用
python
写腾讯云函数
爬
取
数据
更新小程序云
数据
库
浏览 314
提问于2020-09-10
1
回答
如何使用wget下载页面,但如果页面不存在,则忽略404错误消息?
wget
有没有办法让wget在下载网址或
爬
取
网页
时忽略HTTP错误响应码?
浏览 5
提问于2015-08-19
得票数 6
回答已采纳
2
回答
关闭浏览器或单击中止时,脚本不会停止
c#
、
asp.net
、
events
我写了一个网络爬虫,它在do while循环中调用
网页
,循环时间为3秒 总共有7000个网站...我解析
数据
并将其保存在我的
数据
库中。我在我的
数据
库里看到了。 我能防止这种情况吗?..现在,如果我停止webserver,这是可能的。 谢谢你,并致以最良好的问候。
浏览 0
提问于2010-01-22
得票数 0
2
回答
请问一下页面上的图片,怎样获取它的URL呢?
php
、
云直播
浏览 303
提问于2020-10-26
2
回答
大神有没有研究过美团的_token生成方法?
python
、
爬虫
、
数据分析
如题,我最近在做一个
数据
分析,想要用到美团的美食信息,于是就想用
python
爬
取
美团的
数据
,但是在构造爬虫的时候发现美团有一个_token参数,百思不得其解,还请大神指教
浏览 2169
提问于2018-09-12
0
回答
新浪微博搜索是否禁用了huginn,有什么解决办法吗?
tcp/ip
比如,用huginn
爬
网这个链接: https://s.weibo.com/weibo?换了其他地方的机器,电脑和ip不同,huginn照样无法正常
爬
取
。而在同一台机器上用 下载工具甚至简单的脚本下载这个链接的
网页
内容,却可以实现,不知道是什么情况。
浏览 89
提问于2021-09-28
0
回答
编写一个
爬
取
QQ音乐 的
python
代码?
python
、
存储
、
mp3
编写一个
爬
取
QQ音乐指定风格歌曲的前5首,并以MP3格式存储在桌面指定文件夹中 的
python
代码
浏览 56
提问于2023-04-22
1
回答
你好 可以把您那个
爬
取
二手房价信息的那些个源代码发我一份不?
scrapy
、
数据分析
、
可视化
Scrapy
爬
取
二手房信息+可视化
数据
分析 谢谢
浏览 69
提问于2021-12-30
1
回答
雅虎管道合法性
screen-scraping
、
yahoo-pipes
、
mashup
我看不出这与直接网络抓取有什么不同,除了第三方正在检索
数据
。 谢谢。
浏览 2
提问于2013-09-26
得票数 0
0
回答
使用
python
爬
取
Reddit
数据
出现错误?
数据挖掘
、
网络安全
、
reddit
、
selenium-firefoxdriver
、
连接
from selenium import webdriverfrom selenium.webdriver.firefox.options import Optionsimport timefrom
浏览 38
提问于2024-01-11
3
回答
大规模机器学习-
Python
还是Java?
java
、
python
、
machine-learning
、
nltk
、
mahout
我目前正在着手一个项目,该项目将涉及
爬
取
和处理大量
数据
(数百个
数据
集),并对它们进行挖掘以提取结构化
数据
,命名实体识别,重复
数据
删除,分类等。我熟悉来自Java和
Python
世界的ML工具: Lingpipe、Mahout、NLTK等。然而,当涉及到为如此大规模的问题选择平台时-我缺乏足够的经验来决定是Java还是
Python
。我知道这听起来像是一个模糊的问题,但我正在寻找关于选择Java或
Python
的一般建议。JVM提供了更好的性
浏览 6
提问于2012-03-15
得票数 34
回答已采纳
1
回答
IE 8的问题
internet-explorer-8
我的网站在mozila上工作正常,但当我们转到IE 8时,它在状态栏上显示错误User Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows
浏览 0
提问于2011-04-04
得票数 0
0
回答
基于
Python
的股票
数据
爬
取
?
python
、
爬虫
、
正则表达式
、
微信
使用
Python
语言编写爬虫程序,使用正则表达式将指定日期时段内的全部上市公司股票
数据
爬
取下来,并按照股票代码保存到相应的Excel文件中。 有偿联系微信:15527440125
浏览 178
提问于2020-05-23
1
回答
如何避免
爬
取
CGI生成的日历
网页
web-crawler
、
nutch
网页
由CGI程序生成。大多数
网页
的URL都包含诸如?id=2323&title=foo之类的表达式。然而,我面临的一个问题是,这个网站有一个日历。也会生成一些类似日期的
网页
。这意味着纳奇将试图抓取一些无害的
网页
,如year=2030&month=12。如何在Nutch中避免这样的陷阱?编写很多正则表达式?
浏览 1
提问于2012-01-27
得票数 0
回答已采纳
0
回答
ddproperty历史
数据
采集?
爬虫
之前从一个国外站看到过抓取泰国房产
数据
的抓取,https://www.barkingdata.com/?crawlers/ddproperty-crawler.html 不知道国内有没有谁搞过这个 ,要
爬
取
18年之前的历史
数据
浏览 52
提问于2022-05-10
5
回答
微信小程序如何从MySQL获取
数据
显示到小程序上?
云数据库 SQL Server
、
eclipse
、
小程序·云开发
我是一个研究小程序3天的 新手,就是现在想做一个类似于网易新闻样式的小程序,前台从eclipse
爬
取
数据
到MySQL,然后小程序读取MySQL中的
数据
显示到小程序中。
浏览 7268
提问于2018-05-07
回答已采纳
1
回答
如何处理UUIDS?
java
、
mongodb
、
bigdata
、
database
我有一组
数据
,其中包括网址,公司名称和一些其他有关公司的信息。我读取这些
数据
,获取URL,抓取它们,并用随机生成的UUID保存抓取的
数据
。问题是当我想重新抓取
数据
的时候。我将有一组新的
数据
-which可能是重复的-因此将生成一个新的UUID和一个新的记录。但这并不是我所期望的。我想要做的是看看哪些东西已经被
爬
取
,并更新它们,而不是添加新的记录。另外,这并不是读取URL并查看URL是否已被
爬
取
,因为公司可能会更改其URL,甚至更改其名称
浏览 1
提问于2017-09-21
得票数 0
2
回答
在Java中从某个URL调用脚本?
java
、
javascript
、
html
、
parsing
、
execute
在解析HTML
数据
之后,我希望提取其中的一些
数据
,并将其显示在显示器上。之后,用户将输入搜索词,并按下一个按钮。这个按钮将执行“搜索”按钮后面的脚本。
浏览 0
提问于2012-03-30
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
python:Requests+正则爬取网页数据
利用Python和BeautifulSoup进行网页爬取
如何轻松爬取网页数据?
Python爬取网页中表格数据并导出为Excel文件
使用Python爬取动态网页-豆瓣电影
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券