我正在尝试创建一个项目
每隔5分钟就会自动从网站上抓取数据,并将其保存到db烧瓶应用程序中与用户进行交互。用户从db请求数据。
抓取数据的python脚本如下所示:
import os
import time
while True:
os.system(scrape.py)
time.sleep(5*60)
我最初试图在每次用户请求数据时从网站上抓取数据。但我发现它工作得太慢了。
因此,现在我正在尝试制作另一个python脚本,它从网站中抓取数据并自动保存到db中。而烧瓶应用程序只需要从db获取数据。
我的问题是,如何同时运行python脚本和烧瓶应用程序?或者有什么更好的方法来解决
如何使用nutch抓取基于身份验证的页面?我已经在nutch-site.xml、nutch-default.xml和httpclient-auth.xml中完成了所有必需的设置。不过,它仍然显示以下内容:
Generator: 0 records selected for fetching, exiting ...
Stopping at depth=1 - no more URLs to fetch.
我已经关注了下面的链接,。但是我的爬虫仍然不能抓取页面。有没有什么方法可以让我使用API密钥来帮助抓取?
我想使用scrapy从网页中抓取数据,但是从url.For示例中看不到不同页面之间的差异:
上面的url是我想从其中抓取数据的第一页,从它获取数据很容易。
这是我的代码:
__author__ = 'Rabbit'
from scrapy.spiders import Spider
from scrapy.selector import Selector
from scrapy_Data.items import EPGD
class EPGD_spider(Spider):
name = "EPGD"
allowed_domai