我试图获得的文本“数据”从链接https://docs.google.com/document/d/1owRcDbh6vKuohojMhFD_2d4ivGM9J-nDziVRJR9Djck/edit?我的代码是 import scrapy
name = 'mitdata'
allowed_domains =['www.docs
浏览 21提问于2020-07-14得票数 0
2回答
我目前正在为，刮，一个新闻网站编写一个Scrapy程序。我是Scrapy的初学者，我遇到了一个障碍，我无法在代码中取得进展。我正在尝试刮的网站是
在页面的html标记中，有一个带有class=“行列表-列表”的div标记。我试图在div标记中获取段落标记，但是Scrapy似乎找不到这个标记。我已经检查过任何未关闭的标签，但它们似乎都关闭了。那么为什么Scr
浏览 2提问于2019-09-19得票数 1
我正在HTML中嵌入一个谷歌文档。我的Google Doc有一个包含页码和图像的页脚。我想让文档在我的网页上显示页脚。下面是当前的代码： <iframe src="https://docs.google.com/document/d/e/2PACX-1vR59LAO6EgV98embedded=true">
浏览 0提问于2017-07-23得票数 0
3回答
今天，ScrapingHub在Scrapy上编写了一个教程，介绍它在抓取内容时如何处理网页。我可以看到，应用在Scrapy中的相同逻辑可以应用于python中的常规方法。
def processing_docs(b
浏览 0提问于2017-08-31得票数 6
回答已采纳
我正在尝试做一个网络爬虫，使用python中的scrapy，当你进行搜索时，它会提取google显示在右边的信息。 我使用的网址是：https://www.google.com/search?q=la%20cuarta 在另一个问题中，我问了同样的问题(question)，有人建议我将response.body写入文件，但我得到一个空文件，当我尝试不同的URL时，这不会发生 这是我的代码：import scrapy
class g
浏览 22提问于2019-05-28得票数 0
回答已采纳
1回答
有很多文章讨论了将文件和文件夹上传到Google Docs的拖放功能，但很少有关于在Google Docs标签之间拖放的讨论。
目前，我们有一个共享的顶层文件夹，其中包含一个子文件夹和文件树。问题是，错误拖放标签太容易了(也称为文件夹)放在一起，所以内容很容易被放错地方。有没有人知道通过Google Apps集中禁用这一功能的方法(我认真地寻找过，但找不到任何东西)，或者至少有一种方法可以在浏览器中
浏览 3提问于2012-03-02得票数 0
2回答
在没有下载文件的情况下，我检查了结果的输出，得到了唯一的数据。当我使用管道时，它会以某种方式产生副本供下载。这是我的剧本：from environment.items import fcpItem
namefsc.org/en/members']
for url in self.start_urls:
yie
浏览 1提问于2022-07-30得票数 1
回答已采纳
1回答
我正在尝试使用scrapy来收集谷歌搜索结果，并将其放入MongoDB。但是，我没有得到任何回应。我遗漏了什么？import scrapy
name = "google" start_urls = (
'https:
浏览 2提问于2015-10-05得票数 0
1回答
我正在构建一个遍历多个分页页面并从站点提取数据的爬虫：# -*- coding: utf-8 -*-from scrapy.contrib.spiders//div[3]/div[2]/text()').extract() y
浏览 0提问于2016-05-12得票数 0
我正试图在每一份盈利报告中分析表(资产负债表)中的一些数据。这里我以AMD为例，但不限于AMD。我现在的问题是，我无法读到任何东西--我的蜘蛛总是返回空的结果。我使用scrapy shell "http://example.com"测试我的xpath，我直接从Google检查器复制它，但它仍然没有工作。： Rev = scrapy.
浏览 0提问于2016-09-27得票数 1
回答已采纳
我正在尝试将google docs文件转换为html文件。我通过google docs (h1，h2，p等)给内容添加了html标签，然后我以HTML文件的形式下载了它，效果很好。我有一个问题--我想用div将特定的内容包装在我的google doc文件中，例如，每个章节都有一个div。现在这个文件只是一个html标签(h1，p，h2等)的列表，我需要它在层次结构上更正确。我尝试使用分页符和其他类似的选项，但它只是将
浏览 0提问于2021-03-01得票数 0
1回答
问题是，蜘蛛似乎停止了从第10页中的某个地方抓取内容(而需要刮掉352页)。当我检查其余元素的XPath表达式时，我在浏览器中发现它们是相同的。//div[@class='arz-col-12 arz-col-md arz-last-post__link-box']/div/div[@class='arz-last-post__info']/div//div[@
浏览 5提问于2021-12-04得票数 0
回答已采纳
一切都很好，但随着pdf链接，我也需要锚标签内的文本。 例如： <a href='../some/pdf/url/pdfname.pdf'>Project Report</a> 考虑到这个锚标签，在回调中我得到了响应对象，以及这个对象，我需要在标签中包含文本，例如'Project Report我已经通过https://docs.scrapy
浏览 19提问于2019-04-01得票数 1
1回答
刮擦蜘蛛误差处理
、、
我刚开始在python上编程和使用scrapy。我正在爬行一个网页，然后将集合保存到mongoDB。我正面临一个错误的网页爬行。这是我的代码：class StackItem(Item):# name = scrapy.Field()newsmain = Field()
from s
浏览 1提问于2016-11-20得票数 0
2回答
刮伤xpath不捕获标记
、、、
在这种情况下，我想让Scrapy提取出“圆形大小”。但事实证明，Scrapy无法捕捉dl下的任何子节点。response.xpath('//[@id="termsheet"]/div/section[1]/div/dl/li[2]/dt/span').extract()
Xpath表达式是从Chome inspect我分别测试这个表达式，它可以捕获li标签。我在</em
浏览 7提问于2016-06-06得票数 0
回答已采纳
我注意到，在某些情况下，Chrome似乎没有向docs.google.com发出HTTP请求。我在使用Wireshark捕获流量时所做的事情：
我找不到一个到docs.google.com的HTTP请求我知道有些技术，如SPDY、cache清单和DNS CNAMEs可能会产生干扰，但在我的脑海中，没有一个能真正使请求消失，特别是在<
浏览 2提问于2012-11-08得票数 1
回答已采纳
在Scrapy shell上执行fetch(url)fetch(r)
response.xpath("//div[@class='ant-col-20 ant-col-push-4 c1
浏览 1提问于2020-07-24得票数 1
我昨天发现Scrapy默认使用robots.txt文件(ROBOTSTXT_OBEY = True)。如果我用scrapy shell url请求一个URL，如果我得到了响应，这是否意味着url不受robots.txt的保护？
浏览 13提问于2019-03-22得票数 2
回答已采纳
1回答
但是，由于它们在子页面上可用，所以我只得到get，而不是图像的实际https://www.goldenproperty.co.za/property/for-sale/tamboerskloof/retail-for-saledef parse(self, response): link= prop.css('a::attr(
浏览 17提问于2019-05-27得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
