1回答
抓取大容量插入
mysql、scrapy
我有一个爬虫，从多个网站获取数据，并更新到mysql表的信息。我使用scrapy编写的crawler.The爬虫将插入/更新大量的列。是否可以批量插入/更新scrapy中的项目？
浏览 0提问于2015-02-07得票数 0
1回答
将多个Scrapy数据插入mysql
python、mysql、insert、scrapy
这是我的python代码，用于从https://bpbd.jatengprov.go.id/category/laporan-bencana/中抓取新闻数据 # -*- coding: utf-8 -*-class BepeSpider(scrapy.Spider):allowed_domains = ['bpbd.jatengprov.go.idself.count < self.COUNT_M
浏览 26提问于2019-02-11得票数 1
1回答
如何将数据从scrapy插入到mysql
python、mysql、python-2.7、web-scraping、scrapy
我正在尝试使用scrapy从amazon获取数据，我可以在CSV中获得数据，但是我无法在mysql数据库中插入数据，请找到我的代码，我的蜘蛛是。import scrapyfrom scrapy.contrib.spiders import(scrapy.Spider):
name = &quo
浏览 6提问于2014-12-05得票数 1
回答已采纳
2回答
当你可以直接插入的时候，为什么要费心去看那些东西呢？
python、scrapy
我计划用sqlalchemy将所有这些信息存储到我的数据库中。每个页面的xpath选择器非常简单，我计划使用HttpCacheMiddleware。理论上，只要有蜘蛛提供的数据，我就可以将数据插入到数据库中(这至少需要实例化hxs )。这将允许我绕过实例化任何项目子类，这样就不会有任何项目通过我的管道。我为什么要使用Scrapy的项目类？
浏览 1提问于2012-11-20得票数 1
1回答
Scrapy + PostgreSQL -自定义ETL的自动项目和管道(截断>插入>插入>删除)
python、web-scraping、sqlalchemy、scrapy
我目前的程序包括：- Current Pipeline:是否可以直接从现有数据</e
浏览 6提问于2020-01-06得票数 1
回答已采纳
1回答
Scrapy不向MySQL插入数据
python、mysql、scrapy
我尝试将Scrapy Spider的项目插入到MySQL数据库中，但当我检查数据库时，发现没有该项目。 我的管道代码如下所示。from __future__ import print_functionfrom mysql.connector import errorcodeself.create_connection()
def cre
浏览 14提问于2020-01-09得票数 0
1回答
如何将Scrapy与Mysql结合使用？
python、django、scrapy
我正在运行一个Django应用程序，该应用程序给定一个查询字符串，该应用程序返回以前存储在Mysql db中的所有项。在我看来，最好的选择是使用Scrapy，给他一些开始的urls，他可以通过简单地提取页面中的所有urls来找到其他的urls，然后，他会跟随它们提取这些页面的内容。是否可以将先前提取的数据插入Mysql (因为我没有在scrapy.org上找到有关此数据的任何信息)？
是否有内置的功能来决定扫描的“深度”？
浏览 6提问于2012-04-10得票数 0
回答已采纳
1回答
使用空字符串初始化类(scrapy Item)
python、scrapy
我正在将一个我在items.py中定义的项目类插入到mongodb中，但我需要它来插入类的所有字段，这样它就会将这些字段作为空添加到数据库中。listing类下的Name和Price将始终作为空插入，但我希望保持pipelines.py干净，这样我就可以轻松地切换到另一项。目前，如果我不将类的每个部分设置为空字符串，则在插入到数据库中时不会添加该字符串。
是否需要将每个成员初始化为空dict？像Title = scrapy.Field
浏览 1提问于2017-08-08得票数 1
2回答
刮刮MongoDB与弹性搜索同步
mongodb、elasticsearch、scrapy
我使用Scrapy从网站和mongodb获取数据以实现持久性，并使用elasticsearch进行搜索。我的问题是，当Scrapy将数据插入到Mongodb时，即使将侦听器设置为插入、更新和删除，Elasticsearch也不知道。我应该为Scrapy添加一个新插件，以便直接与Elasticsearch通信，如果是的话，为什么侦听器不听数据库发生了什么？谢谢!
浏览 0提问于2014-02-07得票数 1
1回答
选中后插入抓取数据前无行插入之前
python、mysql、insert、scrapy、mamp
在我学会爬行并能够将数据插入到mysql之后 Insert multiple Scrapy data into mysql 当我插入几个爬行数据时，我发现了另一个问题，我在mysql中的数据变得很大，因为有太多冗余数据(重复数据) 我试着像在php中一样，用WHERE NOT EXIST条件做插入操作，而不是在python中工作。(SELECT judul FRO
浏览 19提问于2019-02-20得票数 1
2回答
使用PHP和mysql将大型数据导入多个外键表
php、mysql、zend-framework、doctrine-orm
用外键从CSV向DB中的多个表插入大数据的更好方法是什么？
但是，由于我需要向多个表插入数据，并且需要使用最后一个表，所以它不能工作。插入一个表的id以连接另
浏览 5提问于2018-05-30得票数 1
1回答
如何将Python Scrapy扩展的数据插入到MySql数据库表中？
python、mysql、database、scrapy
我正在为Python Scrapy构建一个扩展，以获取爬虫相关的详细信息，如开始时间、结束时间、爬虫状态(打开、关闭或活动)。现在我需要在我的MySql数据库表中存储当前的时间戳。有人能帮我吗？我需要一个代码来连接MySql数据库从剪贴画代码，并做数据库相关的查询，如插入，选择等。谢谢..
浏览 3提问于2013-10-14得票数 0
1回答
抓取数据并提取到mysql中
python、mysql、scrapy、web-crawler、extract
我试图获取价格并将其保存到数据库中，但我找不出代码发生了什么变化，我可以提取数据，也可以在推荐中使用-o save.xml保存数据，但是当我试图集成settings.py将数据保存到MySql数据库时，我确实注意到我的数据库ID自动增量确实改变了，但是没有插入任何数据。------------------------from
浏览 4提问于2015-03-30得票数 1
回答已采纳
4回答
在mysql数据库列中插入数组
php、mysql、arrays、database
我正在尝试将表单中多选下拉列表中的值插入到mysql数据库列中。例如:下拉列表将选择一个或多个选项，然后当表单发布时，它会将数据插入到mysql数据库的一列中。我被困在如何插入数据上了。
浏览 0提问于2014-01-28得票数 2
1回答
对多个MongoDB集合的抓取写入
mongodb、web-scraping、scrapy、web-crawler、pymongo
我尝试用pymongo和scrapy将不同的项目存储在不同的mongodb集合中。我应该如何创建一个管道: 1)当爬行器打开时启动pymongo连接的字典，2)通过名称处理和识别项，3)将项插入到给定请求中的一个集合中。
我甚至不确定是否可以在scrapy中写入多个集合。
浏览 7提问于2017-02-22得票数 1
回答已采纳
2回答
刮取-如何将分层项插入数据库？
python、scrapy
我首先添加带有业务名称的品牌项目(我有品牌表)，然后添加几个业务地点(BusinessLocations表)，但我需要数据库BrandId将业务位置插入数据库。然后，我为每个业务地点添加了很少的部门记录，再次需要数据库BusinessLocationId来插入每个部门。
让我们假设我在管道中将项插入数据库。，我可以简单地假设前面处理的项目已经离开管道并且在数据库中了吗?在本例中，我只需使用通过元数据传递的一些文本唯一
浏览 1提问于2014-01-30得票数 2
1回答
process_item并行或顺序执行的刮取项管道
python、scrapy
应该使用pymysql将这些项插入数据库。因为数据是关系的，所以对于每一项，我必须执行一些插入语句。我想在每次插入后调用connection.commit()，以确保出现的错误不会导致数据库中不一致的条目。目前，我想知道scrapy是否会为多个项目调用process_item并行，还是对一个接一个的项目依次调用。： # execute insert s
浏览 6提问于2017-08-02得票数 3
回答已采纳
2回答
在scrapy中使用mysql插入数据
python、twisted、scrapy
这是我的演示，我认为没有错误，但此代码不能插入数据到mysql!？scan.spiders'这是管道代码，我认为它没有错误：from scrapyimport logfrom scrapy.http import Request
from scrapy<
浏览 1提问于2012-12-19得票数 2
回答已采纳
2回答
如何将“`scrapy`”项目作为常规的“`python`”应用程序运行，以便从lambda运行？
python、scrapy
我正在创建一个scrapy项目，其结构如下：我可以通过scrapy命令行scrapy crawl SPIDER_NAME运行这个应用程序，但是如何将这个应用程序打包成一个常规的python程序在命令行scrapy crawl SPIDER_NAME中，我不知道程序的入口点。handler方法作为它的入口点，那么如何以编程方式触发刮刮任务呢？
浏览 2提问于2019-07-22得票数 0
回答已采纳
3回答
Python web crawler与MySQL数据库
python、mysql、sql、web-crawler、web-scraping
它必须找到并跟踪链接，收集元标签和元描述，网页的标题和网页的网址，并将所有的数据放入一个MySQL数据库。
有谁知道可以帮助我的开源脚本吗？此外，如果有人能给我一些关于我应该做什么的建议，那么他们将非常受欢迎。
浏览 4提问于2011-08-11得票数 6
回答已采纳
云服务器
ICP备案
对象存储
云点播
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号