1回答
Scrapy不会连接到MSSQL数据库
python、sql-server、scrapy、pymssql
但是，由于我将处理大量数据，所以我想使用MSSQL。为了找到解决方案，我已经浏览过google和堆栈溢出，但是尽管多次尝试，scrapy还是不会连接到数据库。我的哥哥是一个SQL开发人员，他帮助我建立了一个本地数据库，我可以用它来存储我的数据。所以我很确定数据库(这是非常基本的)的设置是正确的。我没有设置密码，我的数据库名为"kaercher“。我想将数据导出到名为"products_tb“的表中。我已经给了自己完整的sysadmin访问权限，所以这
浏览 1提问于2019-08-23得票数 0
回答已采纳
1回答
如何使用psycopg2将抓取的项(或dict /命名元组)放入postgres存储过程(函数)中执行插入操作
python、sql、postgresql、scrapy、psycopg2
我正在为一个数据库创建一个服务层，因此我正在创建一些函数来执行某些操作。其中一些是简单的异步插入。然而，它们有大量的参数。我正在使用scrapy对数据进行爬行，并且我使用了来自scrapy的，它有一个类似python dict的api。我不希望将存储过程签名/存储过程调用构造或insert语句中的所有字段都参数化。第一个是postgres中的create table语句，第二个是使用item接口的scrapy。我认为应该将tablename%
浏览 0提问于2012-07-13得票数 2
回答已采纳
1回答
scrapy cralwer无法解析mysql数据库中的数据
python-3.x、flask、scrapy、web-crawler、mysql-python
我用scrapy构建了一个web cralwer，并将数据存储到mysql数据库(我从一个url抓取源代码)，现在我想做离线编辑。因此，我创建了sql查询来使用python导出数据，并尝试从中爬行。事实上，我不能用scrapy来做这件事。我没能用scrapy做到这一点，如果有人有任何建议或类似的项目，可以帮助我。我尝试过使用scrapy查询数据库并将数据存储到
from scrapy.http import Htm
浏览 1提问于2019-08-14得票数 0
1回答
Scrapy:如何从crawler获取处理过的流水线项目？
python、scrapy
我创建了一个带有几个管道步骤的Scrapy Crawler。爬虫是一个更大的框架的一部分，它需要爬虫返回一个解析的项目列表。
在Scrapy中，我实现了一个包含几个规范化步骤的管道。由于Scrapy是更大的框架的一部分-如果我可以在通过整个管道后将项目返回到爬虫和/或框架，那就太好了。有没有办法做到这一点？
浏览 0提问于2013-12-05得票数 0
2回答
能自动将找到的URLS添加到MySQL数据库中的网络爬虫？
mysql、web-crawler
几乎可以说，我所追求的是一个能够自动将其发现添加到数据库中的网络爬虫，这样的东西存在吗，还是我自己做得更好？
浏览 4提问于2016-07-03得票数 0
回答已采纳
1回答
在scrapy中抓取10个链接，然后停止抓取域名并从另一个开始
python、scrapy
我正在使用scrapy。我已经给出了一个域名列表。它现在实际做的是抓取整个域，搜索pdf链接并将其存储在数据库中。这个过程是异步的。我想从每个域得到10个pdf链接，并停止爬虫。
如何做到这一点？
浏览 0提问于2014-01-14得票数 0
1回答
抓取大容量插入
mysql、scrapy
我有一个爬虫，从多个网站获取数据，并更新到mysql表的信息。我使用scrapy编写的crawler.The爬虫将插入/更新大量的列。是否可以批量插入/更新scrapy中的项目？
浏览 0提问于2015-02-07得票数 0
1回答
如何将Python Scrapy扩展的数据插入到MySql数据库表中？
python、mysql、database、scrapy
我正在为Python Scrapy构建一个扩展，以获取爬虫相关的详细信息，如开始时间、结束时间、爬虫状态(打开、关闭或活动)。现在我需要在我的MySql数据库表中存储当前的时间戳。有人能帮我吗？我需要一个代码来连接MySql数据库从剪贴画代码，并做数据库相关的查询，如插入，选择等。谢谢..
浏览 3提问于2013-10-14得票数 0
2回答
HTML抓取的最佳可用选项是什么？
web-development、html、scraping
我需要刮大量的内容，它需要存储。我使用PHP作为我的主要语言，使用MySQL作为存储DB，但是我对任何语言的选项都感兴趣，并且可以将它集成到我的工作流中。非常感谢你的建议。)
浏览 0提问于2014-03-05得票数 0
回答已采纳
1回答
当一条路由正在向数据库插入大量数据时，如何使所有其他路由正常工作？
mysql、node.js、express、sequelize.js、ejs
我最近正在用node.js做一个项目，使用express作为框架，mysql使用sequelize ORM。<code>A0</code>如何解决此问题？
如果解决方案是通过使用异步和等待，请
浏览 9提问于2020-06-07得票数 0
1回答
在python中打开BeautifulSoup页面的多线程或多线程处理
python、multithreading、beautifulsoup
我有一个程序，打开一长串的网页使用美丽汤，并从中提取数据。我知道python中的多线程比使用单线程要慢得多。这样最好的方法是什么？多线程还是创建多进程？
浏览 1提问于2014-01-16得票数 1
1回答
使用scrapy获取链接列表的内容长度
python、web-crawler、scrapy
正如标题所示，我很想知道scrapy是否可以用来处理url列表(url存储在mysql数据库中)。对于每个URL，我唯一需要的就是返回的数据的内容长度。有没有人做过类似的项目？
谢谢
浏览 0提问于2013-11-29得票数 0
2回答
刮擦地传递参数和写入MySQL
python、mysql、scrapy
我的MySQL数据库包括两个表："thelist“和"data”。，scrapy应该将检索到的电子邮件写回数据库和数据表，并且它需要命令行参数中的thelist_id值才能写入该列的信息，因此它将返回到该列表(实体的主列表)。以下是各种脚本：import scrapy
emails = scrapy.Field()
thelist_iddef p
浏览 5提问于2015-10-19得票数 1
回答已采纳
9回答
BeautifulSoup和Scrapy crawler有什么区别？
python、beautifulsoup、scrapy、web-crawler
我对BeautifulSoup比较熟悉，但对Scrapy crawler不太熟悉。
浏览 323提问于2013-10-30得票数 146
回答已采纳
1回答
无字符数限制的MySQL字符串选项？
mysql
我需要在我的MySQL数据库的列中存储大量的文本，但到目前为止我使用的所有类型都不够大，例如text、LongBlob、Longtext。如何在MySQL数据库的列中存储大量字符，必须使用哪种类型的列？
浏览 1提问于2011-07-18得票数 1
4回答
从urls列表中下载<very large> number of pages的最佳方式是什么？
python、multithreading、multiprocessing、scrapy、web-crawler
我有一个>100,000的urls (不同的域名)在一个列表中，我想下载并保存在数据库中，以便进一步处理和修补。
使用scrapy而不是python的多处理/多线程是否明智？
浏览 2提问于2013-06-06得票数 5
回答已采纳
2回答
带有MySQL MySQL innoDB持久存储的集群
mysql、cluster-computing、in-memory
我们正在研究一种数据库解决方案，以满足高可用(5.9 s)应用程序的高性能和数据一致性需求。我们计划使用MySQL集群作为内存中的主要数据存储，由备用innoDB MySQL数据存储备份，用于持久存储。建议的方法是在线应用程序只与内存中的DB (MySQL集群)交互，而MySQL集群将通过异步复制/消息传递将数据传播到innoDB实例以进行持久存储。MySQL集群或MySQL</e
浏览 3提问于2008-12-30得票数 3
1回答
ScrapingHub与远程数据库
mysql、scrapy、scrapinghub
我正在用start_urls创建一个蜘蛛，并且我想使用MySQL数据库在我的蜘蛛中获取scrapy。现在我想知道是否有可能将scrapy-cloud连接到远程数据库？
浏览 2提问于2015-07-20得票数 2
1回答
Scrapy将变量与URL一起发送到爬行器
python、scrapy、web-crawler、bots、scrapy-spider
这样我就可以再次识别数据库中的条目。Scrapy-redis默认只从redis读取一个url，然后将其发送到爬行器。
浏览 1提问于2016-02-26得票数 0
1回答
使用MySQL数据库发布“赞”的替代方案是什么？
php、mysql、html、css、database
我实现它的第一个(也是唯一的)想法是在我的MySQL数据库中创建一个新的"likes“表。该表的结构为对于“喜欢”，有没有使用MySQL表的替代方案？
浏览 0提问于2011-02-21得票数 3
回答已采纳
云服务器
ICP备案
对象存储
即时通信 IM
云直播
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号