Scrapy不向MySQL插入数据

文章/答案/技术大牛

发布

1回答

python、mysql、scrapy

我尝试将Scrapy Spider的项目插入到MySQL数据库中，但当我检查数据库时，发现没有该项目。我的管道代码如下所示。from __future__ import print_functionfrom mysql.connector import errorcodeself.create_connection() def create_conne

浏览 14提问于2020-01-09得票数 0

1回答

抓取大容量插入

mysql、scrapy

我有一个爬虫，从多个网站获取数据，并更新到mysql表的信息。我使用scrapy编写的crawler.The爬虫将插入/更新大量的列。是否可以批量插入/更新scrapy中的项目？

浏览 0提问于2015-02-07得票数 0

1回答

如何将数据从scrapy插入到mysql

python、mysql、python-2.7、web-scraping、scrapy

我正在尝试使用scrapy从amazon获取数据，我可以在CSV中获得数据，但是我无法在mysql数据库中插入数据，请找到我的代码，我的蜘蛛是。import scrapyfrom scrapy.contrib.spiders import(scrapy.Spider): name = &quo

浏览 6提问于2014-12-05得票数 1

回答已采纳

3回答

Scrapy - pymongo不向数据库插入项目

python、scrapy、pymongo

所以我玩着scrapy试图学习，而使用MongoDB作为我的DB走进了死胡同。基本上，抓取的项目显示在终端日志中，但我无法在我的数据库上发布数据。MONGO_URI是正确的，因为我在python shell中尝试了它，我可以在其中创建和存储数据。这是我的文件import scrapy # define the fields for your itemhere like: # name

浏览 0提问于2020-02-14得票数 0

1回答

PreparedStatement不向MySQL DB插入数据

java、mysql、prepared-statement

我有以下数据库： name VARCHAR(255) NOT NULL, PRIMARY KEYpreparedStatement.executeBatch(); }但它不会向数据库中写入任何内容唯一的区别是我所做的插入数量(在工作情况下:超过100万，在非工作情况下:大约70) 我找不到解决方案，我也没办法了。

浏览 0提问于2018-11-22得票数 0

1回答

php不向mysql插入json数据

php、android、mysql、sqlite

create response JSON$b=array();{ //Store User into MySQL我可以在日志中看到php页面正在访问我的数据库并试图插入数据；但服务器日志是这样写的: 70.193.209.170 -- 14/May/2015:06:37:45 -0500 "POST /webservice2

浏览 1提问于2015-05-15得票数 0

1回答

抓取管道不向MySQL插入数据

python、mysql、scrapy

我正在用scrapy制作一条管道，将抓取的数据存储在mysql数据库中。当蜘蛛在终端中运行时，它工作得很好。甚至连管道都被打通了。但是，数据不会被发送到数据库。感谢您的帮助！:)import scrapy from scrapy.exceptionsimport DropItem from scrapy<

浏览 1提问于2016-08-08得票数 0

3回答

如何从文件插入而不复制

mysql

我在一个csv文件中有一些数据，我想把它插入到Mysql表中。我的问题是如何在不向表中插入重复值的情况下做到这一点。我已经查看了下面的引用，其中有一个关键字IGNORE，但不知道如何使用它来只插入唯一值。

浏览 1提问于2012-10-06得票数 0

回答已采纳

1回答

mysqldump是否会选择或只读取基于

backup、mysql-replication、mysql、database-backup

我有一个大型数据库每晚备份，目前我们在主服务器上执行mysqldump，在转储时锁定所有插入。我们使用一个主从mysql安装程序，并配置了magento，将所有的写操作发送到主服务器，并将所有的读操作发送给从服务器。如果我们将备份移至从服务器，mysqldump进程是否会锁定select查询或其他仅读取数据而不向DB插入数据的查询？

浏览 0提问于2011-08-02得票数 1

回答已采纳

1回答

这是我的python代码，用于从https://bpbd.jatengprov.go.id/category/laporan-bencana/中抓取新闻数据 # -*- coding: utf-8 -*-class BepeSpider(scrapy.Spider):allowed_domains = ['bpbd.jatengprov.go.idself.count < self.COUNT_M

浏览 26提问于2019-02-11得票数 1

1回答

JDBC不向mysql表中插入数据

java、mysql、jdbc

我在将数据插入mysql表时遇到了问题。JDBC不会向mysql表中插入数据。JDBC应该从输入"liczbaUzytkownikow“获取值，”从包含"termin“信息的表格形式获取数据(确切地说: termin.nazwaObiektu、termin.adresObiektu

浏览 1提问于2015-06-11得票数 0

1回答

如何将Python Scrapy扩展的数据插入到MySql数据库表中？

python、mysql、database、scrapy

我正在为Python Scrapy构建一个扩展，以获取爬虫相关的详细信息，如开始时间、结束时间、爬虫状态(打开、关闭或活动)。现在我需要在我的MySql数据库表中存储当前的时间戳。有人能帮我吗？我需要一个代码来连接MySql数据库从剪贴画代码，并做数据库相关的查询，如插入，选择等。谢谢..

浏览 3提问于2013-10-14得票数 0

2回答

如何使用java代码向MySQL数据库添加信息

java、mysql

下面的代码应该将信息插入到MySQL数据库中。它毫无例外地工作，但不向数据库插入信息。try { Connection connection= DriverManager.getConnection("jdbc:mysql:///mymail","root&quo

浏览 3提问于2014-07-12得票数 0

回答已采纳

1回答

表单不向mysql数据库插入数据。

php、mysql

我没有发现任何错误，我认为数据应该进入数据库，但我不知道在用户单击submit之后它会去哪里。我认为这个问题出现在第二个php语句中，因为它在我添加检查用户是否登录之前就已经开始工作了。 <?

浏览 1提问于2016-07-02得票数 0

回答已采纳

2回答

php不向mysql数据库插入数据

php、mysql、sql-insert

但是，当我检查数据库时，其中没有任何信息。如果有人知道为什么会发生这种情况，或者我如何修复它，请让我知道。谢谢!

浏览 18提问于2019-11-05得票数 0

回答已采纳

1回答

如何将Scrapy与Mysql结合使用？

python、django、scrapy

我正在运行一个Django应用程序，该应用程序给定一个查询字符串，该应用程序返回以前存储在Mysql db中的所有项。在我看来，最好的选择是使用Scrapy，给他一些开始的urls，他可以通过简单地提取页面中的所有urls来找到其他的urls，然后，他会跟随它们提取这些页面的内容。是否可以将先前提取的数据插入Mysql (因为我没有在scrapy.org上找到有关此数据的任何信息)？是否有内置的功能来决定扫描的“深度”？

浏览 6提问于2012-04-10得票数 0

回答已采纳

2回答

不向mysql数据库插入空值

php、mysql

当我尝试输入新值、更改值或删除值(Nothing)为products 1或products 2时if (isset ($_POST['submit']))($query2)) {$produc

浏览 1提问于2011-04-04得票数 0

回答已采纳

2回答

在scrapy中使用mysql插入数据

python、twisted、scrapy

这是我的演示，我认为没有错误，但此代码不能插入数据到mysql!？scan.spiders'这是管道代码，我认为它没有错误：from scrapyimport logfrom scrapy.http import Request from scrapy<

浏览 1提问于2012-12-19得票数 2

回答已采纳

3回答

HTML/PHP不向MySQL数据库插入数据

php、html、mysql

这个想法是，您可以输入一个主题和描述，它将被添加到一个MySQL数据库(目前就是这样)。$conn ) die('Could not connect: ' . mysql_error());if(!mysql_close($conn);问题是，来自HTML上的Subject和Description框的输入没有进入<

浏览 4提问于2014-08-11得票数 1

回答已采纳

1回答

选中后插入抓取数据前无行插入之前

python、mysql、insert、scrapy、mamp

在我学会爬行并能够将数据插入到mysql之后 Insert multiple Scrapy data into mysql 当我插入几个爬行数据时，我发现了另一个问题，我在mysql中的数据变得很大，因为有太多冗余数据(重复数据) 我试着像在php中一样，用WHERE NOT EXIST条件做插入操作，而不是在python中工作。(SELECT judul FROM berita

浏览 19提问于2019-02-20得票数 1

点击加载更多