我在使用Scrapy导出刮擦数据到本地MySQL数据库时遇到了问题。无论如何,我试图使用Scrapy制作一个web爬虫,到目前为止,它确实从所需的网站中抓取所需的数据,尽管我无法让它将数据导出到本地MySQL数据库。我一直在阅读Mysql连接器的文档,但是它们的例子让我有点困惑()。我也在谷歌上搜索,希望我能找到一个解决方案,但是我找到的所有结果都使用MySQLdb,我想使用MySQL连接器。这里是我在pipelines.py中的代码
from <em
在生产中),我在爬行器的每个调用中都会得到这个错误:
/usr/lib/python2.6/dist-packages/zope/__init__.py:3: UserWarning: Module _mysqlwas already imported from /usr/lib/pymodules/python2.6/_mysql.so, but /usr/lib/pymodules/python2.6 is
我用scrapy构建了一个web cralwer,并将数据存储到mysql数据库(我从一个url抓取源代码),现在我想做离线编辑。因此,我创建了sql查询来使用python导出数据,并尝试从中爬行。事实上,我不能用scrapy来做这件事。我没能用scrapy做到这一点,如果有人有任何建议或类似的项目,可以帮助我。我尝试过使用scrapy查询数据库并将数据存储到import mysql
from
所以我在玩Scrapy,它是一组类,允许你进行web抓取,我想把一些数据放到数据库中,但我让truble在扩展scrapy库的同时导入MySQL方法。下面是我的代码:from scrapy.selector import HtmlXPathSelectorimport MySQLdb
class test(BaseSpider): #if i do