contain 1 column(s)')
因为我的spider代码中是这样
?
...错误原因：item中的结果为{'name':[xxx,xxxx,xxxx,xxx,xxxxxxx,xxxxx],'url':[yyy,yyy,yy,y,yy,y,y,y,y,]},这种类型的数据
更正为...然后又查了下原因终于解决问题之所在
在图上可以看出，爬取的数据结果是没有错的，但是在保存数据的时候出错了，出现重复数据。那为什么会造成这种结果呢？ ...其原因是由于spider的速率比较快，scrapy操作数据库相对较慢，导致pipeline中的方法调用较慢，当一个变量正在处理的时候
一个新的变量过来，之前的变量值就会被覆盖了，解决方法是对变量进行保存...，在保存的变量进行操作，通过互斥确保变量不被修改。
