此时用MySQL存储, 半小时都无法关闭Spider! 如果添加了查重, 时间将会指数增长.
而使用CSV存储, 虽然关闭花不了特别多时间, 但是打开关闭文件所需的时间同样不少!...Excel直接无法打开, Sublime和VS Code则要花费十几秒的时间来打开.
?...图:正在打开CSV的SublimeText
在后续对CSV中的数据进行基本的格式化后发送到Django可视化时, 打开网页的处理时间接近1分30秒. 速度感人....# self.client.admin.authenticate(host=settings['MONGO_USER'], settings['MONGO_PSW'])
# 设置数据库客户端类型...----
入门小白, 欢迎大家指出错误, 技术交流
部分资料来自百度百科, 菜鸟笔记, 维基百科
今日作者: 光光同学_
不爱看电影的摄影师不是好的程序员