首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

爬取微博图片数据存到Mysql中遇到的

前言   由于硬件等各种原因需要把大概170多万2t左右的微博图片数据存到Mysql中.之前存微博数据一直用的非关系型数据库mongodb,由于对Mysql的各种不熟悉,踩了无数坑,来来回回改了3天才完成...因为本地是MAC,我要连接到远程的一台Windows上才能通过那个Windows连接到群晖的Mysql上...本地配置改了也白改。 存图片   然后这就是一个大坑!!!...pic_bin = str(base64.b64encode(pic_bin))[2:-1] 改配置文件   由于使用Python多进程,一个小时8G数据量,图片数据比较大,发包的时候回超过mysql的默认限制...db_host = cf.get("mysql", "db_host") db_port = cf.getint("mysql", "db_port") db_user = cf.get("mysql...", "db_user") db_pass = cf.get("mysql", "db_pass") db = cf.get("mysql", "db") # 创建连接 conn = pymysql.connect

1.8K30

解决小程序的图片路径和mysql数据库访问的问题

一.问题过程现象描述: 1,在mysql数据库正常访问的时候,图片路径访问失败(mysql先用80端口测试,之后用的443端口): 之前是打开服务器目录下的图片链接报错是404:...-9 删除进程号 image.png ②打开服务器目录下的图片链接报错是503: image.png 二.解决问题的的分析: 1.mysql数据库用的是Tomcat(先后用的端口是80和443)...环境, 2.图片链接是同一服务器的一个路径,用的Nginx(80端口)环境, 三.解决问题的过程: 1.80端口将进程关闭,需要查看http服务是否正常(例如:NGINX,Apache,Tomcat...,mysql数据库不能正常启动: image.png image.png 4.关闭nginx,启动mysql数据库 nginx停止方式: systemctl stop nginx mysql数据库启动...mysql数据库的都可以正常访问。

3.1K00
领券