首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

一次线上数据库添加字段造成磁盘不够的问题

公司使用的是MySQL数据库,随着业务和用户的增加有张表的数据达到了150000000(1亿5千万)条左右,其中好几个功能都会对这张表进行增删改操作。在并发量比较大的时候,经常会出现死锁问题。 为了解决这个问题找到CTO和其他领导来请教方案。 经过分析之后,由于离业务繁忙期还有几天,并且1月是系统达到最大并发的时期,所以决定暂时先采取比较稳妥的版本号方案,即只往数据库insert和update数据,定时任务删除旧的数据(之后会采取数据分表分区的方案)版本号记录在redis里面。于是花了2天左右的时间把这些业务里面的代码重构和修改了一遍(其中涉及到使用第三方库修改的代码,修改这部分花了很多时间)。经测试人员测试没问题后,准备发到线上。

03

M2O视频存储空间调整记录

之前M2O流媒体平台的视频点播存储空间将近满了。为了避免硬盘满了,造成视频录制异常。进行了视频存储资源的迁移。 实际执行的时候,大概1分钟内完成新旧平台的切换。但是前期准备工作进行了很久。回想起来之前学校的媒资管理系统更换硬盘的情况,和这个有很多类似。之所以耗费时间,主要是原有存储设备向新的存储设备的数据拷贝、文件数量校对、文件大小校对上。 这个调整,从开始筹划,到最终完成,大概有下面几个阶段: 1)前期和开发公司运维人员讨论出来一种解决方案,利用硬盘挂载、网络共享的方法实现存储设备的调整 2)不同服务器之间硬盘的挂载 3)制定了迁移时候的方案 4)拷贝数据,前后持续了2周左右。当中涉及到了视频截图文件夹中存在500G左右的直播截图文件的确认和清理工作(最终证明视频截图和计划任务的配置有关,相关功能已停用,但原有截图没有自动清除) 5)核心部分,告诉所有后台编辑人员停止视频上传、挑选了没有视频录制、没有视频时移也没有转码进程的时间,进行了存储设备调整 6)调整完后,测试了自动收录和时移功能,发现转码设备获取视频路径存在异常,导致转码服务无法获取到原始视频。调整新的资源位置后,重新提交转码任务,顺利完成视频转码 7)配置了几台设备的开机硬盘自动挂载,这样就可以一定程度避免设备重启导致的无法获取资源问题 用到和加深理解的几个命令有 1)查看文件夹以及子文件件的文件数量 find . |wc -l 2)查看当前文件夹以及子文件夹的文件大小之和 du -s 3)非覆盖目标文件的拷贝(涵盖子目录所有文件、可视化) cp -nrv source/file dest/file 4)设置文件软链接(觉得很像快捷方式) ln -sf TARGET LINK_NAME -s, --symbolic  make symbolic links instead of hard links -f, --force  remove existing destination files 5)设置设备开启启动完成后,执行的命令(貌似像是开机启动项) 修改/etc/rc.local This script will be executed *after* all the other init scripts. You can put your own initialization stuff in here if you don't want to do the full Sys V style init stuff.

02
领券