在做IT民工时的一些关于数据处理的经验

你处理过的最大的数据量是多少?你是如何处理的?

曾经在以前的公司做过IT,凡事跟电脑相关的都要做,也就是俗话说的IT民工吧。

当时公司里有一个数据库会接收到的测试数据大约为一个月100万条左右,然后要通过程序每五分钟左右抓取一下这个数据库。

说实话,当时压力蛮大的,因为程序涉及到生产不能停,频繁的读取这么多数量的数据库会导致程序很卡,一卡使用这个程序的人就会停下生产的,所以我在方面也研究了一些方法 。注:当时使用的服务器为windows server2008r2,数据库为sql 2008版本,程序为php语言编写。

我总结一下当时的方法:

1、每个月都会找个时间重启服务器,释放CPU和内存资源。

2、一定要分开文件服务器和数据库服务器为同一台,因为文件服务器占用带宽资源比较严重。

3、防止数据库锁死,编写程序时已经避免同时使用更新语句。

4、使用任务管理把相应的数据进行后台处理,如先把数据写到a表里,再通过任务后台让它跟b表进行匹配。

5、编写sql语句时,尽量精确匹配,不要模糊匹配,可以通过数据库管理器来查询所用的时间是多少。

6、关于数据物理安全的小建议,一定要给系统盘和数据盘,做好raid,经常观察硬盘是否亮红灯报警,要及时更换,二,使用备份软件对数据进行定时备份,在空闲的时间点备份,不会影响数据库使用的效率,比如吃饭的点。

系统无法启动时,请勿随意重装系统,可以试一下最后一次正确配置启动。

总结:实际情况要有灵活的方法,也就是数据运行的瓶颈在哪里,就对哪里进行优化。

浅见,请多指教。

本文由牵牛创意原创,欢迎讨论。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180520A0QYA400?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券