Java帮帮-微信公众号-技术文章全总结-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Java帮帮-微信公众号-技术文章全总结

技术改变生活，能力决定未来！免费资源网 http://www.javahelp.com.cn

专栏成员

864

文章

1324975

阅读量

129

订阅数

Apache Flink 零基础入门（一）：基础概念解析

数据处理大数据编程算法 api 分布式

Apache Flink 是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态或无状态的计算，能够部署在各种集群环境，对各种规模大小的数据进行快速计算。

2019-11-14

1.1K0

Python常见面试题【悟空教程】

python 云数据库 SQL Server 数据库数据处理

1.MySQL 数据库总结 MySQL 可以建多少个数据库，理论上是没有限制的，每一个数据库可以有上亿的对象，但是一般基于硬件要求、效率问题一般不超过64个，超过64个会对数据处理速度造成影响，每一张表建议不超过过1亿条数据。

2018-08-16

1.3K0

第一天 Java基础入门【悟空教程】

java 存储数据处理无人驾驶

第1章计算机基础 1.1 计算机计算机（computer）俗称电脑，是现代一种用于高速计算的电子计算机器，可以进行数值计算，又可以进行逻辑计算，还具有存储记忆功能。是能够按照程序运行，自动、高速处理海量数据的现代化智能电子设备。由硬件系统和软件系统所组成，没有安装任何软件的计算机称为裸机。 1.2 计算机应用的领域（了解） 1.2.1 科学计算科学计算也称数值计算。计算机最开始是为解决科学研究和工程设计中遇到的大量数学问题的数值计算而研制的计算工具。例如，人造卫星轨迹的计算，房屋抗震强度的计算，火箭

2018-06-11

1.7K0

十道海量数据处理面试题与十个方法总结【面试+提高】

十道海量数据处理面试题与十个方法总结一、十道海量数据处理面试题 1、海量日志数据，提取出某日访问百度次数最多的那个IP。　　此题，在我之前的一篇文章算法里头有所提到，当时给出的方案是：IP的数目还是有限的，最多2^32个，所以可以考虑使用hash将ip直接存入内存，然后进行统计。　　再详细介绍下此方案：首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出

2018-03-19

4.6K0

研究微信即时通讯的服务端、朋友圈、红包、推送等方案

存储数据处理

推送：采用增量推送的方式，设置一个sequence，服务端一个客户端一个，每次同步时客户端将cur_seq发给服务端，获得增量数据同步到本地。每个seq都是long型占8byte，考虑到微信用户6亿，Qps达到千万级别，则每秒要处理100兆的IO，相对来说比较大，如何降低呢，微信有一个AllocSvr和StoreSvr两个服务，分别来处理分配和存储，设计一个max_Seq和步长，将一定数量的用户比如连续ID一万个，设计在同一个Section，加上一个max_Seq，步长设为10000，此时可以10^3个等级的数据量，相对AllocSvr处理就简单一些，所以任何一个简单的事情在海量数据下，都会变成一个复杂的问题。另外添加步长，就涉及Old AllocSvr和New AllocSvr，需要根据已知配置文件，有哪些服务器可以切换，考虑到容灾还要做备份服务器，因此做互为备份是服务器能力不浪费的优秀设计；路由的切换也是根据seq的方式，使用路由表来切换的。

2018-03-15

1.5K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态