腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

JavaEdge

关注公众号：JavaEdge，加入全国最大的后端交流群。

专栏作者

2430

文章

2463225

阅读量

176

订阅数

“超越极限 - 如何使用 Netty 高效处理大型数据？“ - 掌握 Netty 技巧，轻松应对海量数据处理！

数据处理 netty 技巧数据序列化

因为网络饱和的可能性，如何在异步框架中高效地写大块的数据是特殊问题。由于写操作是非阻塞的，所以即使没有写出所有的数据，写操作也会在完成时返回并通知 ChannelFuture。当这种情况发生时，如果仍然不停地写入，就有内存耗尽的风险。所以在写大型数据时，需要准备好处理到远程节点的连接是慢速连接的情况，这种情况会导致内存释放的延迟。

2023-05-22

8660

基于RabbitMQ消息队列的分布式事务解决方案

分布式系统架构数据库 sql 数据处理

一款分布式消息中间件，基于erlang开发，具备语言级别的高并发处理能力。和Spring框架是同一家公司。支持持久化、高可用。

2022-11-30

5180

大厂原来都这么对MySQL分库分表!

数据处理存储数据库 sql 云数据库 SQL Server

传统的将数据集中存储至单一数据节点的解决方案，在容量、性能、可用性和运维成本这三方面难满足海量数据场景。在单库单表数据量超过一定容量水位的情况下，索引树层级增加，磁盘I/O也很可能出现压力，会导致很多问题。

2022-11-30

1.6K0

HDFS 为何在大数据领域经久不衰？

存储大数据存储大数据数据处理文件存储

HDFS是最早的大数据存储系统，存储着宝贵的数据资产，各种新算法、框架要想得到广泛使用，必须支持HDFS，才能获取已存储在里面的数据。所以大数据技术越发展，新技术越多，HDFS得到的支持越多，越离不开HDFS。HDFS也许不是最好的大数据存储技术，但依然是最重要的大数据存储技术。

2022-04-06

2860

阿里P8面试被问：Spring AOP Proxy创建出来的到底是个啥？

aop 网络安全 spring 数据处理编程算法

修改CouponService类实现这个需求：在点券充值时，需管理员登录并使用其编号进行结算。

2021-12-07

5400

关注专栏作者，随时接收最新技术干货

华为软件开发工程师

电商微服务实战之服务监控

数据库 sql 数据处理微服务

无论哪种，首先要考虑采样率，即采集数据的频率。采样率越高，监控实时性就越高，精确度越高。但采样对系统性能也会有影响，尤其是采集后的数据需写到本地磁盘时，过高采样率会导致写入磁盘的I/O过高，影响正常服务调用。所以设置合理采用率是关键，最好可动态控制采样率

2021-02-23

8520

Java高并发系统设计-MySQL分库分表

数据处理数据库 sql 云数据库 SQL Server

传统的将数据集中存储至单一数据节点的解决方案，在容量、性能、可用性和运维成本这三方面难于满足海量数据场景。在单库单表数据量超过一定容量水位的情况下，索引树层级增加，磁盘 IO 也很可能出现压力，会导致很多问题。

2021-02-22

2.9K0

基于RabbitMQ消息队列的分布式事务解决方案 - MQ分布式消息中间件实战

分布式数据处理数据库 sql http

一款分布式消息中间件，基于erlang语言开发，具备语言级别的高并发处理能力。和Spring框架是同一家公司。支持持久化、高可用

2019-11-11

7.2K0

从零构建 Spark-机器学习电影推荐系统(一) - 概述1 背景介绍2 项目架构3 主要模块4 系统开发重难点5 补充内容

大数据数据处理推荐系统

在2014年以后，大数据领域内掀起了一股强劲的Apache Spark学习和应用的浪潮。 Apache Spark以内存计算为核心，以其通用，快速和完整的生态圈等特点，正在逐步取代速度较慢的hadoop，越来越多的应用在了企业中。 ADHOC SQL查询，流计算，数据挖掘，图计算，R语言，一个又一个功能强大的组件使得越来越多的spark爱好者和企业界意识到，只要掌握一门spark技术，就能够为大多数的企业遇到的大数据的应用场景提供明显的加速。学习Spark，成为一名合格的Spark工程师，使得每个致力于大数据行业的人，不仅能得到技术上的提升，也为个人的薪资带来了巨大的提升空间。

2018-12-28

1.3K0

史上最快! 10小时大数据入门实战(六)- Hadoop 项目实战1 用户行为日志概述离线数据处理架构3 项目需求4 UserAgent 类实现5

大数据 hadoop 数据处理

1 用户行为日志概述离线数据处理架构 3 项目需求 4 UserAgent 类实现使用工具框架 5

2018-07-05

4930

亿万级数据处理的高效解决方案

全文行文是基于面试题的分析基础之上的，具体实践过程中，还是得具体情况具体分析，且各个场景下需要考虑的细节也远比本文所描述的任何一种解决方法复杂得多。

2018-05-16

5.2K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态