腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Albert陈凯

专栏作者

530

文章

783796

阅读量

55

订阅数

2018-11-20 老码农教你在 StackOverflow 上谈笑风生

java 云数据库 SQL Server 编程算法 ide 分布式

作为一个高大上的码农，你肯定用到过 StackOverflow，必须的。会有人否定这个断言么？那他恐怕不是真正的码农，或者说还没入门。StackOverflow 对于码农的重要性，基本就和诸葛亮对刘备的重要性差不多，它上知 Java 下知 MySQL，中间懂得各种算法。只要你拥有与它沟通的技巧，它几乎可以回答你遇到的任何技术问题。

2018-11-21

1.3K0

2018-10-14 Redisson项目介绍Redisson项目介绍i flym

云数据库 Redis java 数据库分布式 lua

Rui Gu edited this page <relative-time datetime="2018-05-23T22:07:43Z" title="May 24, 2018, 6:07 AM GMT+8" style="box-sizing: border-box;">on May 24</relative-time> · 18 revisions

2018-10-15

1.1K0

2018-10-11 Java 分布式应用追踪系统 skywalking （APM（应用性能监控）系统）Document

java 分布式 go 微服务 nat

SkyWalking: 针对分布式系统的APM（应用性能监控）系统，特别针对微服务、cloud native和容器化(Docker, Kubernetes, Mesos)架构，其核心是个分布式追踪系统。

2018-10-12

1K0

2018-09-12 构建大型支付系统时学到的分布式体系结构概念构建大型支付系统时学到的分布式体系结构概念

分布式 android 存储数据库 mongodb

两年前我作为一名拥有后台开发经验的移动端软件工程师入职 Uber，并负责 APP 端支付功能的开发以及重构。后来我进入了工程师管理团队，并独立带领一个团队。由于我的团队负责很多后端支付相关的系统，因此我有更多的机会接触整个支付系统的后端知识。

2018-09-20

5320

2018-08-16 不知道是不是最通俗易懂的《数据一致性》剖析了一、为什么需要分布式系统？二、分布式系统的副作用三、产生数据不一致的原因四、详解一致性五、结语

分布式 https 存储

https://juejin.im/user/5978b281f265da3e292a3d1c/activities

2018-08-20

4160

2018-06-21 Java技术栈知识小全--东西有点多，很有料

分布式 github spring git 数据库

原文地址：https://github.com/aalansehaiyang/technology-talk

2018-07-24

4230

2018-06-08 从单一架构到分布式交易架构，网易严选的成功实践

分布式 https 安全

https://mp.weixin.qq.com/s/syM4ReAWpZ5d4KI87ogpiQ 作者｜马超编辑｜薛梁过去两年严选提出并设计了统一售后模型、最大可退金额、和多级退款引擎等概念，抽象出了销退支持、上门取件、极速退款、售后风控等通用能力，经过几次架构演变，有效的降低了业务逻辑耦合和复杂度，可以做到上层业务的快速搭建和服务接入。作为电商产品，交易在严选的业务中承担着重要的角色。随着业务的不断发展，交易场景的定制化和差异化开始凸显，同时第三方支付合作方的接入也越来越多，如何在保证交易服务安全稳定

2018-06-12

8730

2018-04-16 Java面试通关要点汇总集2018年最新 Java面试通关要点汇总集

java 分布式 jdbc

2018年最新 Java面试通关要点汇总集基础篇基本功面向对象的特征 final, finally, finalize 的区别 int 和 Integer 有什么区别重载和重写的区别抽象类和接口有什么区别说说反射的用途及实现说说自定义注解的场景及实现 HTTP 请求的 GET 与 POST 方式的区别 session 与 cookie 区别 session 分布式处理 JDBC 流程 MVC 设计思想 equals 与 == 的区别集合 List 和 Set 区别

2018-04-23

5180

mysql分布式数据库中间件对比mysql分布式数据库中间件对比

云数据库 SQL Server 分布式数据库

mysql分布式数据库中间件对比目前数据库中间件有很多，基本这些中间件在下都有了解和使用，各种中间件优缺点及使用场景也都有些心的。所以总结一个关于中间件比较的系列，希望可以对大家有帮助。什么是中间件传统的架构模式就是应用连接数据库直接对数据进行访问，这种架构特点就是简单方便。但是随着目前数据量不断的增大我们就遇到了问题: 单个表数据量太大单个库数据量太大单台数据量服务器压力很大读写速度遇到瓶颈当面临以上问题时，我们会想到的第一种解决方式就是向上扩展(scale up) 简单来说就

2018-04-08

3K0

一线公司hadoop实际案例及其应用

hadoop 开源分布式 apache

Hadoop的具体使用案例，我们选取了Yahoo!、百度、Facebook、eBay和海量数据排序为例进行说明，主要介绍了商业公司如何使用Hadoop来增强自己的服务，以及它们在使用Hadoop中遇到的各种问题和改进的方法。Hadoop是开源的系统，任何公司可以根据自己的业务需要对Hadoop进行修改或改进，同时也为Hadoop的改进贡献了自己的力量。随着Hadoop的不断改进，其强大的分布式功能被越来越多的人熟知，使用Hadoop的公司队伍也在不断壮大中，具体可以登录http://wiki.apache

2018-04-08

1.3K0

Hadoop数据分析平台实战——030Hadoop Shell命令02（熟悉linux跳过）离线数据分析平台实战——030Hadoop Shell命令02

hadoop 数据分析 shell linux 分布式

离线数据分析平台实战——030Hadoop Shell命令02 hdfs命令 hdfs命令是hadoop提供的操作HDFS分布式文件系统的shell命令客户端，我们可以通过该命令对分布式文件系统进行文件的增删查操作，也可以通过该命令获取到一些hadoop的相关配置信息，而且我们启动hdfs相关服务进程都是通过该命令进行的。 hdfs命令主要分为两类，一类是用户命令：dfs, fsck等，一类是管理员命令：dfsadmin，namenode，datanode等。 http://archi

2018-04-08

6640

分布式系统(Distributed System)资料

分布式系统(Distributed System)资料希望转载的朋友，你可以不用联系我．但是一定要保留原文链接，因为这个项目还在继续也在不定期更新．希望看到文章的朋友能够学到更多．《Reconfigurable Distributed Storage for Dynamic Networks》介绍:这是一篇介绍在动态网络里面实现分布式系统重构的paper.论文的作者(导师)是MIT读博的时候是做分布式系统的研究的,现在在NUS带学生,不仅仅是分布式系统,还有无线网络.如果感兴趣可以去他的主页了解. 《

2018-04-08

3.6K0

3.2 弹性分布式数据集

3.2 弹性分布式数据集本节简单介绍RDD，并介绍RDD与分布式共享内存的异同。 3.2.1 RDD简介在集群背后，有一个非常重要的分布式数据架构，即弹性分布式数据集（resilient distributed dataset，RDD），它是逻辑集中的实体，在集群中的多台机器上进行了数据分区。通过对多台机器上不同RDD分区的控制，就能够减少机器之间的数据重排（data shuffling）。Spark提供了“partitionBy”运算符，能够通过集群中多台机器之间对原始RDD进行数据再分配来创建一个

2018-04-08

1.1K0

分布式通信的几种方式（EJB、RMI、RPC、JMS、web service杂谈）

http://blog.csdn.net/jiaolong724/article/details/21089347 RPC(remote produce call) RPC是远程过程调用协议，它是基于C/S模型调用的机制，客户机向服务器端发送调用请求等待服务器应答，是一种典型的请求应答机制，大致过程可以理解为本地分布式对象向本机发请求，不用自己编写底层通信本机会通过网络向服务器发送请求，服务器对象接受参数后，经过处理再把处理后的结果发送回客户端。它是早期的支持分布式一些，缺点rpc是面向过程的远程调用

2018-04-04

2K0

3.4 Spark通信机制

spark yarn 分布式 rpc

3.4 Spark通信机制前面介绍过，Spark的部署模式可以分为local、standalone、Mesos、YARN等。本节以Spark部署在standalone模式下为例，介绍Spark的通信机制（其他模式类似）。 3.4.1 分布式通信方式先介绍分布式通信的几种基本方式。 1. RPC 远程过程调用协议（Remote Procedure Call Protocol, RPC）是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC假定某些传输协议的存在，如TCP或UD

2018-04-04

1.6K0

3.5 容错机制及依赖

分布式 spark

3.5 容错机制及依赖一般而言，对于分布式系统，数据集的容错性通常有两种方式： 1）数据检查点（在Spark中对应Checkpoint机制）。 2）记录数据的更新（在Spark中对应Lineage血统机制）。对于大数据分析而言，数据检查点操作成本较高，需要通过数据中心的网络连接在机器之间复制庞大的数据集，而网络带宽往往比内存带宽低，同时会消耗大量存储资源。 Spark选择记录更新的方式。但更新粒度过细时，记录更新成本也不低。因此，RDD只支持粗粒度转换，即只记录单个块上执行的单个操作，然后将创建RDD

2018-04-04

9520

1.1.2 Spark生态

spark 大数据数据分析分布式

1.1.2 Spark生态 Spark大数据计算平台包含许多子模块，构成了整个Spark的生态系统，其中Spark为核心。伯克利将整个Spark的生态系统称为伯克利数据分析栈（BDAS），其结构如图1-1所示。 [插图] 图1-1 伯克利数据分析栈的结构以下简要介绍BDAS的各个组成部分。 1. Spark Core Spark Core是整个BDAS的核心组件，是一种大数据分布式处理框架，不仅实现了MapReduce的算子map函数和reduce函数及计算模型，还提供如filter、join、gro

2018-04-04

7270

分布式通信的几种基本方式RPC、RMI、JMS、EJB、WebService

分布式 rpc udp

先介绍分布式通信的几种基本方式。 RPC 远程过程调用协议（Remote Procedure Call Protocol, RPC）是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发分布式应用更加容易。RPC采用C/S架构。请求程序就是一个Client，而服务提供程序就是一个Server。首先，Client调用进程发送一个有进程参数的调用信息到

2018-04-04

1.6K0

1.1.3 Spark架构与单机分布式系统架构对比

spark 分布式系统架构存储

传统的单机系统，虽然可以多核共享内存、磁盘等资源，但是当计算与存储能力无法满足大规模数据处理的需要时，面对自身CPU与存储无法扩展的先天限制，单机系统就力不从心了。 1．分布式系统的架构所谓的分布式系统，即为在网络互连的多个计算单元执行任务的软硬件系统，一般包括分布式操作系统、分布式数据库系统、分布式应用程序等。本书介绍的Spark分布式计算框架，可以看作分布式软件系统的组成部分，基于Spark，开发者可以编写分布式计算程序。直观来看，大规模分布式系统由许多计算单元构成，每个计算单元之间松耦合。同时，每

2018-04-04

8580

用故事说明什么是MapReduce与洋葱辣椒酱

mapreduce 分布式

我问妻子：“你真的想要弄懂什么是MapReduce？” 她很坚定的回答说“是的”。因此我问道：我：你是如何准备洋葱辣椒酱的？（以下并非准确食谱，请勿在家尝试）妻子：我会取一个洋葱，把它切碎，然后拌入盐和水，最后放进混合研磨机里研磨。这样就能得到洋葱辣椒酱了。妻子：但这和MapReduce有什么关系？我：你等一下。让我来编一个完整的情节，这样你肯定可以在15分钟内弄懂MapReduce. 妻子：好吧。我：现在，假设你想用薄荷、洋葱、番茄、辣椒、大蒜弄一瓶混合辣椒酱。你会怎么做呢？妻子：

2018-04-04

8050

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态