首页
学习
活动
专区
工具
TVP
发布

james大数据架构

高并发分布式负载均衡、Hadoop批处理、Spark流式实时大数据处理架构
专栏作者
241
文章
407885
阅读量
55
订阅数
Net和Java基于zipkin的全链路追踪
  在各大厂分布式链路跟踪系统架构对比 中已经介绍了几大框架的对比,如果想用免费的可以用zipkin和pinpoint还有一个忘了介绍:SkyWalking,具体介绍可参考:https://github.com/apache/incubator-skywalking/blob/master/README_ZH.md   由于追踪的要求是Net平台和Java平台都要支持,对于java平台各组件都是天生的支持的,但对于net的支持找了些开源组件,发现Pinpoint和SkyWalking给出的Demo都是基于N
欢醉
2018-05-28
1.1K0
各大厂分布式链路跟踪系统架构对比
    随着互联网架构的扩张,分布式系统变得日趋复杂,越来越多的组件开始走向分布式化,如微服务、消息收发、分布式数据库、分布式缓存、分布式对象存储、跨域调用,这些组件共同构成了繁杂的分布式网络,那现在
欢醉
2018-05-28
7K0
分布式文件系统FastDFS动态扩容
  当用户量越来越大,则集群中某个group总会到达其极限,这时就得扩展集群的容量了。 FastDFS的扩容分为对group纵向扩容和横向扩容   纵向扩容 指在同一个group组中增加服务器,实现数据冗余,数据备份。同一个group中最大容量取决于最小的storage的存储容量。因此如果还想继续使用此group,则需要对此group对应的所有服务器挂载同样容量的磁盘,指定store_path1……,但这样做的话成本相当的高,不推荐。   横向扩容是通过集群实现,指新增一个group,增加整个FastDFS
欢醉
2018-03-28
2.3K0
分布式监控系统Zabbix3.2跳坑指南
zabbix是什么在此就不多作介绍了,可以参考之前的文章 零代码如何打造自己的实时监控预警系统 ,这篇主要介绍安装及注意事项。 主要分为服务端和客户端安装,客户端又分为Linux、Windows。 服务端安装环境 CentOS6.8 Zabbix3.2 Mysql5.6 Apache PHP56w 环境准备 关闭selinux setenforce 0 进入mysql,创建zabbix用户并授权 mysql -uroot -p CREATE DATABASE zabbix CHARACTER SET
欢醉
2018-01-22
8680
分布式监控系统Zabbix3.2监控数据库的连接数
  在 分布式监控系统Zabbix3.2跳坑指南 和 分布式监控系统Zabbix3.2给异常添加邮件报警 已经介绍了如何安装以及报警。此篇通过介绍监控数据库的3306端口连接数来了解如何监控其它端口和配置自定义监控项的过程。 添加监控脚本 在要监控的客户端上新建脚本: /usr/local/zabbix/alertscripts/check_3306_port_num.sh 内容如下: #!/bin/bash ss -an|grep 3306|grep ESTAB|wc -l  这个脚本很简单,就是获取33
欢醉
2018-01-22
7730
分布式文件系统FastDFS如何做到高可用
FastDFS是用C语言编写的一款开源的轻量级分布式文件系统。它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。 FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 与Hadoop有什么区别?   Hadoop也是一个分布式文件系统,had
欢醉
2018-01-22
1.9K0
高可用高性能分布式文件系统FastDFS进阶keepalived+nginx对多tracker进行高可用热备
  在上一篇 分布式文件系统FastDFS如何做到高可用 中已经介绍了FastDFS的原理和怎么搭建一个简单的高可用的分布式文件系统及怎么访问。   高可用是实现了,但由于我们只设置了一个group,
欢醉
2018-01-22
1.8K0
【C#|.NET】lock(this)其实是个坑
来自 【C#|.NET】lock(this)其实是个坑 这里不考虑分布式或者多台负载均衡的情况只考虑单台机器,多台服务器可以使用分布式锁。出于线程安全的原因,很多种场景大家可能看代码中看到lock的出现,尤其是在资金类的处理环节。 但是lock(this)真的达到你的需求了吗?下面用实例来说明   理论常识不多说,回到业务场景,举个例子我们的需求一般就是在某个订单进入某个安全优先级比较高的流程时要针对这笔订单做到线程互斥。至于原因,这里再插一个概念,大部分orm在做更新操作时,实际上做的是全参数更新,所谓全
欢醉
2018-01-22
1.4K0
我是如何处理大并发量订单处理的 KafKa部署总结
  今天要介绍的是消息中间件KafKa,应该说是一个很牛的中间件吧,背靠Apache 与很多有名的中间件搭配起来用效果更好哦 ,为什么不用RabbitMQ,因为公司需要它。    网上已经有很多怎么用和用到哪的内容,但结果很多人都倒在了入门第一步 环境都搭不起来,可谓是从了解到放弃,所以在此特记录如何在linux环境搭建,windows中配置一样,只是启动运行bat文件。    想要用它就先必须了解它能做什么及能做到什么程度,先看看它是什么吧。   当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工
欢醉
2018-01-22
1.7K0
没有更多了
社区活动
Python精品学习库
代码在线跑,知识轻松学
热点技术征文第五期
新风口Sora来袭,普通人该如何把握机会?
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档