james大数据架构

高并发分布式负载均衡、Hadoop批处理、Spark流式实时大数据处理架构
222 篇文章
52 人订阅

全部文章

欢醉

Validation of viewstate MAC failed 解决办法

大部分人都说是在页里或web.config里加EnableEventValidation="false" EnableViewStateMac="false" ...

268100
欢醉

0基础搭建Hadoop大数据处理-集群安装

  经过一系列的前期环境准备,现在可以开始Hadoop的安装了,在这里去apache官网下载2.7.3的版本 http://www.apache.org/dyn...

41950
欢醉

0基础搭建Hadoop大数据处理-编程

  Hadoop的编程可以是在Linux环境或Winows环境中,在此以Windows环境为示例,以Eclipse工具为主(也可以用IDEA)。网上也有很多开发...

29590
欢醉

几十条业务线日志系统如何收集处理?

  在互联网迅猛发展的今天 各大厂发挥十八般武艺的收集用户的各种信息,甚至包括点击的位置,我们也经常发现自己刚搜完一个东西,再打开网页时每个小广告都会出现与之相...

362100
欢醉

教你一步搭建Flume分布式日志系统

  在前篇几十条业务线日志系统如何收集处理?中已经介绍了Flume的众多应用场景,那此篇中先介绍如何搭建单机版日志系统。 环境   CentOS7.0     ...

27490
欢醉

常见的几种Flume日志收集场景实战

  这里主要介绍几种常见的日志的source来源,包括监控文件型,监控文件内容增量,TCP和HTTP。 Spool类型   用于监控指定目录内数据变更,若有新文...

35250
欢醉

如何将mysql数据导入Hadoop之Sqoop安装

  Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据...

307100
欢醉

mysql数据与Hadoop之间导入导出之Sqoop实例

  前面介绍了sqoop1.4.6的 如何将mysql数据导入Hadoop之Sqoop安装,下面就介绍两者间的数据互通的简单使用命令。 显示mysql数据库的信...

30480
欢醉

NET中解决KafKa多线程发送多主题的问题

  一般在KafKa消费程序中消费可以设置多个主题,那在同一程序中需要向KafKa发送不同主题的消息,如异常需要发到异常主题,正常的发送到正常的主题,这时候就需...

24550
欢醉

如何开发自己的搜索帝国之Elasticsearch

搜索引擎是什么?   搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息,在对信息进行组织和处理后,为用户提供检索服务,将用户检索相关的信息展示...

24470
欢醉

入坑系列之HAProxy负载均衡

在大型系统设计中用代理在负载均衡是最常见的一种方式,而相对靠谱的解决方案中Nginx、HAProxy、LVS、F5在各大场中用得比较普遍,各有各的优势和使用场...

707100
欢醉

0基础搭建Hadoop大数据处理-初识

  在互联网的世界中数据都是以TB、PB的数量级来增加的,特别是像BAT光每天的日志文件一个盘都不够,更何况是还要基于这些数据进行分析挖掘,更甚者还要实时进行数...

21970
欢醉

备胎的养成记KeepAlived实现热备负载

  在  入坑系列之HAProxy负载均衡 中已经详细讲过了怎么将高并发的请求按均衡算法分发到几台服务器上做均衡防止单机崩溃。   但这样的话有没有发现所有请求...

23680
欢醉

一步到位分布式开发Zookeeper实现集群管理

  说到分布式开发Zookeeper是必须了解和掌握的,分布式消息服务kafka 、hbase 到hadoop等分布式大数据处理都会用到Zookeeper,所以...

320100
欢醉

我是如何处理大并发量订单处理的 KafKa部署总结

  今天要介绍的是消息中间件KafKa,应该说是一个很牛的中间件吧,背靠Apache 与很多有名的中间件搭配起来用效果更好哦 ,为什么不用RabbitMQ,因为...

41290
欢醉

一步到位Linux中安装配置MySQL及补坑

  Windows上安装MySQL也就不讲了,基本上一路点击下一步就可完成,现在讲讲Linux上布署Mysql,虽然也有很多网友列出了详细的步骤,可能是因为版本...

259100
欢醉

如何实现两台服务器间无密码的传输数据和操作

  我们知道如果要向远程服务器传输数据和操作必须输入用户名和密码远程登录服务器 ,或用FTP等协议,都需要权限控制。   然而如果是两台服务器间的软件需要通讯和...

31390
欢醉

0基础搭建Hadoop大数据处理-环境

   由于Hadoop需要运行在Linux环境中,而且是分布式的,因此个人学习只能装虚拟机,本文都以VMware Workstation为准,安装CentOS7...

21170
欢醉

实用收藏Linux命令备忘

系统操作 #使用shutdown命令马上重启系统 [root@H32 ~]# shutdown –r now  #使用shutdown命令马上关闭系统 [ro...

24260
欢醉

Android如何制作漂亮的自适布局的键盘

  最近做了个自定义键盘,但面对不同分辨率的机型其中数字键盘不能根据界面大小自已铺满,但又不能每种机型都做一套吧,所以要做成自适应,那这里主讲思路。   这里最...

224100

扫码关注云+社区

领取腾讯云代金券