腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
我是攻城师
专栏成员
举报
492
文章
1001136
阅读量
119
订阅数
订阅专栏
申请加入专栏
全部文章(492)
java(143)
其他(96)
编程算法(52)
es 2(50)
spark(47)
存储(39)
hadoop(31)
大数据(30)
lucene/solr(29)
数据库(27)
数据结构(26)
apache(25)
开源(23)
api(20)
sql(19)
github(19)
jdk(19)
jvm(18)
scala(17)
hive(16)
安全(16)
缓存(15)
搜索引擎(14)
linux(14)
分布式(14)
hbase(14)
oracle(11)
数据分析(11)
git(10)
mapreduce(10)
二叉树(10)
node.js(9)
maven(9)
机器学习(8)
json(8)
人工智能(8)
shell(8)
python(7)
spring(7)
hashmap(7)
容器镜像服务(6)
容器(6)
网络安全(6)
https(6)
javascript(5)
云数据库 SQL Server(5)
云数据库 Redis(5)
ide(5)
nginx(5)
yarn(5)
spring boot(5)
数据处理(5)
windows(5)
系统架构(5)
nat(5)
xml(4)
nosql(4)
eclipse(4)
opencv(4)
c++(3)
html(3)
jar(3)
游戏(3)
jdbc(3)
npm(3)
php(2)
ruby(2)
go(2)
servlet(2)
react(2)
mvc(2)
打包(2)
TDSQL MySQL 版(2)
网站(2)
http(2)
压力测试(2)
正则表达式(2)
yum(2)
numpy(2)
zookeeper(2)
gradle(2)
微信(2)
微服务(2)
数据挖掘(1)
swift(1)
c 语言(1)
perl(1)
.net(1)
bootstrap(1)
angularjs(1)
css(1)
ajax(1)
android(1)
单片机(1)
tomcat(1)
unix(1)
centos(1)
深度学习(1)
文件存储(1)
日志服务(1)
mongodb(1)
图像处理(1)
自动化(1)
黑客(1)
爬虫(1)
html5(1)
图像识别(1)
grep(1)
cdn(1)
tcp/ip(1)
flash(1)
kernel(1)
anaconda(1)
机器人(1)
数据可视化(1)
物联网(1)
安全漏洞(1)
云计算(1)
apple(1)
com(1)
google(1)
microsoft(1)
yahoo(1)
磁盘(1)
域名(1)
搜索文章
搜索
搜索
关闭
深入理解什么是LSM-Tree
nosql
大数据
数据库
sql
开源
十多年前,谷歌发布了大名鼎鼎的"三驾马车"的论文,分别是GFS(2003年),MapReduce(2004年),BigTable(2006年),为开源界在大数据领域带来了无数的灵感,其中在 “BigTable” 的论文中很多很酷的方面之一就是它所使用的文件组织方式,这个方法更一般的名字叫 Log Structured-Merge Tree。在面对亿级别之上的海量数据的存储和检索的场景下,我们选择的数据库通常都是各种强力的NoSQL,比如Hbase,Cassandra,Leveldb,RocksDB等等,这其中前两者是Apache下面的顶级开源项目数据库,后两者分别是Google和Facebook开源的数据库存储引擎。而这些强大的NoSQL数据库都有一个共性,就是其底层使用的数据结构,都是仿照“BigTable”中的文件组织方式来实现的,也就是我们今天要介绍的LSM-Tree。
我是攻城师
2019-06-03
45.3K
2
Elasticsearch如何动态维护一个不可变的倒排索引
es 2
数据结构
存储
大数据
上一篇文章中介绍了Elasticsearch中是如何搜索文本的,同时也简述了在es里面索引数据结构的特点不可变性。 索引不可变性的缺点限制了单个索引存储的最大数据量以及更新的频次,所以es面临的问题是如何解决倒排索引不可更新的特点而同时仍然保持不可变特性带来的好处。 答案就是使用多个索引 代替原来的每次重写整个索引,es里面采用方式是增加新的索引来反映最近的变化,然后查询的时候一次查询所有的倒排索引,从最早的一直到最新的,然后在合并结果返回。 在lucene里面一个索引是多个segment加上一个commi
我是攻城师
2018-05-15
1.7K
0
Spark如何读取一些大数据集到本地机器上
spark
大数据
json
最近在使用spark处理分析一些公司的埋点数据,埋点数据是json格式,现在要解析json取特定字段的数据,做一些统计分析,所以有时候需要把数据从集群上拉到driver节点做处理,这里面经常出现的一个问题就是,拉取结果集过大,而驱动节点内存不足,经常导致OOM,也就是我们常见的异常: 这种写法的代码一般如下: 上面的这种写法,基本原理就是一次性把所有分区的数据,全部读取到driver节点上,然后开始做处理,所以数据量大的时候,经常会出现内存溢出情况。 (问题一)如何避免这种情况? 分而治之,每次只拉取一个
我是攻城师
2018-05-14
1.9K
0
ES-Hadoop插件介绍
hadoop
spark
大数据
上篇文章了,写了使用spark集成es框架,并向es写入数据,虽然能够成功,但从集成度上来讲肯定没有官网提供的ES-Hadoop框架来的优雅,今天我们就来认识一下ES-Hadoop这个框架。 我们都知道Hadoop是标准的大数据生态代表,里面有非常多的组件来处理不同类型或者场景下的数据,Hadoop的基础组件是YARN,HDFS,MapReduce,我们都知道HDFS是可靠的分布式存储系统,大多数我们都是用MapReduce来分析数据,唯一的不足之处在于速度,为了解决这种问题所以才有了Hbase,Spark
我是攻城师
2018-05-14
1.7K
0
最近工作中遇到ElasticSearch一些问题总结
es 2
数据库
sql
大数据
java
最近在使用ElasticSearch来查询我们的一些实时数据,中间也遇到不少的问题,今天在此简单总结记录一下。es的功能的确十分强大,大部分数据库能实现的需求,基本在es里面都能实现,当然两者都有一些
我是攻城师
2018-05-14
2K
0
在Scala里面如何使用正则处理数据
scala
spark
大数据
java
正则在任何一门编程语言中,都是必不可少的一个模块,使用它来处理文本是非常方便的,尤其在处理在使用Spark处理大数据的时候,做ETL需要各种清洗,判断,会了正则之后,我们可以非常轻松的面对各种复杂的处理,Scala里面的正则也比Java简化了许多,使用起来也比较简单,下面通过几个例子来展示下其用法: /** * Created by QinDongLiang on 2017/1/5. */object ScalaRegex { def main(args: Array[String]): Un
我是攻城师
2018-05-14
919
0
六个藉藉无名但迅速崛起的Apache大数据项目
apache
大数据
数据处理
数据分析
如今全球各地的无数企业组织在处理数据集,这些数据集是如此地庞大而复杂,以至于传统的数据处理应用软件再也无法支持经过优化的数据分析和洞察力获取。这是新一批大数据应用软件旨在解决的问题,而Apache软件
我是攻城师
2018-05-14
1.3K
0
SolrCloud之Sharding路由介绍
lucene/solr
分布式
大数据
在Solr4.4之后,Solr提供了SolrCloud分布式集群的模式,它带来的主要好处是: (1)大数据量下更高的性能 (2)更好扩展性 (3)更高的可靠性 (4)更简单易用 什么时候应该使用SolrCloud(Shard)呢? (1)更大的数据量 (2)更大的索引体积 (3)想并行索引和查询 (4)想自定义数据分区 SolrCloud路由的分类 A:显式路由(Composite) => 创建时明确指定shard数目,后期不能添加或者删除shard,单个shar
我是攻城师
2018-05-14
1.5K
0
Hadoop生态系统在壮大:十大炫酷大数据项目
apache
hadoop
大数据
spark
开源
在开发人员开发Hadoop以克服大数据带来的挑战之后的10年间,这些技术的生态系统在不断发展壮大。Apache软件基金会下面有众多的开源大数据技术项目。本文介绍一些重要项目,并顺便了解几个新兴项目。
我是攻城师
2018-05-14
1.1K
0
Java程序员使用的20几个大数据工具
java
大数据
最近我问了很多Java开发人员关于最近12个月内他们使用的是什么大数据工具。 这是一个系列,主题为: 语言 web框架 应用服务器 SQL数据访问工具 SQL数据库 大数据 构建工具 云提供商 今天我
我是攻城师
2018-05-14
624
0
Lucene暴走之巧用内存倒排索引高效识别垃圾数据
大数据
机器人
编程算法
java
识别垃圾数据,在一些大数据项目中的ETL清洗时,非常常见,比如通过关键词 (1)过滤垃圾邮件 (2)识别yellow网站 (3)筛选海量简历招聘信息 (4)智能机器人问答测试 ........ 各个公司的业务规则都不一样,那么识别的算法和算法也不一样,这里提供一种思路,来高效快速的根据关键词规则识别垃圾数据。 下面看下需求: 业务定义一些主关键词若干少则几百个,多则几千个上万个,例如: Java代码 公司 机车厂 化纤厂 建设局 实业集团 中心店 桑拿中心
我是攻城师
2018-05-14
786
0
大数据日志收集框架之Flume入门
大数据
Flume是Cloudrea公司开源的一款优秀的日志收集框架,主要经历了两个大的版本,分别是 Flume-OG Flume-NG OG是0.9.x的版本,依赖zookeeper,角色职责不够单一
我是攻城师
2018-05-14
1.2K
0
Hive使用ORC格式存储离线表
hive
存储
大数据
数据库
在大数据时代,列式存储变得越来越流行了,当然并不是说行式存储就没落了,只是针对的场景不同,行式存储的代表就是我们大多数时候经常用的数据库,比较适合数据量小,字段数目少,查询性能高的场景,列式存储主要针对大多数互联网公司中的业务字段数目多,数据量规模大,离线分析多的场景,这时候避免大量无用IO扫描,往往提高离线数据分析的性能,而且列式存储具有更高的压缩比,能够节省一定的磁盘IO和网络IO传输。 基础环境如下: Apache Hadoop2.7.1 Apache Hbase0.98.12 Apach
我是攻城师
2018-05-14
6.1K
2
Hadoop之父Doug Cutting眼中大数据技术的未来
hadoop
大数据
java
上次见到(膜拜)Hadoop之父Doug Cutting是在2年前,2014中国大数据技术大会上。今年Hadoop10岁,刚看到他的Hadoop十周年贺词,感觉时间飞逝。 Doug Cutting成长
我是攻城师
2018-05-14
645
0
优秀大数据GitHub项目一览
大数据
github
开源
VMware CEO Pat Gelsinger曾说: 引用 数据科学是未来,大数据分析则是打开未来之门的钥匙 企业正在迅速用新技术武装自己以便从大数据项目中获益。各行业对大数据分析人才的需求也迫使我们升级自己的技能以便寻找更好的职业发展。 跳槽之前最好先搞清楚一个岗位会接触到的项目类型,这样你才能掌握所有需要的技能,工作的效率也会更高。 下面我们尽量列出了一些流行的开源大数据项目。根据它们各自的授权协议,你或许可以在个人或者商业项目中使用这些项目的源代码。写作本文的目的也就是为大家介绍一些解决大数
我是攻城师
2018-05-14
2.1K
0
生儿子幸福还是生女儿幸福?让大数据告诉你!
大数据
数据分析
儿子是“建设银行”,所以生了儿子的爸妈会马上开始省吃俭用攒钱买房,而女儿是“招商银行”,生女儿的爸妈可能就会计划买辆新车。那么到底生女儿好还是生儿子好,爸妈们一直是各说各有理,并没有统一的答案。 最近一项名为《新经济时期的子女性别和父母幸福感》的课题研究,其内容包括个体幸福感指标、子女的数量、性别和年龄以及教育、收入、健康等。研究在采集了国内72个地级市4309个家庭的样本之后,得出“生儿子的父母,在儿子长到17岁至30岁期间,幸福感明显比生女儿的父母要低。”也就是说大数据告诉我们,生女儿会比较幸福!但真的
我是攻城师
2018-05-14
601
0
运用Spark加速实时数据分析
spark
数据分析
apache
大数据
Apache Hadoop是一个成熟的开发框架,其连接着庞大的生态系统,并且得到了Cloudera、Hortonwork、Yahoo这些卓越机构的支持与贡献,并且为各个组织提供了许多工具来管理不同大小规则的数据。 在过去,Hadoop中运用MapReduce进行批处理的特性足以满足许多组织的处理需求。然而,随着信息化时代的发展,越来越多组织亟需使用更加快速的数据处理。这些需求来自各个领域的驱动,其中包括最近发展的流媒体技术、物联网、实时分析处理,这些也仅仅只是其中一部分。他们需要一套新的数据处理模型。在
我是攻城师
2018-05-14
669
0
Spark入门之WordCount
spark
大数据
环境: Hadoop版本:Apache Hadoop2.7.1 Spark版本:Apache Spark1.4.1 核心代码: 测试数据: Java代码 a,b,a c,d
我是攻城师
2018-05-14
598
0
大数据就是这么神奇!
大数据
数据分析
大数据,顾名思义就是大量的数据,专业一点的解释叫做无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。 互联网时代每天都有巨量的数据产生,信息技术也随之飞速发展。社会各个阶层都在默默收集这些数据,并通过分析与统计,筛选出对自己有用的数据。大数据已经渗透进我们生活的方方面面,其实我们
我是攻城师
2018-05-14
705
0
盘点大数据生态圈,那些繁花似锦的开源项目
大数据
开源
数据可视化
随着互联网和移动互联网的发展,时下我们正处在一个大数据的时代。在数据金山的诱惑下,各个机构纷纷开始探索从数据中提取洞见并指导实践的可能。而在这个需求的刺激下,在过去数年,大数据开源生态圈得到了长足的发展——在数据的整个生命周期中,从收集到处理,一直到数据可视化和储存,各种开源技术框架林立。 以这些开源技术为基石,业内涌现出一系列令人敬佩的大数据架构实践,而《程序员》电子刊9月B大数据实战与技术专题则摘录了电商、金融、游戏等行业的大数据应用,并覆盖了当下热门的大数据开源技术实践与技术细节,如Hadoop、
我是攻城师
2018-05-14
883
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档