首页
学习
活动
专区
工具
TVP
发布

信息化漫谈

专栏作者
153
文章
302580
阅读量
35
订阅数
大数据个人画像存哪儿去了?
上一篇文章,我们将用户的购物数据用Hive进行了非实时的大数据分析,并为他们打上了标签,某些同学喜欢衣服,某些同喜欢汽车。那这些标签数据究竟存到了哪里,标签数据是否永远保存,这些标签数据是否能够不断更新?
希望的田野
2020-02-11
6430
五种常见云数据库的真实应用场景
随着客户上云的加快,客户越来越希望直接采用云上的数据库系统支撑业务发展,作为服务商来讲,了解云上的数据库的应用场景及常见特性成为必然。否则,将出现与客户交流困难,影响项目成效的麻烦事。今天我们讲五种常见的云数据库,这些内容也是在与客户沟通交流中的常见问题。
希望的田野
2020-01-16
4.4K0
图文简述HBase的用途(二)
昨天,我们讲到了HBase的逻辑结构,今天我们来看一下HBase的存储及访问原理。
希望的田野
2019-09-24
7500
夏季体验HBase的魅力
因为伪分布式的hbase的依赖于hdfs,因此我将hbase安装好后,首先启动hadoop的hdfs,然后再启动hbase。关闭顺序反之,先关hbase,再关闭hdfs。
希望的田野
2019-09-24
5620
淘宝大数据之流式计算
到底什么是大数据?大数据与数据统计有什么区别?如果不理解大数据的承载底层技术,很难讲清楚。因此作为解决方案经理,技术与业务都是作为方案不可缺少的组成部分。今天我们来看一下大数据之流式计算。
希望的田野
2019-09-24
2K0
数据倒换工具 Sqoop (大数据时代的ETL)
在传统的数据编程时代,我们今天听到过ETL(数据抽取、转换工具),可以用来从数据源提取数据,经过数据清洗后,放到数据仓库中,如熟知的Logstash, Flume。在大数据的时代,传统的RDBMS中的结构化数据如何倒向大数据的数据库如HBase中呢?这时侯,会用到Sqoop工具。
希望的田野
2019-09-24
1.1K0
图文简述HBase的用途(一)
我们平常在存储数据时,会想到用Mysql关系型数据库、大硬盘文档存储等。但是,面临互联网自媒体时代的出现,采用Mysql来存储微信类评论数据、零碎图片、零碎视频,采用Mysql的数据库,已经力不从心。表现在:1、Mysql数据库字段固定。2、Mysql字段存储内容无法任意增加或删除。3、Mysql数据库水平扩展麻烦(分库分表依靠人手管理,非常麻烦),海量的数据存取存在瓶颈。因此,面临此类问题,Apache在HDFS的基础上推出了HBase的NoSQL数据库,解决此类问题。
希望的田野
2019-09-24
1.7K0
图文简述flume的巨大用途
谈到大数据,我们很常会想到hdfs、mapreduce、hbase、spark、hive等高大上的大数据工具或底层组件,但我们不能忘了饮水思源,我们的大数据的数据从哪里来呢? 有来自于mysql、oracle等关系型的结构化数据库,也有来自html、log等半结构数据,但问题来了!log类的文本如何采集、如何上传到hdfs或kafka中? 大家可能会想到采用ftp等手工传输方式,但实际是根据不可行,ftp如何保证数据保存至hdfs、kafka中。好,今天,我来们讲一种工具,flume,帮助您自动采集前端数据,并自动帮您保存至您想保存至的数据目的地。
希望的田野
2019-09-24
6140
如果光猫+hadoop,有化学反应吗?
运营商关注光网的发展与客户的使用体验,客户的互联网使用体验提质一般采用两种方式进行处理。一是观注在OLT上每个用户的光衰进行主动处理,二是通过客服热线或用户测试网站进行被动处理。但这种方式仍存在问题,通过OLT主动查看用户的光衰只关注了最后一公里,而客户是观注端到端的使用体验,该方式仍存在弊端。今天我们来探讨,有什么办法可以做到端到端的互联网业务主动改善?
希望的田野
2019-09-24
6610
没有更多了
社区活动
RAG七天入门训练营
鹅厂大牛手把手带你上手实战
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档