腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

hadoop学习笔记

专栏作者

176

文章

181389

阅读量

28

订阅数

spark集群使用hanlp进行分布式分词操作说明

编程算法分布式

本篇分享一个使用hanlp分词的操作小案例，即在spark集群中使用hanlp完成分布式分词的操作，文章整理自【qq_33872191】的博客，感谢分享！以下为全文：

2019-01-21

7590

hadoop和spark的区别

spark hadoop mapreduce 分布式大数据

学习hadoop已经有很长一段时间了，好像是二三月份的时候朋友给了一个国产Hadoop发行版下载地址，因为还是在学习阶段就下载了一个三节点的学习版玩一下。在研究、学习hadoop的朋友可以去找一下看看（发行版DKhadoop，去大快的网站上应该可以下载到的。）

2018-11-30

8120

大数据分析技术在新型智慧能源建设中的应用

大数据分布式

智慧一概念已经提出很多年，这是一种全新的能源形式，包括符合生态文明和可持续发展要求的相关能源技术和能源制度体能源这系。智慧能源是以互联网技术为基础，以电力系统为中心，将电力系统与天然气网络、供热网络以及工业、交通、建筑系统等紧密耦合，横向实现电、气、热、可再生能源等“多源互补”，纵向实现“源、网、荷、储”各环节高度协调，生产和消费双向互动，集中与分布相结合的能源服务网络。其依托互联网、物联网、大数据、云计算等新技术对能源的生产、存储和使用进行实时监测、数据分析和优化处理，并通过数字化、网络化、智能化手段，实现能源的安全、高效、绿色、智慧应用。

2018-11-21

9660

大数据分析在新型智慧能源建设中的应用

大数据分布式

智慧一概念已经提出很多年，这是一种全新的能源形式，包括符合生态文明和可持续发展要求的相关能源技术和能源制度体能源这系。智慧能源是以互联网技术为基础，以电力系统为中心，将电力系统与天然气网络、供热网络以及工业、交通、建筑系统等紧密耦合，横向实现电、气、热、可再生能源等“多源互补”，纵向实现“源、网、荷、储”各环节高度协调，生产和消费双向互动，集中与分布相结合的能源服务网络。其依托互联网、物联网、大数据、云计算等新技术对能源的生产、存储和使用进行实时监测、数据分析和优化处理，并通过数字化、网络化、智能化手段，实现能源的安全、高效、绿色、智慧应用。

2018-11-14

1K0

详谈分布式系统缓存的设计细节

缓存云数据库 Redis 分布式存储压力测试

在分布式Web程序设计中，解决高并发以及内部解耦的关键技术离不开缓存和队列，而缓存角色类似计算机硬件中CPU的各级缓存。如今的业务规模稍大的互联网项目，即使在最初beta版的开发上，都会进行预留设计。但是在诸多应用场景里，也带来了某些高成本的技术问题，需要细致权衡。

2018-10-29

6750

DKHadoop大数据平台架构详解

大数据开源 sql 面向对象编程分布式

大数据的时代已经来了，信息的爆炸式增长使得越来越多的行业面临这大量数据需要存储和分析的挑战。Hadoop作为一个开源的分布式并行处理平台，以其高拓展、高效率、高可靠等优点越来越受到欢迎。这同时也带动了hadoop商业版的发行。这里就通过大快DKhadoop为大家详细介绍一下hadoop大数据平台架构内容。

2018-10-17

1.1K0

分布式存储系统解决方案中的分离式与超融合部署

存储虚拟化系统架构分布式

数据中心内部系统的核心要求是“稳定可靠”，一是指系统在运行过程中有能力提供连续可靠的服务，长时间无故障运行；二是指当故障发生之后，有能力快速定位，及时排查，故障范围不蔓延。

2018-09-03

1.8K0

DKhadoop安装包下载与DKM监控参数说明

前阶段用了差不多两周的时间把DKhadoop的运行环境搭建以及安装的各个操作都介绍了一遍。关于DKhadoop安装包下载也只是顺带说了一下，但好像大快搜索的服务器在更新，新的下载页面还不好用！有好些朋友留言说了大快搜索网站上无法下载。我已经将之前下载的这个版本上传到了网盘了，需要的DKhadoop安装包的朋友可以直接通过网盘下载！

2018-08-13

8820

hadoop分布式集群环境搭建安装规划

hadoop 分布式大数据

Hadoop分布式集群环境搭建是每个入门级新手都非常头疼的事情，因为你可能花费了很久的时间在搭建运行环境，最终却不知道什么原因无法创建成功。但对新手来说，运行环境搭建不成功的概率还蛮高的。

2018-07-26

4060

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态