腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

hadoop学习笔记

专栏作者

176

文章

181088

阅读量

28

订阅数

Hanlp分词1.7版本在Spark中分布式使用记录

编程算法 jar hadoop java 大数据

新发布1.7.0版本的hanlp自然语言处理工具包差不多已经有半年时间了，最近也是一直在整理这个新版本hanlp分词工具的相关内容。不过按照当前的整理进度，还需要一段时间再给大家详细分享整理的内容。昨天正好看到的这篇关于关于1.7.0版本hanlp分词在spark中的使用介绍的文章，顺便分享给大家一起学习一下！

2019-03-11

6540

hadoop集群管理系统搭建规划说明

Hadoop分布式集群环境搭建是每个入门级新手都非常头疼的事情，因为你可能花费了很久的时间在搭建运行环境，最终却不知道什么原因无法创建成功。但对新手来说，运行环境搭建不成功的概率还蛮高的。

2019-01-04

7940

自然语言处理工具HanLP被收录中国大数据产业发展的创新技术新书《数据之翼》

中文分词大数据

在12月20日由中国电子信息产业发展研究院主办的2018中国软件大会上，大快搜索获评“2018中国大数据基础软件领域领军企业”，并成功入选中国数字化转型TOP100服务商。

2018-12-24

3500

以DKHadoop为基础的城市运河大数据政务管理平台案例解读

大数据政务云专区搜索引擎

大数据在政务当中的应用对于提高问题解决的效率可谓大有帮助，但政务大数据平台的应用开发远不止提高问题解决效率这么简单。当然，作为大数据平台应用的开发者来说，我们要做的是还是从底层的技术层面做好解决方案。关于政务大数据平台的解决方案此前有分享过智慧人社的和城市智慧停车的大数据平台解决方案，本篇给大家分享一个新的政务大数据平台管理案例——大快搜索的城市数据运河政务大数据管理运营平台。

2018-12-24

4780

SQL与NoSQL数据库入门基础知识详解

大数据开源 nosql sql hadoop

这几年的大数据热潮带动了一激活了一大批hadoop学习爱好者。有自学hadoop的，有报名培训班学习的。所有接触过hadoop的人都知道，单独搭建hadoop里每个组建都需要运行环境、修改配置文件测试等过程。对于我们这些入门级新手来说简直每个都是坑。国内的发行版hadoop那么多，似乎都没有来填这样的坑？不知道是没法解决，还是没有想到？

2018-12-19

7820

DKHadoop安装的环境准备介绍

大数据 hadoop 存储

前几天去参加了一个线下的聚会，参加聚会的基本都是从事互联网工作的。会上有人提到了区块链，从而引发了一场关于大数据方面的探讨。我也是从去年才正式接触大数据，一直在学习hadoop。相信接触过hadoop的人都知道，。单独搭建hadoop里每个组建都需要运行环境、修改配置文件、测试等过程，每个组件几乎都有坑，尤其是让新手甚是苦恼。此前有在微博上与一些博友了解过他们的配置过程，有的配置了好几天愣是没成功。

2018-12-05

4670

人力资源数据可视化技术架构

大数据解决方案大数据数据处理数据可视化

大数据技术的应用正在潜移默化改变着我们的日常生活习惯和工作方式，很多看起来有点“不可思议”的事情也渐渐被我们“习以为常”。大数据可能在国内的起步较晚，但我们可能却是对大数据应用最好的了代表了。前些时候有分享了一个大数据技术在智慧人社上面的应用案例，最近也一直看一些人力资源方面大数据解决方案的案例，比较集中的都是围绕智慧人社的。

2018-12-03

1.5K0

hadoop和spark的区别

spark hadoop mapreduce 分布式大数据

学习hadoop已经有很长一段时间了，好像是二三月份的时候朋友给了一个国产Hadoop发行版下载地址，因为还是在学习阶段就下载了一个三节点的学习版玩一下。在研究、学习hadoop的朋友可以去找一下看看（发行版DKhadoop，去大快的网站上应该可以下载到的。）

2018-11-30

8120

大数据分析技术在新型智慧能源建设中的应用

大数据分布式

智慧一概念已经提出很多年，这是一种全新的能源形式，包括符合生态文明和可持续发展要求的相关能源技术和能源制度体能源这系。智慧能源是以互联网技术为基础，以电力系统为中心，将电力系统与天然气网络、供热网络以及工业、交通、建筑系统等紧密耦合，横向实现电、气、热、可再生能源等“多源互补”，纵向实现“源、网、荷、储”各环节高度协调，生产和消费双向互动，集中与分布相结合的能源服务网络。其依托互联网、物联网、大数据、云计算等新技术对能源的生产、存储和使用进行实时监测、数据分析和优化处理，并通过数字化、网络化、智能化手段，实现能源的安全、高效、绿色、智慧应用。

2018-11-21

9640

基于DKHadoop的智慧人社服务平台开发案例简述

大数据 hadoop

大数据技术的应用与发展正在让我们的生活经历一场深刻的“变革”，而且这种变革几乎让所有人都感觉非常舒服，自然而然的就完成了这样的一个变化。最根本的原因其实是大数据技术的应用真正帮助我们解决了问题。

2018-11-16

4300

大数据分析在新型智慧能源建设中的应用

大数据分布式

智慧一概念已经提出很多年，这是一种全新的能源形式，包括符合生态文明和可持续发展要求的相关能源技术和能源制度体能源这系。智慧能源是以互联网技术为基础，以电力系统为中心，将电力系统与天然气网络、供热网络以及工业、交通、建筑系统等紧密耦合，横向实现电、气、热、可再生能源等“多源互补”，纵向实现“源、网、荷、储”各环节高度协调，生产和消费双向互动，集中与分布相结合的能源服务网络。其依托互联网、物联网、大数据、云计算等新技术对能源的生产、存储和使用进行实时监测、数据分析和优化处理，并通过数字化、网络化、智能化手段，实现能源的安全、高效、绿色、智慧应用。

2018-11-14

1K0

DKH企业级大数据解决方案的优势分析

运维云计算大数据解决方案大数据数据可视化

大数据技术的发展与应用已经在深刻地改变和影响我们的日常生活与工作，可以预见的是在大数据提升为国家战略层面后，未来的几年里大数据技术将会被更多的行业应用。

2018-11-02

4430

DKhadoop大数据平台基础框架方案概述

大数据开源 hadoop 搜索引擎

大数据作为当下最为热门的事件之一，其实已经不算是很新鲜的事情了。如果是三五年前在讨论大数据，那可能会给人一种很新鲜的感觉。大数据作为当下最为重要的一项战略资源，已经是越来越得到国家和企业的高度重视，我们从大数据被上升到国家战略层面就可窥见一二！

2018-10-31

5510

DKHadoop大数据开发框架的构成模块

大数据 spark hadoop 数据安全

大数据也不是近几年才出现的新东西，只是最近几年才真正意义上变得热门、火爆！而这要得益于互联网信息技术的快速发展，网络改变世界、改变生活，大数据技术的应用让这样的改变更为深刻。

2018-10-19

6690

DKHadoop大数据平台架构详解

大数据开源 sql 面向对象编程分布式

大数据的时代已经来了，信息的爆炸式增长使得越来越多的行业面临这大量数据需要存储和分析的挑战。Hadoop作为一个开源的分布式并行处理平台，以其高拓展、高效率、高可靠等优点越来越受到欢迎。这同时也带动了hadoop商业版的发行。这里就通过大快DKhadoop为大家详细介绍一下hadoop大数据平台架构内容。

2018-10-17

1.1K0

菜鸟如何使用hanlp做分词的过程记录

最近在学习hanlp的内容，准备在节后看看有没有时间整理一波hanlp分享下，应该还是会像之前分享DKHadoop一样的方式吧。把整个学习的过程中截图在配文字的方式搞一下。

2018-09-30

9130

Hadoop应用案例分析：P2P借款人信用风险实时监控模型设计

大数据 hadoop 互联网金融

一提到hadoop相信熟悉IT领域或者经常关注互联网新闻的朋友都应该很熟悉了，当然，这种熟悉可能也只是听着名字耳熟，但并不知道它具体是什么东西，或者用来做什么。这些都不重要，重要的是你知道有hadoop这么个东西就可以了。

2018-09-29

5540

hadoop不同版本有哪些

hadoop 大数据 apache 开源 hive

首次听到hadoop这次单词，相信很多人跟我当时是一样，不免心中画上一个大大的问号——这是什么东西？Hadoop是什么？百度百科的解释是：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。换句话说就是hadoop是一个能够对大量数据进行分布式处理的软件框架。

2018-09-18

1.6K0

hadoop发行版本之间的区别

大数据 apache 开源 hadoop

Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop的发行版除了有Apache hadoop外cloudera，hortonworks，mapR,华为,DKhadoop等都提供了自己的商业版本。商业发行版主要是提供了更为专业的技术支持，这对于大型企业更为重要，不同发行版都有自己的一些特点，本文就各发行版做简单对比介绍。

2018-09-11

1.2K0

Hadoop体系结构中的服务解决介绍

hadoop TDSQL MySQL 版 hbase java 大数据

翻了一下最近一段时间写的分享，DKHadoop发行版本下载、安装、运行环境部署等相关内容几乎都已经写了一遍了。虽然有的地方可能写的不是很详细，个人理解水平有限还请见谅吧！我记得在写DKHadoop运行环境部署的时候，遗漏了hadoop服务角色的内容，本篇特地补上这部分内容吧，不然总觉得不舒服。

2018-09-11

6630

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态