无题~-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

无题~

专栏成员

218

文章

279897

阅读量

22

订阅数

scala：分别使用懒汉式和饿汉式实现单例模式

想了解Java单例模式的请转到：Java单例模式-懒汉式、恶汉式、静态内部类、枚举以及线程安全问题

2021-03-04

7630

整体分析scala数据类型（重点）

java scala 编程算法数据结构

由于Java有基本类型，而且基本数据类型不是真正意义的对象，于是就有了基本数据类型的包装类：

2021-01-18

4350

java集合有哪些分类以及集合下的ArrayList和LinkList的优缺点

编程算法 hashmap java

@ 目录集合 Collection-存放单值类型数据 List：有序、可重复 ArrayList LinkedList Vector Set：无序、不可重复 HashSet TreeSet（属于SortedSet）-让集合中的元素具备了排序的能力 Map-存放键值对类型 HashMap TreeMap（属于SortedMap）集合 Collection-存放单值类型数据 List：有序、可重复注意：有序指的是集合中的元素有下标，放进去和取出来的顺序一致 ArrayList 底层是数组优点：查询效率高

2021-01-14

5290

Hive数据的存储以及在centos7下进行Mysql的安装

存储 hive 数据库 java 云数据库 SQL Server

表在创建时，有分隔符属性，这个分隔符属性，代表在执行MR程序时，使用哪个分隔符去分割每行中的字段！查看表(实际在HDFS中也是一个文件)中的所有内容(包括分隔符)：

2020-10-10

8600

hadoop分布式格式化时出现异常java.net.unknownhostexception

java xml 分布式 core network

在日志的最后一行出现 java.net.unknownhostexception的异常，通常是你的主机名没有配置好，在core-site.xml文件中的主机名与hosts文件、network文件里的主机名不一致。

2020-09-28

1.3K0

MapReduce案例之寻找共同好友

以下是博客的好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（数据中的好友关系是单向的）求出哪些人两两之间有共同好友，及他俩的共同好友都有谁？

2020-09-18

5330

MapperReduce常见错误及解决方案

windows shell java hadoop mapreduce

1）导包容易出错。尤其Text和CombineTextInputFormat。 2）Mapper中第一个输入的参数必须是LongWritable或者NullWritable，不可以是IntWritable. 报的错误是类型转换异常。 3）java.lang.Exception: java.io.IOException: Illegal partition for 13926435656 (4)，说明Partition和ReduceTask个数没对上，调整ReduceTask个数。 4）如果分区数不是1，但是reducetask为1，是否执行分区过程。答案是：不执行分区过程。因为在MapTask的源码中，执行分区的前提是先判断ReduceNum个数是否大于1。不大于1肯定不执行。 5）在Windows环境编译的jar包导入到Linux环境中运行， hadoop jar wc.jar com.atguigu.mapreduce.wordcount.WordCountDriver /user/atguigu/ /user/atguigu/output 报如下错误： Exception in thread "main" java.lang.UnsupportedClassVersionError: com/atguigu/mapreduce/wordcount/WordCountDriver : Unsupported major.minor version 52.0 原因是Windows环境用的jdk1.7，Linux环境用的jdk1.8。解决方案：统一jdk版本。 6）缓存pd.txt小文件案例中，报找不到pd.txt文件原因：大部分为路径书写错误。还有就是要检查pd.txt.txt的问题。还有个别电脑写相对路径找不到pd.txt，可以修改为绝对路径。 7）报类型转换异常。通常都是在驱动函数中设置Map输出和最终输出时编写错误。 Map输出的key如果没有排序，也会报类型转换异常。 8）集群中运行wc.jar时出现了无法获得输入文件。原因：WordCount案例的输入文件不能放用HDFS集群的根目录。 9）出现了如下相关异常

2020-09-18

6180

MapReduce之ReduceJoin案例

通过将关联条件作为Map输出的key，将两表满足Join条件的数据并携带数据所来源的文件信息，发往同一个ReduceTask，在Reduce中进行数据的串联。

2020-08-19

5530

MapReduce之多个Job串联的案例

网络安全 java mapreduce

期待输出比如：atguigu c.txt-->2 b.txt-->2 a.txt-->3

2020-08-18

4360

MapReduce之MapJoin案例

java 缓存 mapreduce

思考：在Reduce 端处理过多的表，非常容易产生数据倾斜。怎么办？在Map端缓存多张表，提前处理业务逻辑，这样增加Map 端业务，减少Reduce 端数据的压力，尽可能的减少数据倾斜。

2020-08-18

4450

MapReduce之GroupingComparator分组（辅助排序、二次排序）

java mapreduce 网络安全

利用“订单id和成交金额”作为key，所以把每一行记录封装为bean。由于需要比较ID，所以实现了WritableComparable接口 OrderBean.java

2020-08-11

6550

MapReduce之自定义OutputFormat

java mapreduce 网站

OutputFormat是MapReduce输出的基类，所有实现MapReduce输出都实现了OutputFormat接口。下面介绍几种常见的OutputFormat实现类。

2020-08-11

4230

MapReduce之WritableComparable排序

思考因为Map Task和ReduceTask均会默认对数据按照key进行排序，所以需要把流量总和设置为Key，手机号等其他内容设置为value

2020-07-31

6000

MapReduce之自定义分区器Partitioner

期望输出数据：手机号136、137、138、139开头都分别放到一个独立的4个文件中，其他开头的放到一个文件中。所以总共分为5个文件，也就是五个区。

2020-07-22

7400

MapReduce之自定义InputFormat

java 面向对象编程 hadoop 存储

将多个小文件合并成一个SequenceFile文件（SequenceFile文件是Hadoop用来存储二进制形式的key-value(bytes) 对的文件格式），SequenceFile里面存储着多个文件，存储的形式为文件路径+名称为key，文件内容为value。

2020-07-21

6750

MapReduce的常见输入格式之CombineTextInputFormat

Job-->MRAppMaster-->RM-->调度队列-->NM-->Container-->MapTask 可以看见，从job提交到执行maptask，中间还会经历很多过程。这时候需要将很多小文件合并切片，提高执行效率。

2020-07-21

9220

MapReduce的常见输入格式之KeyValueTextInputFormat

每行第一个字段为名字，后面的则为该人的一些信息，所以此时的输入格式应该是以每一行的名字为Key，每一行的其他信息为Value。

2020-07-21

1K0

MapReduce的常见输入格式之NlineInputFormat

java mapreduce python

RecordReader：LineRecordReader，一次处理一行，将一行内容的偏移量作为key，一行内容作为value 它们的数据类型：

2020-07-21

6410

使用MapReduce运行WordCount案例

文件存储 mapreduce hadoop java jar

注意：准备的数据的格式必须是文本，每个单词之间使用制表符分割。编码必须是utf-8无bom

2020-07-16

4980

使用MapReduce运行自定义bean案例

在这个文件中，每一行的内容分别代表：手机号、IP、访问网站、上行流量、下行流量、状态码，现在需要统计每个手机号访问网站的上行流量、下行流量以及它们的总和。由于mapper按照每行进行切片，不妨创建一个bean，封装这些属性。

2020-07-16

5430

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态