项目实战中Hive注释乱码解决方案

下面这些都是我在工作中总结出来的，希望对大家有帮助，如果有其他的问题或者解决方法可以留言给我。

我们知道hive的元数据是有mysql管理的,所以这是mysql的元数据的问题.下⾯面我们就修改⼀一下字符编码。

mysql -u cdh -p -h ip
********

（1）修改表字段注解和表注解

alter table COLUMNS_V2 modify column 
COMMENT varchar(256) character set utf8;

alter table TABLE_PARAMS modify
column PARAM_VALUE varchar(4000) character set utf8;

（2）修改分区字段注解

alter table PARTITION_PARAMS modify column PARAM_VALUE 
varchar(4000) character set utf8 ;

alter table PARTITION_KEYS modify column PKEY_COMMENT 
varchar(4000) character set utf8;

（3）修改索引注解

alter table INDEX_PARAMS modify column PARAM_VALUE 
varchar(4000) character set utf8;

（4）修改hive-site.xml配置⽂文件

<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://IP:3306/hive?
createDatabaseIfNotExist=true&amp;useUnicode=true&characterEncoding =UTF-8
</value>
<description>
JDBC connect string for a JDBC metastore
</description>
</property>

最近也有许多小伙伴问我关于面试的问题，面试应该如何去准备，这里我总结了写面试题，大方向可以根据这些去装备。我要强调一点，也是最关键的一点就是：基础很重要。

1、HashMap 和 Hashtable 区别

2、Java 垃圾回收机制和生命周期

3、怎么解决 Kafka 数据丢失的问题

4、zookeeper 是如何保证数据一致性的

5、hadoop 和 spark 在处理数据时，处理出现内存溢出的方法有哪些？

6、java 实现快速排序

7、设计微信群发红包数据库表结构（包含表名称、字段名称、类型）

8、如何选型：业务场景、性能要求、维护和扩展性、成本、开源活跃度

9、Spark如何调优

10、Flink和spark的通信框架有什么异同

11、Java的代理

12、Java的内存溢出和内存泄漏

13、hadoop 的组件有哪些？Yarn的调度器有哪些？

14、hadoop 的 shuffle 过程

15、简述Spark集群运行的几种模式

16、RDD 中的 reducebyKey 与 groupByKey 哪个性能高？

17、简述 HBase 的读写过程

18、在 2.5亿个整数中，找出不重复的整数，注意：内存不足以容纳 2.5亿个整数。

19、CDH 和 HDP 的区别

20、Java原子操作

21、Java封装、继承和多态

22、JVM 模型

23、Flume taildirSorce 重复读取数据解决方法

24、Flume 如何保证数据不丢

25、Java 类加载过程

26、Spark Task 运行原理

27、手写一个线程安全的单例

28、设计模式

29、impala 和 kudu 的适用场景，读写性能如何

30、Kafka ack原理