我正在尝试使用 collect_list 为每个 ID 生成事件列表。所以类似于以下内容：
今天这个题目来自群里的小伙伴考我的：已知有表中含有两列数据id，val,数据内容如下，请按照id的大小将val进行拼接。
mysql和hive版本： mysql版本：5.6.17 hive版本：2.1.1
有一张用户操作行为记录表 t_act_log_035 包含用户ID(user_id),操作编号(op_id),操作时间(op_time)
示例：实现同一数据集的多重group by操作。事实上GROUPING SETS是多个GROUP BY进行UNION ALL操作的简单表达。
将 dataframe 利用 pyspark 列合并为一行，类似于 sql 的 GROUP_CONCAT 函数。例如如下 dataframe :
首先排序：row_number() over (partition by category order by cast(duration as int) desc) duration_rank，然后拼接concat_ws(',',collect_set(category))，但是得到的结果却是乱序的，产生这个问题的根本原因自然在MapReduce，如果启动了多于一个mapper/reducer来处理数据，select出来的数据顺序就几乎肯定与原始顺序不同了。
在理财 APP 中，素材、广告位、产品、策略有时候是多对多的关系。比如，在内容中台，一个素材可能关联理财、基金、存款某些产品，那我们统计该素材的好不好，转化率好不好，该归属于哪些业务？再进而计算某些业务的贡献，就可能需要用到数组。
SQL 中的 TRIM 函数是用来移除掉一个字串中的字头或字尾。最常见的用途是移除字首或字尾的空白。
1.倾斜原因：map 输出数据按 key Hash 的分配到 reduce 中，由于 key 分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的 reduce 上的数据量差异过大。
比如event_value是一个json格式的字段，然后想获取里面的id作为单独一列
需求 根据聚合在一起的编码转换成聚合在一起的码值 建表语句 create table wangyou1( codeStr string ) row format delimited fields terminated by '\t' ; 数据 insert overwrite table wangyou1 values ("1,2,3,4"), ("1,2"), ("2,3"), ("2,3,4"); 实现 select t2.codeStr, concat_ws(",",colle
通过Files.lines方法将文本文件转换为管道流，下图中的Paths.get()方法作用就是获取文件，是Java NIO的API！
数据倾斜是分布式系统不可避免的问题，任何分布式系统都有几率发生数据倾斜，但有些小伙伴在平时工作中感知不是很明显。这里要注意本篇文章的标题—“千亿级数据”，为什么说千亿级，因为如果一个任务的数据量只有几百万，它即使发生了数据倾斜，所有数据都跑到一台机器去执行，对于几百万的数据量，一台机器执行起来还是毫无压力的，这时数据倾斜对我们感知不大，只有数据达到一个量级时，一台机器应付不了这么多数据，这时如果发生数据倾斜，最后就很难算出结果。
在Java应用中进行集合对象间的转换是非常常见的事情，有时候在处理某些任务时选择一种好的数据结构往往会起到事半功倍的作用，因此熟悉每种数据结构并知道其特点对于程序员来说是非常重要的，而只知道这些是不够的，有时候你需要一个Map来处理数据，而此时你手中只有一个List，此时知道如何将List转为Map就非常重要了，而只知道for循环将List转为Map这就太Low了，JDK1.8 吸收了许多函数式编程的思想，其中的lambda表达式不仅功能强大，而且减少了很多不必要的代码，本文不是介绍lambda表达式的，主要是利用lambda表达式进行Java中结合的转换，当然lambda表达式的使用往往离不开JDK1.8 的stream类，本文主要使用lambda表达式和stream类来实现Java中集合的转换，也会涉及到利用stream对数据进行的一些处理。
在数据处理和分析中，我们经常会遇到需要将一行数据转换为多列的情况。在 Hive 和 ClickHouse 中，可以使用 collect_set() 和 groupUniqArray() 函数来实现行转列操作。
在对list的操作中常常需要for循环来遍历整个list，代码看起来不够简洁。所以利用java8的新特性Stream来代替for循环，提高程序的可读性。 从网上coyp了一些stream的介绍：Stream 不是集合元素，它不是数据结构并不保存数据，它是有关算法和计算的，它更像一个高级版本的 Iterator。原始版本的 Iterator，用户只能显式地一个一个遍历元素并对其执行某些操作；高级版本的 Stream，用户只要给出需要对其包含的元素执行什么操作，比如 “过滤掉长度大于 10 的字符串”、“获取每个字符串的首字母”等，Stream 会隐式地在内部进行遍历，做出相应的数据转换。 Stream 就如同一个迭代器（Iterator），单向，不可往复，数据只能遍历一次，遍历过一次后即用尽了，就好比流水从面前流过，一去不复返。 而和迭代器又不同的是，Stream 可以并行化操作，迭代器只能命令式地、串行化操作。顾名思义，当使用串行方式去遍历时，每个 item 读完后再读下一个 item。而使用并行去遍历时，数据会被分成多个段，其中每一个都在不同的线程中处理，然后将结果一起输出。Stream 的并行操作依赖于 Java7 中引入的 Fork/Join 框架（JSR166y）来拆分任务和加速处理过程。 下面是一些利用stream写的工具类
This code takes in a list of cols and their values EG :
**CONCAT_WS(separator, str1, str2,...)：**多字符串拼接
构建一个User实体类供演示 public class Users { /** * ID */ private Long id; /** * 用户名 */ private String name; /** * 年龄 */ private int age; /** * 工号 */ private String jobNumber; /** * 性别
Spark UDF 增加了对 DS 数据结构的操作灵活性，但是使用不当会抵消Spark底层优化。
上一篇文章一场pandas与SQL的巅峰大战中，我们对比了pandas与SQL常见的一些操作，我们的例子虽然是以MySQL为基础的，但换作其他的数据库软件，也一样适用。工作中除了MySQL，也经常会使用Hive SQL，相比之下，后者有更为强大和丰富的函数。本文将延续上一篇文章的风格和思路，继续对比Pandas与SQL，一方面是对上文的补充，另一方面也继续深入学习一下两种工具。方便起见，本文采用hive环境运行SQL，使用jupyter lab运行pandas。关于hive的安装和配置，我在之前的文章MacOS 下hive的安装与配置提到过，不过仅限于mac版本，供参考，如果你觉得比较困难，可以考虑使用postgreSQL，它比MySQL支持更多的函数(不过代码可能需要进行一定的改动)。而jupyter lab和jupyter notebook功能相同，界面相似，完全可以用notebook代替，我在Jupyter notebook使用技巧大全一文的最后有提到过二者的差别，感兴趣可以点击蓝字阅读。希望本文可以帮助各位读者在工作中进行pandas和Hive SQL的快速转换。本文涉及的部分hive 函数我在之前也有总结过，可以参考常用Hive函数的学习和总结。
本套SQL题的答案是由许多大佬共同贡献，1+1的力量是远远大于2的，有不少题目都采用了非常巧妙的解法，也有不少题目有多种解法。本套大数据SQL题不仅题目丰富多样，答案更是精彩绝伦！
spark sql提供了更快的查询性能，如何能够更快的体验，开发和调试spark sql呢？按照正规的步骤我们一般会集成hive，然后使用hive的元数据查询hive表进行操作，这样以来我们还需要考虑跟hive相关的东西，如果我们仅仅是学习spark sql查询功能，那么仅仅使用IDEA的IDE环境即可，而且能够在win上快速体验，不需要hive数据仓库，我们直接使用数组造点数据，然后转成DF，最后直接使用spark sql操作即可。 首先，看下pom文件的核心依赖： 然后看一个例子spark sql的测试
先用concat_ws函数将将星座和血型用“，”连接后group by 用collect_set函数对name聚合，用concat_ws函数对聚合后的name用“|”分割
并行执行模式 推测执行模式 数据倾斜时开启负载均衡模式 map缓冲区大小 溢写磁盘百分比 开启combanier提前预聚合 设置reduce拉取数据的内存缓冲区大小 开启kryo序列化 使用Snappy压缩方式 合并小文件 开启Jvm重用
如果其中有一张表为小表，直接使用map端join的方式（map端加载小表）进行聚合。
scala> val a = println("ddd") ddd a: Unit = ()
SQL全称Structured Query Language，说人话就是结构化查询语言。毫不夸张地说，它是数据分析必会技能Top1，因为没有哪个初级数据分析师的面试能跨过SQL技能考核这一项的。
对于简单的list排序，直接调用内建函数就可以了，但是对于dict的list排序就没有那么直接了，不过，还是有很简洁的办法的，如：
JDK不同版本有不同的特性，我刚毕业时候JDK1.8（8）已经出现了，但是大多公司还在用1.6（6），后面陆续出现了9、10、11、12，但是大多公司仍然坚守在1.6版本，逐渐在向1.8靠拢。
在当今的数字化时代，电子商务已成为人们日常生活的重要组成部分。消费者可以在电商平台上浏览和购买来自全球的商品，这无疑为我们的生活带来了极大的便利。然而，随着电商平台的规模不断扩大，商品数量的急剧增加，如何对海量商品进行高效排序成为了电商系统开发的一大挑战。
你知道怎么对一个Employee对象组成的List集合，先按照性别字段倒序排序，再按照年龄的倒序进行排序么？如果您不知道4行代码以内的解决方案（其实是1行代码就可以实现，但笔者格式化为4行），我觉得您有必要一步步的看下去。
C++ STL 标准库中的 sort() 函数，本质就是一个模板函数。该函数专门用来对容器或普通数组中指定范围内的元素进行排序，排序规则默认以元素值的大小做升序排序，除此之外我们也可以选择标准库提供的其它排序规则（比如std::greater降序排序规则），甚至还可以自定义排序规则。
来源：大数据技术与架构本文约6000字，建议阅读10分钟本文收集了Hive面试中的高频考题。 如果你是数据开发、数据研发、或数据分析师，那么这篇文章将对你非常有用。记得转发收藏哦。 一、Hive面试题 1、hive内部表和外部表的区别 未被external修饰的是内部表，被external修饰的为外部表。 区别： 内部表数据由Hive自身管理，外部表数据由HDFS管理； 内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），
1.List排序 这个和数组的排序又不一样了。 其实Java针对数组和List的排序都有实现，对数组而言，你可以直接使用Arrays.sort，对于List和Vector而言，你可以使用Collections.sort方法 Java API针对集合类型的排序提供了2个方法: java.util.Collections.sort(java.util.List) java.util.Collections.sort(java.util.List, java.util.Comparator) 如果集合里面的元素都
– iterable — 可迭代对象。 – key –主要是用来进行比较的元素，只有一个参数，具体的函数的参数就是取自于可迭代对象中，指定可迭代对象中的一个元素来进行排序。 – reverse — 排序规则，reverse = True 降序 ， reverse = False 升序（默认）。
本文介绍了如何根据传入的排序字段，对List列表中的对象进行排序。首先介绍了排序字段及排序规则，然后通过一个实例展示了如何使用该方法，最后给出了通用的排序工具方法。
在实际项目中可能会遇到不相关的表查询结果拼装成一个并按时间倒序排序，然而这样的需求往往用sql不能方便的实现，就需要分别查询出来用List返回，但是返回时需要排序。这时就需要用到List的sort
1、你知道的List都有哪些？ 2、List和Vector有什么区别？ 3、List是有序的吗？ 4、ArrayList和LinkedList的区别？分别用在什么场景？ 5、ArrayList和LinkedList的底层数据结构是什么？ 6、ArrayList默认大小是多少，是如何扩容的？ 7、List是线程安全的吗？如果要线程安全要怎么做？ 8、怎么给List排序？ 9、Arrays.asList方法后的List可以扩容吗？ 10、List和Array之间如何互相转换？ 这些问题其实在面试中都会部分遇
编译 SQL 的任务是在上节中介绍的 COMPILER（编译器组件）中完成的。Hive将SQL转化为MapReduce任务，整个编译过程分为六个阶段：
通常在使用大型数据集时，你可能关注的只是近似值而不是准确值，这时可以使用 approx_count_distinct 函数，并可以使用第二个参数指定最大允许误差。
List接口（java.util.List）代表着有序的对象集合， List中包含的元素可以根据它们在List中的内部顺序进行插入、访问、迭代和删除，元素的顺序就是这个数据结构被称为列表的原因。List中的每个元素都有一个索引，第一个元素的索引是0，第二个元素的索引是1。索引的意思是“离List的第一个元素间隔多少个元素”。因为第一个元素在List的开头，所有间隔为0。如果List不是类型化的，使用Java泛型，那么甚至可以在同一个列表中混合不同类型（类）的对象
阿袁工作的第1天: 函数式编程的历史 阿袁中午和阿静一起吃午餐。阿袁说起他最近看的《艾伦·图灵传 如谜的解谜者》。 由于阿袁最近在学习Scala，所以关注了一下图灵传中关于函数式编程的一些历史。 关于函数式编程的故事，可以从1928年开始讲起：希尔伯特在当年的一个大会上，提出了他的问题： 第一，数学是完备的吗？ 是不是每个命题都能证明或证伪。 第二，数学是相容的吗？ 永远不会推出矛盾的命题？ 第三，可判定性问题：数学是可判定的吗？ 是否存在一个算法，可以应用于任何命题，然后自动给出该命题的真假？
1.将Map转化成List Map接口提供了三种collection：key set,value set 和 key-value set，每一种都可以转成List。如下： 2.迭代Map
作者：dcguo 使用 sql 做数仓开发有一段时间了，现做一下梳理复盘，主要内容包括 sql 语法、特性、函数、优化、特殊业务表实现等。 mysql 数据结构 常用 innodb 存储为 B+ 树 特点 多路平衡树，m 个子树中间节点就包含 m 个元素，一个中间节点是一个 page(磁盘页) 默认 16 kb； 子节点保存了全部得元素，父节点得元素是子节点的最大或者最小元素，而且依然是有序得； 节点元素有序，叶子节点双向有序，便于排序和范围查询。 优势 平衡查找树，logn 级别 crud； 单一节点比二
Hive SQL的执行计划描述SQL实际执行的整体轮廓，通过执行计划能了解SQL程序在转换成相应计算引擎的执行逻辑，掌握了执行逻辑也就能更好地把握程序出现的瓶颈点，从而能够实现更有针对性的优化。此外还能帮助开发者识别看似等价的SQL其实是不等价的，看似不等价的SQL其实是等价的SQL。可以说执行计划是打开SQL优化大门的一把钥匙。
python一个有趣的模块，bisect，感觉挺有趣，怎么有趣呢，下面来给你道来。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
