个推大数据降本提效实战分享-技术问答精选

个推透明存储实践

列式存储（Column-oriented Storage）是大数据场景中面向分析型数据的主流存储方式。与行式存储相比，列式存储只提取部分数据列、同列同质数据，具有更优的编码及压缩方式。目前，个推的核心数据正逐步切换为Parquet等新型数据格式存储以获得更高的I/O性能和更低的存储成本。

个推数据部降本提效团队 资深数据研发工程师筱得围绕透明存储概念、文件读取流程、透明存储实现方式等，为大家详细解读了个推透明存储优化的全过程。

分享过程中的相关问答：

Q1：如何量化和评估透明存储的收益？

A：量化维度分两方面，首先是从提效方面来衡量，即使用效率是否提升，比如用户（数据分析师）处理业务需求时的数据使用效率提升情况。目前我们结合多个类型的任务综合来看，透明存储能够使跑数时间缩短30%；其次是降本方面，即资源消耗是否有减少，可以通过CPU核的使用时长以及内存使用时长进行量化评估。

​Q2：透明存储如何实现历史工程对数据格式的兼容和切换？

A：在兼容方面，我们是通过扩展Hadoop的读写API，来增加存储格式自动识别和切换能力；在切换方面，我们先对Hadoop、Spark的提交命令进行了扩展，增加hook，并引入了切换数据格式的黑白名单，从而让任务启动时能够获取要变更的信息；通过以上方式，最终实现了对历史工程的数据格式无感知切换。

标签存算在每日治数平台的实践之路

个推依托海量数据资源和强大的建模能力，形成3,000余种数据标签，构建了丰富、立体、多维的画像标签体系，从而为行业客户提供数据洞察相关服务，比如APP精细化运营、广告投放人群定向等。

由于业务方的标签组合复杂多样，所以在对大规模数据进行计算和标签构建的过程中，如何加速标签计算，实现秒级人群圈选和洞察便成为我们需要攻克的难题。

个推每日治数平台团队 高级数据研发工程师之昂基于每日治数平台DIOS的开发实践，深度剖析了有效提升标签存算以及人群圈选效率的核心技术手段。

分享过程中的相关问答：

​Q1：Spark的shuffle和Hadoop的shuffle（MapReduce)有什么区别？

A：MapReduce的shuffle和Spark的shuffle在功能上是几乎没有区别的，都是对Map端的数据进行分区（有聚合排序和不聚合排序两种方式），然后在Reduce端或者下一个调度阶段拉取数据，从而完成Map端到Reduce端的数据传输功能。

Q2：直播中讲到ClickHouse不支持高并发，原因是什么？对于集群的ClickHouse写入，有哪些需要注意的地方？

A：ClickHouse之所以快是因为底层采用了并行处理机制，默认单次查询使用的CPU核数是服务器核数的一半，所以对高并发的使用场景支持得不是很好。如果一定要支持高并发，建议在查询层增加限流。

提升IT资源效率，显著降低IT总投入

降低企业IT成本的一个有效手段是大幅提升IT资源的利用效率。麦肯锡的一份研究报告显示，全球服务器的平均每日利用率通常低于10％，Flexera的一份报告也显示，企业上云后平均浪费了30%的云支出，云成本优化是企业在2021年最想做的事情。那么如何提升IT资源效率，降低IT总投入？

来自贝联珠贯的杨少华博士为大家分享了大数据任务优化、在/离线混部等能够有效提升IT资源效率的核心技术手段。

分享过程中的相关问答：

​Q1：一般如何实现在/离线混部？

A：不同公司的实现方式可能不一样。我们是这样做的：Step1. 将离线任务通过k8s调度到在线机器上；Step2. 使用Agent动态调节在/离线资源的配额；Step3. 利用内核的一些隔离技术进行隔离，在必要时进行干预，例如在紧急情况下限制离线任务的资源，这种方式会对机器内核版本有一些要求。

Q2：对于Spark/Flink on k8s，是引入YuniKorn/Volcano等第三方调度插件，还是自研类似组件来解决计算资源分配和管理的问题呢？

A：我们的方案主要还是Yarn on k8s，然后Spark/Flink on Yarn。这里主要考虑的是客户对接的侵入性问题，大部分情况下上层数据开发平台都还是接Yarn。