知了一笑

LV0
发表了文章

实时计算框架:Spark集群搭建与入门案例

Spark是专为大规模数据处理而设计的,基于内存快速通用,可扩展的集群计算引擎,实现了高效的DAG执行引擎,可以通过基于内存来高效处理数据流,运算速度相比于Ma...

知了一笑
发表了文章

OLAP引擎:基于Presto组件进行跨数据源分析

Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节,Presto虽然具备解析SQL的能力,但它并不属于标准的数据库范畴...

知了一笑
发表了文章

OLAP引擎:基于Druid组件进行数据统计分析

Druid是一款基于分布式架构的OLAP引擎,支持数据写入、低延时、高性能的数据分析,具有优秀的数据聚合能力与实时查询能力。在大数据分析、实时计算、监控等领域都...

知了一笑
发表了文章

数据调度组件:基于Azkaban协调时序任务执行

在数据服务的业务场景中,很常见的业务流程就是日志文件经过大数据分析,再向业务输出结果数据;在该过程中会有很多任务需要执行,并且很难精准把握任务执行的结束时间,但...

知了一笑
发表了文章

数据搬运组件:基于Sqoop管理数据导入和导出

Sqoop是一款开源的大数据组件,主要用来在Hadoop(Hive、HBase等)与传统的数据库(mysql、postgresql、oracle等)间进行数据的...

知了一笑
发表了文章

Java基础篇(05):函数式编程概念和应用

函数式编程是一种结构化编程的范式,主要思想是把运算过程尽量写成系列嵌套的函数调用。函数编程的概念表述带有很抽象的感觉,可以基于案例看:

知了一笑
发表了文章

数据采集组件:Flume基础用法和Kafka集成

Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;

知了一笑
发表了文章

架构设计:数据服务系统0到1落地实现方案

数据服务通常有很多种业务模式,也就导致系统的架构与业务都会很复杂,不同的业务都具有自身的能力和复杂度,数据管理本身就是一件不容易的事情,所以在系统架构初期都会考...

知了一笑
发表了文章

Java基础篇(04):日期与时间API用法详解

在系统开发中,日期与时间作为重要的业务因素,起到十分关键的作用,例如同一个时间节点下的数据生成,基于时间范围的各种数据统计和分析,集群节点统一时间避免超时等。

知了一笑
发表了文章

职场 | 跳槽之后,如何平稳走过试用期

完成跳槽之后,进入新公司并不说明就算真正进入该公司,试用期的三个月考核这才是正式开始。

知了一笑
发表了文章

中间件:ES组件RestHighLevelClient用法详解

RestHighLevelClient的API作为ElasticSearch备受推荐的客户端组件,其封装系统操作ES的方法,包括索引结构管理,数据增删改查管理,...

知了一笑
发表了文章

基于业务和平台理解数字营销概念

广告主是指想为自己的品牌或者产品做广告推销的用户,广告的根本目的是提高营销收入,从模式上看又分为两种:品牌广告和效果广告。

知了一笑
发表了文章

用户画像分析与场景应用

用户画像,作为一种勾画目标用户、联系用户诉求与设计方向的有效工具,用户画像在各领域得到了广泛的应用。用户画像最初是在电商领域得到应用的,尤其在数字化营销范畴之内...

知了一笑
发表了文章

数据仓库组件:HBase集群环境搭建和应用案例

Hadoop原生的特点是解决大规模数据的离线批量处理场景,HDFS具备强大存储能力,但是并没有提供很强的数据查询机制。HBase组件则是基于HDFS文件系统之上...

知了一笑
发表了文章

标签管理体系之业务应用

基于标签对业务进行精准分析,从而影响运营思路和产品迭代的节奏,进而带来非常高的商业价值,但是这里需要对标签的质量进行评估,假设标签的覆盖场景非常低,而且准确度低...

知了一笑
发表了文章

数据仓库组件:Hive环境搭建和基础用法

Hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,是一个可以对Hadoop中的大规模存储的数据进行查询和分析存储的组件,Hive数据仓...

知了一笑
发表了文章

数据应用场景之标签管理体系

标签,最初用来对实物进行分类和标记,例如标明物品的品名、重量、体积、用途等简要信息。后来逐渐流行到数据行业,用来标记数据,对数据快速分类获取和分析。

知了一笑
发表了文章

数据全景洞察概念简介

智能数字时代,数据不论形态、格式和类型,已经迅速成为企业最有战略意义的资产;数据资产已经成为了可以形成业务洞察及优势的战略资源,数据的体量、多样性和复杂性也正以...

知了一笑
发表了文章

SpringBoot2 整合OAuth2组件,模拟第三方授权访问

验证第三方服务的身份,验证邮箱用户的身份,记录和管理认证Token,为资源服务器提供Token校验。场景:第三方网站借助用户的邮箱登录,并访问邮箱账户的基础信息...

知了一笑
发表了文章

业务场景下数据采集机制和策略

做面向C端用户的产品,十分依赖用户数据的收集,下面都见过这样一张数据分析图,通过链路上各个环节的数据采集,分析对比出曝光产品的交易量:

知了一笑

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券