腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
Albert陈凯
专栏作者
举报
530
文章
783304
阅读量
55
订阅数
订阅专栏
申请加入专栏
全部文章（530）
其他（118）
hadoop（59）
spark（58）
java（52）
数据分析（40）
http（34）
编程算法（29）
scala（28）
大数据（27）
数据库（25）
分布式（24）
https（24）
git（22）
hive（20）
存储（19）
sql（16）
mapreduce（16）
linux（15）
github（12）
apache（11）
spring（11）
ide（10）
api（10）
网络安全（10）
数据结构（10）
云数据库 SQL Server（9）
centos（9）
开源（9）
shell（9）
hbase（9）
缓存（8）
maven（7）
html（6）
安全（6）
mac os（5）
python（5）
人工智能（5）
yarn（5）
jvm（5）
zookeeper（5）
rpc（5）
windows（5）
微服务（5）
image（5）
png（5）
javascript（4）
go（4）
.net（4）
json（4）
oracle（4）
云数据库 Redis（4）
打包（4）
svn（4）
jar（4）
tomcat（4）
es 2（4）
自动化（4）
jdk（4）
jdbc（4）
nat（4）
c 语言（3）
c#（3）
xml（3）
android（3）
nginx（3）
命令行工具（3）
腾讯云测试服务（3）
ssh（3）
mybatis（3）
markdown（3）
jenkins（3）
系统架构（3）
NLP 服务（2）
php（2）
bash（2）
mvc（2）
eclipse（2）
lucene/solr（2）
文件存储（2）
mongodb（2）
企业（2）
容器（2）
面向对象编程（2）
grep（2）
gradle（2）
数据可视化（2）
haskell（2）
kafka（2）
虚拟化（2）
live（2）
负载均衡（1）
自动驾驶（1）
数据挖掘（1）
objective-c（1）
cocoa（1）
iphone（1）
c++（1）
perl（1）
ruby（1）
lua（1）
r 语言（1）
node.js（1）
css（1）
qt（1）
nosql（1）
负载均衡缓存（1）
bash 指令（1）
容器镜像服务（1）
神经网络（1）
深度学习（1）
laravel（1）
海外加速（1）
移动解析（1）
vr 视频解决方案（1）
url 安全（1）
devops（1）
游戏（1）
运维（1）
压力测试（1）
数据迁移（1）
卷积神经网络（1）
正则表达式（1）
erp（1）
gui（1）
yum（1）
spring boot（1）
hashmap（1）
推荐系统（1）
unity（1）
自动化测试（1）
selenium（1）
tcp/ip（1）
单元测试（1）
flash（1）
dubbo（1）
udp（1）
gcc（1）
spring cloud（1）
hexo（1）
微信（1）
数据处理（1）
架构设计（1）
utf8（1）
Elasticsearch Service（1）
add（1）
analysis（1）
assign（1）
editor（1）
encoding（1）
flume（1）
gzip（1）
it（1）
location（1）
lock（1）
logstash（1）
mac（1）
ode（1）
orders（1）
package（1）
reverse（1）
seaborn（1）
system（1）
task（1）
templates（1）
this（1）
time（1）
txt（1）
变量（1）
代码优化（1）
高并发（1）
工具（1）
管理（1）
行业（1）
技巧（1）
脚本（1）
设计（1）
数据（1）
统计（1）
网络（1）
效率（1）
压缩（1）
搜索文章
搜索
搜索
关闭
Hadoop离线数据分析平台实战——510订单数据展示Hadoop离线数据分析平台实战——510订单数据展示
hadoop
数据分析
json
Hadoop离线数据分析平台实战——510订单数据展示 项目进度 模块名称 完成情况 1. 程序后台框架搭建 完成 2. 用户基本信息展示 完成 3. 浏览器信息展示 完成 4. 地域信息展示 完成 5. 外链信息展示 完成 6. 用户浏览深度展示 完成 7. 事件数据展示 完成 8. 订单数据展示 未完成 模块介绍 订单数据展示主要包括一个页面， 通过选择不同的currency type和payment type来展示不同的数据， 主要包括展示订单数量、
Albert陈凯
2018-04-08
997
0
Hadoop离线数据分析平台实战——520项目总结Hadoop离线数据分析平台实战——520项目总结
hadoop
数据分析
nginx
Hadoop离线数据分析平台实战——520项目总结 到这里本次项目也就介绍完了，不过在项目最后简单的介绍一些数字以及项目优化、扩展等情况 通过本次课程的学习，希望同学们对离线数据分析这一块有一个初步的了解， 希望同学们在学习完本课程后，对如何在工作中使用离线数据分析有一个初步的了解。 在本次课程中，我主要目标是放到了如何产生用户浏览数据以及如何解析数据， 对应解析后的数据结果展示，讲解的不是特别的详细， 所以希望同学们在学习之余，自己想想如何能够更好的显示解析后的数据， 最后祝同学们能够有一个好
Albert陈凯
2018-04-08
847
0
Hadoop离线数据分析平台实战——500事件数据展示Hadoop离线数据分析平台实战——500事件数据展示
hadoop
数据分析
Hadoop离线数据分析平台实战——500事件数据展示 项目进度 模块名称 完成情况 1. 程序后台框架搭建 完成 2. 用户基本信息展示 完成 3. 浏览器信息展示 完成 4. 地域信息展示 完成 5. 外链信息展示 完成 6. 用户浏览深度展示 完成 7. 事件数据展示 未完成 8. 订单数据展示 未完成 模块介绍 事件数据展示主要包括一个页面， 通过我们选择不同event的category来展示对应的流图。 采用js获取后台json数据的方式进行数据
Albert陈凯
2018-04-08
1.1K
0
大数据系列课程——根据情况调整Hadoop系列课程安排
hadoop
大数据
Hadoop系列课程安排 手把手带你转行大数据人工智能 大数据和人工智能的发展前景 大数据开发都在开发什么 项目整体介绍与大数据开发训练速成 开发运行测试环境的介绍与搭建 通过前端代码了解大数据业务 离线日志分析系统页面展示 程序后台框架搭建 用户信息分析结果展示 用户数据的抽取转换加载（ETL数据清洗） 新增会员和总会员分析代码编写 活跃用户分析模块代码编写 活跃会员分析模块代码编写 新增会员和总会员分析模块代码编写 会话分析模块代码编写 每小时会话分析模块代码编写 数据分析
Albert陈凯
2018-04-08
582
0
Hadoop离线数据分析平台实战——410事件分析Hadoop离线数据分析平台实战——410事件分析
hadoop
数据分析
Hadoop离线数据分析平台实战——410事件分析 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 完成 浏览器信息分析(MR) 完成 地域信息分析(MR) 完成 外链信息分析(MR) 完成 用户浏览深度分析(Hive) 完成 订单分析(Hive) 未完成 事件分析(Hive) 未完成 模块介绍 事件分析我们主要只是分析事件的触发次数， 通过查看事件的触发次数我们可以得到事件转换率或者用户会此类事件的兴趣所在之处以及不喜之处。 计算规则 计算event
Albert陈凯
2018-04-08
852
0
Hadoop离线数据分析平台实战——400用户浏览深度分析Hadoop离线数据分析平台实战——400用户浏览深度分析
hadoop
数据分析
hive
云数据库 SQL Server
Hadoop离线数据分析平台实战——400用户浏览深度分析 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 完成 浏览器信息分析(MR) 完成 地域信息分析(MR) 完成 外链信息分析(MR) 完成 用户浏览深度分析(Hive) 未完成 订单分析(Hive) 未完成 事件分析(Hive) 未完成 模块介绍 用户浏览深度分析中，通过pv值来表示用户的浏览深度， 分别从两个不同的角度来展示浏览深度，分别为会话和用户。 会话是指，每个pv阶段对应的会话个数
Albert陈凯
2018-04-08
626
0
Hadoop离线数据分析平台实战——390DimensionConverter相关服务设计Hadoop离线数据分析平台实战——390DimensionConverter相关服务设计
hadoop
数据分析
jvm
Hadoop离线数据分析平台实战——390DimensionConverter相关服务设计 DimensionConverter类作用&问题 DimensionConverter主要是对维度信息进行操作， 包括维度id的获取、维度信息的保存等操作，通过该接口提供的服务， 我们可以很方便的将操作维度表的方法进行模块化设计。 问题：当设计成为多个reducer的时候，每个reducer的输出是在不同的jvm中的， 所以就会有不同的实例对象进行操作维度表， 可能会导致数据库数据异常，针对这种情况， 故
Albert陈凯
2018-04-08
584
0
Hadoop离线数据分析平台实战——430MR和Hive任务Oozie部署Hadoop离线数据分析平台实战——430MR和Hive任务Oozie部署
hadoop
数据分析
hive
java
Hadoop离线数据分析平台实战——430MR和Hive任务Oozie部署 参考：oozie\package-info.java 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 完成 浏览器信息分析(MR) 完成 地域信息分析(MR) 完成 外链信息分析(MR) 完成 用户浏览深度分析(Hive) 完成 订单分析(Hive) 完成 事件分析(Hive) 完成 MR程序Oozie workflow部署 MR程序有两种方式进行oozie部署， 第一种就是使
Albert陈凯
2018-04-08
991
0
Hadoop离线数据分析平台实战——440DataApi后台架构搭建Hadoop离线数据分析平台实战——440DataApi后台架构搭建
hadoop
数据分析
Hadoop离线数据分析平台实战——440DataApi后台架构搭建 项目进度 模块名称 完成情况 1. 程序后台框架搭建 未完成 2. 用户基本信息展示 未完成 3. 浏览器信息展示 未完成 4. 地域信息展示 未完成 5. 外链信息展示 未完成 6. 用户浏览深度展示 未完成 7. 事件数据展示 未完成 8. 订单数据展示 未完成 后台程序结构总体介绍 我们采用提供两个相关的rest api来提供所有的数据的访问, rest api返回的结果为json数
Albert陈凯
2018-04-08
795
0
Hadoop离线数据分析平台实战——420订单分析Hadoop离线数据分析平台实战——420订单分析
hadoop
数据分析
Hadoop离线数据分析平台实战——420订单分析 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 完成 浏览器信息分析(MR) 完成 地域信息分析(MR) 完成 外链信息分析(MR) 完成 用户浏览深度分析(Hive) 完成 订单分析(Hive) 未完成 事件分析(Hive) 完成 模块介绍 订单分析分别分析订单的数量和订单的金额， 以及将订单分为总订单、 支付成功订单以及退款订单三种类型的数据， 通过这六个分析指标的数据我们可以指定网站的订单情
Albert陈凯
2018-04-08
921
0
Hadoop离线数据分析平台实战——300活跃会员分析Hadoop离线数据分析平台实战——300活跃会员分析
hadoop
数据分析
Hadoop离线数据分析平台实战——300活跃会员分析 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 未完成 浏览器信息分析(MR) 未完成 地域信息分析(MR) 未完成 外链信息分析(MR) 未完成 用户浏览深度分析(Hive) 未完成 订单分析(Hive) 未完成 事件分析(Hive) 未完成 模块介绍 活跃会员的统计和活跃用户统计类似， 区别只是在于从不同的角度来进行分析访问网站的用户数量。 活跃用户统计是根据我们在cookie中保存的uui
Albert陈凯
2018-04-08
813
0
Hadoop离线数据分析平台实战——380MapReduce程序优化Hadoop离线数据分析平台实战——380MapReduce程序优化
hadoop
数据分析
mapreduce
hive
Hadoop离线数据分析平台实战——380MapReduce程序优化 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 完成 浏览器信息分析(MR) 完成 地域信息分析(MR) 完成 外链信息分析(MR) 完成 用户浏览深度分析(Hive) 未完成 订单分析(Hive) 未完成 事件分析(Hive) 未完成 调优的目的 充分的利用机器的性能，更快的完成mr程序的计算任务。 甚至是在有限的机器条件下，能够支持运行足够多的mr程序。 说的直接一点就是：调优
Albert陈凯
2018-04-08
685
0
Hadoop离线数据分析平台实战——350公用代码重构Hadoop离线数据分析平台实战——350公用代码重构
hadoop
数据分析
Hadoop离线数据分析平台实战——350公用代码重构 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 完成 浏览器信息分析(MR) 完成 地域信息分析(MR) 未完成 外链信息分析(MR) 未完成 用户浏览深度分析(Hive) 未完成 订单分析(Hive) 未完成 事件分析(Hive) 未完成 MR程序公用代码重构 公用代码主要包括： Runner类中的参数处理代码，以及hbase的scan对象创建相关代码公用。 Mapper类中获取hbase的val
Albert陈凯
2018-04-08
813
0
Hadoop离线数据分析平台实战——310新增会员和总会员分析Hadoop离线数据分析平台实战——310新增会员和总会员分析
hadoop
数据分析
hive
Hadoop离线数据分析平台实战——310新增会员和总会员分析 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 未完成 浏览器信息分析(MR) 未完成 地域信息分析(MR) 未完成 外链信息分析(MR) 未完成 用户浏览深度分析(Hive) 未完成 订单分析(Hive) 未完成 事件分析(Hive) 未完成 模块介绍 新增会员统计类似新增用户统计，也是统计新增u_mid的个数， 在新增用户统计中，我们是统计launch事件中，uuid的唯一个数， 那
Albert陈凯
2018-04-08
894
0
Hadoop离线数据分析平台实战——330会话分析Hourly分析Hadoop离线数据分析平台实战——330会话分析Hourly分析
hadoop
数据分析
Hadoop离线数据分析平台实战——330会话分析Hourly分析 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 未完成 浏览器信息分析(MR) 未完成 地域信息分析(MR) 未完成 外链信息分析(MR) 未完成 用户浏览深度分析(Hive) 未完成 订单分析(Hive) 未完成 事件分析(Hive) 未完成 模块介绍 Hourly分析指的是按照小时分析数据， 在本次项目中，只分析活跃用户、会话个数以及会话长度这三个指标的数据。 我们通过修改现有的
Albert陈凯
2018-04-08
847
0
Hadoop数据分析平台实战——210项目综述与需求分析离线数据分析平台实战——210项目综述与需求分析
hadoop
数据分析
离线数据分析平台实战——210项目综述与需求分析 项目综述 项目分别分为bf_track， bf_transforer和 bf_dataapi。 本次项目主要以分析七个模块的数据， 分别为用户基本信息分析、操作系统分析、地域信息分析、用户浏览深度分析、外链数据分析、订单信息分析以及事件分析。 那么针对不同的分析模块，我们又不同的用户数据需求，所以我们在bf_track项目中提供不同的客户端来收集不同的数据。 在bf_transformer中分别采用hive+mr两种方式进行数据分析。在bf_da
Albert陈凯
2018-04-08
771
0
Hadoop数据分析平台实战——220项目结构整体概述离线数据分析平台实战——220项目结构整体概述
hadoop
数据分析
api
json
spring
离线数据分析平台实战——220项目结构整体概述 数据展示系统(bf_dataapi)总述 bf_dataapi项目的主要目标有两个： 第一个目标就是我们需要提供一个提供json数据的Rest API； 第二个目标就是提供一个展示结果的demo页面。 bf_dataapi使用spring+mybatis+mysql来搭建提供rest api的项目框架， 使用highcharts来进行demo页面的搭建。 在本次项目中，我们将所有的API高度聚合，最终我们只会提供两个API，然后在API中根据参数的不
Albert陈凯
2018-04-08
704
0
Hadoop离线数据分析平台实战——290活跃用户分析Hadoop离线数据分析平台实战——290活跃用户分析
hadoop
Hadoop离线数据分析平台实战——290活跃用户分析 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 未完成 浏览器信息分析(MR) 未完成 地域信息分析(MR) 未完成 外链信息分析(MR) 未完成 用户浏览深度分析(Hive) 未完成 订单分析(Hive) 未完成 事件分析(Hive) 未完成 模块介绍 和分析新增用户一样，活跃用户也需要在用户基本信息分析模块和浏览器分析模块中展示，因此也可以将其写成一个mapreduce任务。 计算规则 acti
Albert陈凯
2018-04-08
760
0
Hadoop数据分析平台实战——240JavaSDK数据收集引擎编写离线数据分析平台实战——240JavaSDK数据收集引擎编写
hadoop
数据分析
java
离线数据分析平台实战——240JavaSDK数据收集引擎编写 JavaSDK设计规则 JavaSDK提供两个事件触发方法，分别为onChargeSuccess和onChargeRefund。我们在java sdk中通过一个单独的线程来发送线程数据，这样可以减少对业务系统的延时性。 SDK测试 启动集群上的hdfs+nginx+flume进程， 通过模拟数据的发送然后将数据发送到nginx服务器中， 查看最终是否在hdfs中有数据的写入。 命令： 启动hdfs start-dfs.sh： 命令 su r
Albert陈凯
2018-04-08
593
0
# Hadoop离线数据分析平台实战——230项目数据存储结构设计Hadoop离线数据分析平台实战——230项目数据存储结构设计
hadoop
数据分析
Hadoop离线数据分析平台实战——230项目数据存储结构设计 数据存储设计 在本次项目中设计到数据存储的有三个地方： 第一个就是将原始的日志数据按天保存到hdfs文件系统中； 第二个就是将etl解析后的数据保存到hbase中； 第三个就是将分析结果保存到mysql数据库中。 其中存储到hbase和mysql的这两个过程需要设计具体的存储结构。 HBase表结构设计 由于我们需要按天进行数据分析， 所以我们的hbase的rowkey中必须包含时间戳或者我们一天的数据就建立一个表。 这里我们采用在
Albert陈凯
2018-04-08
1K
0
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天，分 10000 元奖品池！
立即发文
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档