腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Spark学习技巧

本公众号主要分享Spark使用及源码，spark 机器学习，图计算，同时会涉及到hadoop家族。

专栏作者

810

文章

1217759

阅读量

247

订阅数

你一定需要六款大数据采集平台的架构分析

数据库日志数据 sql ruby

随着大数据越来越被重视，数据采集的挑战变的尤为突出。今天为大家介绍几款数据采集平台：

Spark学习技巧

2022-03-15

1.8K0

8000字，详解用户画像，助力企业精细化运营

数据库日志数据 sql 大数据数据分析

导读：在互联网步入大数据时代后，用户行为给企业的产品和服务带来了一系列的改变和重塑，其中最大的变化在于，用户的一切行为在企业面前是可“追溯”“分析”的。企业内保存了大量的原始数据和各种业务数据，这是企业经营活动的真实记录，如何更加有效地利用这些数据进行分析和评估，成为企业基于更大数据量背景的问题所在。

Spark学习技巧

2022-03-14

1.2K0

用户画像 | 标签数据存储之Hive真实应用

hive 数据库日志数据 sql 存储

本期内容主要介绍使用Hive作为数据仓库的应用场景时，相应的库表结构如何设计。

Spark学习技巧

2022-01-13

9660

从MongoDB迁移到ES后，我们减少了80%的服务器

mongodb 云数据库 MongoDB 日志数据 sql Elasticsearch Service

李猛(ynuosoft)，Elastic-stack产品深度用户，ES认证工程师，2012年接触Elasticsearch，对Elastic-Stack开发、架构、运维等方面有深入体验，实践过多种Elasticsearch项目，最暴力的大数据分析应用，最复杂的业务系统应用；业余为企业提供Elastic-stack咨询培训以及调优实施。

Spark学习技巧

2021-03-05

1K0

网易基于Filebeat的日志采集服务设计与实践

日志数据 kubernetes go 容器

云原生技术大潮已经来临，技术变革迫在眉睫。在这股技术潮流之中，网易推出了轻舟微服务平台，集成了微服务、Service Mesh、容器云、DevOps等组件，已经广泛应用于公司内部，同时也支撑了很多外部客户的云原生化改造和迁移。

Spark学习技巧

2021-02-12

1.4K2

一文深入掌握druid

日志数据 zookeeper 存储缓存数据库

Druid是专用于基于大数据集的实时探索分析的开源数据存储。该系统包括列式存储，分布式的无共享架构，高级索引结构，可用于任意探索具有次秒级延迟的十亿行级的数据表。这篇文章我们主要描述Druid的架构，并且详细说明它如何支持快速聚合、灵活筛选以及低延迟数据的加载。

Spark学习技巧

2021-01-07

1.1K0

干货 | 实践Hadoop MapReduce 任务的性能翻倍之路

hadoop unix mapreduce 日志数据 sql

摘要：eBay的CAL（Central Application Logging）系统负责收集eBay各种应用程序的日志数据，并且通过Hadoop MapReduce job生成日志报告，应用程序开发人员与运维人员通过报告可获得以下内容：

Spark学习技巧

2019-12-27

5880

日均百亿级日志处理：微博基于Flink的实时计算平台建设

编程算法大数据日志数据云数据库 SQL Server sql

黄鹏，微博广告实时数据开发工程师，负责法拉第实验平台数据开发、实时数据关联平台、实时算法特征数据计算、实时数据仓库、实时数据清洗组件开发工作。

Spark学习技巧

2019-11-15

1.5K0

基于Elastic Stack的海量日志分析平台实践

日志数据 Elasticsearch Service 云数据库 SQL Server 数据库 sql

随着58集团业务的飞速发展，日志数量也呈现指数级增长。传统的日志处理方案，已不再适用，此时急需一套功能强大、稳定可靠的日志处理系统。

Spark学习技巧

2019-10-24

1.2K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态