腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Spark学习技巧

本公众号主要分享Spark使用及源码，spark 机器学习，图计算，同时会涉及到hadoop家族。

专栏作者

810

文章

1221455

阅读量

247

订阅数

IntelliJ IDEA - 2022.2 正式发布！众多特性解读！

ide 容器镜像服务 spring http kotlin

IntelliJ IDEA 2022.2 包括对远程开发功能的多项质量改进，使其更时尚、更稳定。从 v2022.2 开始，IntelliJ IDEA 使用 JetBrains Runtime 17，它在许多方面增强了 IDE 体验和性能。IntelliJ IDEA Ultimate 增加了对 Spring 6 和 Spring Boot 3 功能的支持，并为其他几个框架引入了更新。新版本提供了许多其他值得注意的升级和改进，下面将详细介绍。

Spark学习技巧

2023-03-21

5.1K0

为什么我们需要 Hive Metastore！

sql apache http hive thrift

IT 中的每个人都与数据打交道，包括前端和后端开发人员、分析师、QA 工程师、产品经理以及许多其他角色的人员。使用的数据和数据处理方法因角色而异，但数据本身往往不是关键。

Spark学习技巧

2023-03-21

4840

图谱实战 | 知识图谱构建的一站式平台gBuilder

http 编程算法 sql 知识图谱大数据

知识图谱能够让机器去理解和认知世界中的事物和现象，并解释现象出现的原因，推理出隐藏在数据之间深层的、隐含的关系，使得知识图谱技术从最初谷歌用来提升搜索引擎的结果来增强用户体验，到现在已经被金融、公安、能源、教育、医疗等领域众多行业进行大量运用。

Spark学习技巧

2022-01-13

2.7K0

飞天茅台超卖事故：Redis分布式锁请慎用！

分布式 lua 云数据库 Redis http

我们项目中的抢购订单采用的是分布式锁来解决的。有一次，运营做了一个飞天茅台的抢购活动，库存 100 瓶，但是却超卖了！

Spark学习技巧

2021-03-05

4010

丁香园推荐系统实战

推荐系统编程算法 http https GPU 云服务器

推荐系统可以说是一个闭环的生态系统了。从整体架构图中，我们就可以看出来，推荐列表从RankServer产生，用户点击推荐列表产生的日志又反作用于画像系统的更新，模型训练，新的推荐算法的实验，以及BI报表的生产，而这些又都是RankServer依赖的模块。

Spark学习技巧

2021-03-05

6560

超卖 100 瓶茅台的事故分析

分布式 lua 云数据库 Redis http

本篇文章主要是基于我们实际项目中因为redis分布式锁造成的事故分析及解决方案。我们项目中的抢购订单采用的是分布式锁来解决的，有一次，运营做了一个飞天茅台的抢购活动，库存100瓶，但是却超卖了100瓶！要知道，这个地球上飞天茅台的稀缺性啊！！！

Spark学习技巧

2021-03-05

3450

稀疏索引与其在Kafka和ClickHouse中的应用

node.js http 存储 kafka 编程算法

在以数据库为代表的存储系统中，索引（index）是一种附加于原始数据之上的数据结构，能够通过减少磁盘访问来提升查询速度，与现实中的书籍目录异曲同工。索引通常包含两部分，即索引键（≈章节）与指向原始数据的指针（≈页码），如下图所示。

Spark学习技巧

2021-02-12

2.4K0

浅谈 RESTful API

http https 网络安全 php api

全称：REST，全称是Resource Representational State Transfer，即：URL定位资源，用HTTP动词（GET,POST,DELETE,DETC）描述操作。

Spark学习技巧

2021-02-12

9210

Hive鲜为人知的宝石-Hooks

linux hive hadoop mapreduce http

Hive为Hadoop提供了一个SQL接口。Hive可以被认为是一种编译器，它将SQL（严格来说，Hive查询语言 - HQL，SQL的一种变体）转换为一组Mapreduce / Tez / Spark作业。因此，Hive非常有助于非程序员使用Hadoop基础架构。原来，Hive只有一个引擎，即MapReduce。但是在最新版本中，Hive还支持Spark和Tez作为执行引擎。这使得Hive成为探索性数据分析的绝佳工具。

Spark学习技巧

2020-07-31

2.5K0

深入解读 Flink 资源管理机制

flink 大数据 http

摘要：本文根据 Apache Flink 系列直播整理而成，由阿里巴巴高级开发工程师宋辛童分享。文章主要从基本概念、当前机制与策略、未来发展方向等三个方面帮助开发者深入理解 Flink 的资源管理机制。

Spark学习技巧

2020-06-19

1.1K0

HBase 数据迁移到 Kafka 实战

hbase TDSQL MySQL 版大数据 kafka http

https://www.cnblogs.com/smartloli/p/11521659.html

Spark学习技巧

2020-06-09

6990

浪尖说spark的coalesce的利弊及原理

spark http 编程算法

浪尖的粉丝应该很久没见浪尖发过spark源码解读的文章，今天浪尖在这里给大家分享一篇文章，帮助大家进一步理解rdd如何在spark中被计算的，同时解释一下coalesce降低分区的原理及使用问题。

Spark学习技巧

2020-04-07

3.6K0

马蜂窝大交通业务监控报警系统架构设计与实现

dubbo http 缓存 Elasticsearch Service 存储

部门的业务线越来越多，任何一个线上运行的应用，都可能因为各种各样的原因出现问题：比如业务层面，订单量比上周减少了，流量突然下降了；技术层面的问题，系统出现 ERROR ，接口响应变慢了。拿大交通业务来说，一个明显的特点是依赖很多供应商的服务，所以我们还需要关注调用供应商接口是否出现异常等等。

Spark学习技巧

2019-11-28

1K0

震惊，用了这么多年的 CPU 利用率，其实是错的

缓存 http https 网络安全

http://www.brendangregg.com/blog/2017-05-09/cpu-utilization-is-wrong.html

Spark学习技巧

2019-08-01

1K0

面试|再次讲解Threadlocal使用及其内存溢出

java http 编程算法

浪尖整理本文主要是想帮助大家完全消化面试中常见的ThreadLocal问题。希望读懂此文以后大家可以掌握(没耐心的可以直接阅读底部总结)：

Spark学习技巧

2019-07-09

8570

JDK中几个错误的调用方式

jdk api json http 打包

如果两个变量中间隔了比较长的其它代码，很可能会导致开发人员将两者混淆，导致逻辑认知错误，从而写出或改出有问题的代码。

Spark学习技巧

2019-06-18

1.3K0

Apache Kafka：优化部署的 10 种最佳实践

apache zookeeper 安全其他 http

Apache Kafka 肯定会像它的同名小说家一样不负众望，因为它能激奋新来者、挑战深度，若能更全面的理解它还会产生丰厚的回报。抛开文学，书归正传。遵循 kafka 最新的最佳实践，一定可以让这个强大的数据流平台的管理变得非常、非常容易，而且还会相当有效。

Spark学习技巧

2018-12-18

1.2K0

Spark2.4.0发布了！

spark http apache html sql

http://spark.apache.org/releases/spark-release-2-4-0.html

Spark学习技巧

2018-12-07

8940

推荐两个不错的flink项目

spark sql api apache http

最近flink真是风生水起，但是浪院长看来这不过是阿里错过了创造spark影响力之后，想要在flink领域创建绝对的影响力。但是，不可否认flink在实时领域确实目前来看独树一帜，当然也有它不适合的地方，比如今天要推荐的第一个基于flink开发的项目，流表和维表的join，还有很多地方还是用spark streaming更合适，但是整体的流处理而言flink确实很优秀，虽然目前测出了一些bug，后面会发文说明一下flink开发时候常见的坑和已有的自身bug。接下来转入正题。

Spark学习技巧

2018-10-25

1.9K0

不可不知的zookeeper小工具-zkui

zookeeper 大数据分布式 git http

本文主要是首先带着大家回顾一下zookeeper在大数据中的作用，然后给大家介绍一款zk的监控管理工具。

Spark学习技巧

2018-10-25

2.6K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态