腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

开源部署

专栏作者

4656

文章

6067776

阅读量

51

订阅数

SparkSQL执行时参数优化

linux bash bash 指令 spark sql

近期接手了不少大数据表任务调度补数据的工作,补数时发现资源消耗异常的大且运行速度却不怎么给力.

2022-08-17

1.1K0

Linux下Spark开发环境搭建

hive hadoop spark bash bash 指令

10、服务器集群：192.168.0.110(master)，192.168.0.111(slave1)，192.168.0.112(slave2)

2022-08-13

3.4K0

spark集群环境搭建

spark hadoop 面向对象编程 linux scala

安装环境：CentOS-7.0.1708 安装方式：源码安装软件：jdk-6u45-linux-x64.bin 下载地址：http://www.Oracle.com/technetwork/Java/javase/downloads/java-archive-downloads-javase6-419409.html

2022-08-08

4000

搭建Spark高可用集群

spark shell mapreduce 编程算法机器学习

从右侧最后一条新闻看，Spark也用于AI人工智能 spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室开发的通用内存并行计算框架，用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的MapReduce计算模型。高效的支撑更多计算模式，包括交互式查询和流处理。spark的一个主要特点是能够在内存中进行计算，及时依赖磁盘进行复杂的运算，Spark依然比MapReduce更加高效。

2022-07-28

6510

Flink入门基础 – 简介

大数据 flink hadoop spark apache

这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flink，也就在这个时候默默的发展着。

2022-07-26

6230

Dockerfile 中的 multi-stage(多阶段构建)

spark 容器镜像服务 go 容器

在应用了容器技术的软件开发过程中，控制容器镜像的大小可是一件费时费力的事情。如果我们构建的镜像既是编译软件的环境，又是软件最终的运行环境，这是很难控制镜像大小的。所以常见的配置模式为：分别为软件的编译环境和运行环境提供不同的容器镜像。比如为编译环境提供一个 Dockerfile.build，用它构建的镜像包含了编译软件需要的所有内容，比如代码、SDK、工具等等。同时为软件的运行环境提供另外一个单独的 Dockerfile，它从 Dockerfile.build 中获得编译好的软件，用它构建的镜像只包含运行软件所必须的内容。这种情况被称为构造者模式(builder pattern)，本文将介绍如何通过 Dockerfile 中的 multi-stage 来解决构造者模式带来的问题。

2022-07-14

9110

CentOS Linux中搭建Hadoop和Spark集群详解

yarn spark node.js scala bash

　　2.所有操作都是使用root用户去操作。也可以使用其他用户，非root的话要注意操作的权限问题。

2022-07-14

1.1K0

Ubuntu 14.04下使用Openfire+Spark搭建即时聊天系统

bash bash 指令 apt-get spark http

测试下Oopenfire相关应用，使用Openfire+Spark搭建一个简单的在线咨询服务，有点类似阿里旺旺，可以Web页面在线咨询，也可以加为好友在PC客户端中咨询。

2022-07-13

1.2K0

关于Apache Mesos的一些想法

spark yarn apache node.js hadoop

我关注Apache Mesos很长时间了。Apache Mesos从研究论文开始，2010年成为Apache孵化项目，后来从ASF“毕业”，并于2013年建立商业实体Mesosphere。

2022-07-05

3010

Hadoop2.6版本集群环境搭建

hadoop spark xml yarn node.js

2、linux版本：[spark@S1PA11 ~]$ cat /etc/issue Red Hat Enterprise Linux Server release 5.4 (Tikanga)

2022-07-04

3140

Spark SSH配置

ssh spark linux

127.0.0.1 localhost.localdomain localhost ::1 localhost6.localdomain6 localhost6

2022-07-04

4270

Spark实战1：单节点本地模式搭建Spark运行环境

http hadoop spark scala

http://d3kbcqa49mib13.cloudfront.net/spark-1.1.0-bin-hadoop1.tgz

2022-07-03

6160

Zabbix表字段类型和value type问题

spark 批量计算网络安全

最近在帮同事搞spark streaming的监控，主要是通过解析servlet的url来获取对应的监控值。

2022-07-01

3390

Spark集群安装

spark hadoop scala 数据分析

1，download :http://spark.incubator.apache.org/downloads.html选择prebuilt:中hadoop2的下载，hadoop安装就不介绍了，spark节点可以不是hadoop节点，可以是一个hadoop客户端。

2022-06-29

2200

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态