腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

个人分享

专栏作者

238

文章

255495

阅读量

42

订阅数

SparkConf加载与SparkContext创建（源码阅读二）

spark 存储 apache 缓存

　　1、下面，开始创建BroadcastManager,就是传说中的广播变量管理器。BroadcastManager用于将配置信息和序列化后的RDD、Job以及ShuffleDependency等信息在本地存储。紧接着blockManager的创建后创建。如下：

2018-09-06

4000

Spark代码调优（一）

spark apache sql

import org.apache.spark.sql.{DataFrame, Row, SQLContext}

2018-09-06

1.7K0

spark集成hbase与hive数据转换与代码练习

spark hbase hive java apache

　　帮一个朋友写个样例，顺便练手啦~一直在做平台的各种事，但是代码后续还要精进啊。。。

2018-09-06

4630

Redis部分数据结构方法小结

云数据库 Redis 数据结构 java hashmap apache

Redis在工程开发中还是比较常用的Nosql内存数据库，简单巩固一下它的各种数据类型与用法~

2018-09-06

5540

读写hdfs文件（工作笔记）

java apache hadoop

import java.io.IOException; import java.io.InputStream; import java.util.List; import java.util.Map; import org.apache.commons.io.IOUtils; import org.apache.commons.lang3.StringUtils; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.f

2018-09-06

7220

nginx软负载的搭建

Nginx ("engine x") 是一个高性能的 HTTP 和反向代理服务器，也是一个 IMAP/POP3/SMTP 代理服务器，在高连接并发的情况下Nginx 是 Apache 服务器不错的替代品.其特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现较好.目前中国大陆使用nginx网站用户有：新浪、网易、腾讯，另外知名的微网志Plurk也使用nginx。

2018-09-06

8370

Spark RDDRelation

spark 人工智能 sql apache

注意这里声明的是 sqlContext = new SQLContext(sc) 如果要存成hive 表需用hivecontext.

2018-09-06

3370

Spark1.6 DataSets简介

spark apache api sql

Apache Spark提供了强大的API，以便使开发者为使用复杂的分析成为了可能。通过引入SparkSQL，让开发者可以使用这些高级API接口来从事结构化数据的工作（例如数据库表，JSON文件)，并提供面向对象使用RDD的API，开发只需要调用相关的方法便可使用spark来进行数据的存储与计算。那么Spark1.6带给我们了些什么牛逼的东西呢？额。。。

2018-09-06

4150

JMS的常用方法

java nat apache 人工智能

import javax.jms.Connection; import javax.jms.ConnectionFactory; import javax.jms.Destination; import javax.jms.Message; import javax.jms.MessageConsumer; import javax.jms.MessageListener; import javax.jms.Session; import javax.jms.TextMessage; import org

2018-09-06

6680

JAVA使用HBASE常用方法

java hbase apache hadoop

package HBaseTest; /** * Created by root on 11/11/22. */ import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.had

2018-09-06

8310

Spark工程开发常用函数与方法(Scala语言)

spark scala apache sql

import org.apache.spark.{SparkContext, SparkConf} import org.apache.spark.sql.{SaveMode, DataFrame} import scala.collection.mutable.ArrayBuffer import main.asiainfo.coc.tools.Configure import org.apache.spark.sql.hive.HiveContext import java.sql.DriverManager import java.sql.Connection

2018-09-06

7440

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态