腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
积累沉淀
专栏作者
举报
201
文章
324147
阅读量
56
订阅数
订阅专栏
申请加入专栏
全部文章
java
javascript
其他
数据库
hadoop
数据处理
python
linux
hbase
编程算法
云数据库 SQL Server
sql
mapreduce
html
spark
xml
eclipse
struts
大数据
apache
存储
shell
机器学习
servlet
云数据库 Redis
spring
jdbc
数据结构
数据挖掘
ide
api
人工智能
http
mybatis
面向对象编程
任务调度
c++
go
bash
.net
jsp
json
android
ubuntu
centos
文件存储
命令行工具
网站
数据安全
容器
游戏
分布式
缓存
爬虫
网络安全
jdk
jvm
ssh
zookeeper
aop
tcp/ip
socket编程
小程序
windows
https
nat
kafka
join
wait
程序员
后台
进程
通信
线程
搜索文章
搜索
搜索
关闭
Spark实时流计算Java案例
spark
java
现在,网上基于spark的代码基本上都是Scala,很多书上也都是基于Scala,没办法,谁叫spark是Scala写出来的了,但是我现在还没系统的学习Scala,所以只能用java写spark程序了,spark支持java,而且Scala也基于JVM,不说了,直接上代码 这是官网上给出的例子,大数据学习中经典案例单词计数 在linux下一个终端 输入 $ nc -lk 9999 然后运行下面的代码 package com.tg.spark.stream; import java.util.Arra
汤高
2018-01-11
2.2K
0
Spark(1.6.1) Sql 编程指南+实战案例分析
spark
sql
首先看看从官网学习后总结的一个思维导图 概述(Overview) Spark SQL是Spark的一个模块,用于结构化数据处理。它提供了一个编程的抽象被称为DataFrames,也可以作为分布式SQ
汤高
2018-01-11
2.3K
0
Spark 算子
spark
数据库
RDD算子分类,大致可以分为两类,即: Transformation:转换算子,这类转换并不触发提交作业,完成作业中间过程处理。 Action:行动算子,这类算子会触发SparkContext提交Job作业。 一:Transformation:转换算子 1.map map是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。 举例: scala> val a = sc.parallelize(1 to 9, 3) scala> val
汤高
2018-01-11
846
0
Java接入Spark之创建RDD的两种方式和操作RDD
spark
hadoop
首先看看思维导图,我的spark是1.6.1版本,jdk是1.7版本 spark是什么? Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算,提高了在大数据环境下数据处理的
汤高
2018-01-11
1.6K
0
Spark安装
spark
我的安装版本是spark-1.6.1-bin-hadoop2.6.tgz 这个版本必须要求jdk1.7或者1.7以上 安装spark必须要scala-2.11 版本支撑 我安装的是scala-2.11.8.tgz tg@master:/software$ tar -zxvf scala-2.11.8.tgz tg@master:/software/scala-2.11.8$ ls bin doc lib man 添加环境变量 tg@master:
汤高
2018-01-11
783
0
30分钟--Spark快速入门指南
spark
数据库
linux
apache
Spark快速入门指南 – Spark安装与基础使用 2016-01-15 (updated: 2016-03-07) 6309 29 Apache Spark 是一个新兴的大数据处理通用引擎,提供了分布式的内存抽象。Spark 正如其名,最大的特点就是快(Lightning-fast),可比 Hadoop MapReduce 的处理速度快 100 倍。此外,Spark 提供了简单易用的 API,几行代码就能实现 WordCount。本教程主要参考官网快速入门教程,介绍了 Spark 的安装,Spar
汤高
2018-01-11
3.5K
0
没有更多了
社区活动
Python精品学习库
代码在线跑,知识轻松学
点击查看
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
立即参加
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档