学习
实践
活动
专区
工具
TVP
写文章

TeeyoHuang

LV0
举报
发表了文章

Pyspark学习笔记(四)弹性分布式数据集 RDD 综述(下)

本篇主要讲述了如何在执行pyspark任务时候缓存或者共享变量,以达到节约资源、计算量、时间等目的

TeeyoHuang
编程算法对象存储存储https网络安全
发表了文章

Pyspark学习笔记(四)弹性分布式数据集 RDD 综述(上)

RDD(弹性分布式数据集) 是 PySpark 的基本构建块,是spark编程中最基本的数据对象;     它是spark应用中的数据集,包括最初加载的数据...

TeeyoHuang
分布式数据库sparkPythonSQL
发表了文章

Pyspark学习笔记(二)--- spark部署及spark-submit命令简介

Pyspark学习笔记(二)--- spark部署及spark-submit命令简介

TeeyoHuang
YarnNode.jssparkPython
发表了文章

Pyspark学习笔记(五)RDD操作(四)_RDD连接/集合操作

对应于SQL中常见的JOIN操作 菜鸟教程网关于SQL连接总结性资料 Pyspark中的连接函数要求定义键,因为连接的过程是基于共同的字段(键)来组合两个R...

TeeyoHuang
官方文档sparkPython
发表了文章

Pyspark学习笔记(五)RDD操作(三)_键值对RDD转换操作

Pyspark学习笔记(一)—序言及目录 Pyspark学习笔记(二)— spark-submit命令 Pyspark学习笔记(三)— SparkConte...

TeeyoHuang
sparkPythonMapReduce
发表了文章

Pyspark学习笔记(五)RDD操作(二)_RDD行动操作

Pyspark学习笔记(一)—序言及目录 Pyspark学习笔记(二)— spark-submit命令 Pyspark学习笔记(三)— SparkConte...

TeeyoHuang
sparkPython
发表了文章

Pyspark学习笔记(五)RDD操作(一)_RDD转换操作

Pyspark学习笔记(一)—序言及目录 Pyspark学习笔记(二)— spark-submit命令 Pyspark学习笔记(三)— SparkConte...

TeeyoHuang
sparkPythonCSS
发表了文章

Pyspark学习笔记(六)DataFrame简介

  在Spark中, DataFrame 是组织成 命名列[named colums]的分布时数据集合。它在概念上等同于关系数据库中的表或R/Python中的数...

TeeyoHuang
API分布式sparkPython
发表了文章

Pyspark学习笔记(五)RDD的操作

    PySpark RDD 转换操作(Transformation) 是惰性求值,用于将一个 RDD 转换/更新为另一个。由于RDD本质上是不可变的,转换操...

TeeyoHuang
ServerlesssparkhttpsPython
发表了文章

Pyspark学习笔记(四)弹性分布式数据集 RDD(下)

本篇主要讲述了如何在执行pyspark任务时候缓存或者共享变量,以达到节约资源、计算量、时间等目的

TeeyoHuang
编程算法对象存储存储https网络安全
发表了文章

Pyspark学习笔记(四)弹性分布式数据集 RDD(上)

RDD(弹性分布式数据集) 是 PySpark 的基本构建块,它是容错、不可变的 分布式对象集合。

TeeyoHuang
spark数据库SQL大数据Python
发表了文章

Pyspark学习笔记(四)---弹性分布式数据集 RDD [Resilient Distribute Data](上)

RDD是Spark编程中最基本的数据对象, 无论是最初加载的数据集,还是任何中间结果的数据集,或是最终的结果数据集,都是RDD。 在Pyspark中,RDD...

TeeyoHuang
spark分布式HTTPPythonAPI
发表了文章

Pyspark学习笔记(四)---弹性分布式数据集 RDD [Resilient Distribute Data](下)

Pyspark学习笔记(四)—弹性分布式数据集 RDD [Resilient Distribute Data](下)

TeeyoHuang
JavaScriptC++
发表了文章

Pyspark学习笔记(三)--- SparkContext 与 SparkSession

__SparkContext__是spark功能的主要入口。 其代表与spark集群的连接,能够用来在集群上创建RDD、累加器、广播变量。 每个JVM里只能...

TeeyoHuang
APISQLHivesparkPython
发表了文章

Pyspark学习笔记(二)--- spark-submit命令

http://spark.apache.org/docs/latest/submitting-applications.html#submitting-app...

TeeyoHuang
LinuxsparkJARYarnPython
发表了文章

Pyspark学习笔记(一)---序言及目录

############################## Spark SQL Guide############################

TeeyoHuang
sparkGitHubGit开源SQL
发表了文章

TensorFlow使用

最近因为工作需要,准备使用TensorFlow框架,因为一直有使用pytorch的经验,所以以为不会很麻烦,但是看了几天官方文档之后,果断弃坑,去TMDSB T...

TeeyoHuang
TensorFlow
发表了文章

离线安装pytorch

用网址链接直接用浏览器或者其他工具下载安装包,然后拷贝回linux系统中本地离线安装。

TeeyoHuang
Linuxpytorchhttps网络安全Anaconda
发表了文章

深度学习基础知识(七)--- 各种优化方法

深度学习中,优化算法的 目标函数 通常是一个基于训练集的损失函数,优化的目标在于降低训练误差。

TeeyoHuang
编程算法pytorch批量计算深度学习
发表了文章

深度学习基础知识(六)--- 损失函数

总的说来,它是把目标值(Yi)与估计值(f(xi))的绝对差值的总和(S)最小化:

TeeyoHuang
pytorchhttps网络安全HTML

个人简介

个人成就

扫码关注腾讯云开发者

领取腾讯云代金券