腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(429)
视频
沙龙
1
回答
使用numpy、pandas和scikit-learn等依赖包运行
pyspark
python
、
numpy
、
apache-spark
、
scikit-learn
、
pyspark
我最近开始使用
pyspark
来使用scikit-learn。但是,我们没有权限在worker节点中安装像numpy这样的依赖包。
浏览 0
提问于2015-09-22
得票数 3
1
回答
将zip文件读入Apache数据文件
python
、
python-3.x
、
apache-spark
、
pyspark
、
apache-spark-sql
使用Apache Spark (或
pyspark
),我可以将
文本文件
读取/加
载到
spark dataframe中,并将该数据加
载到
sql中,如下所示: df = spark.read.csv("MyFilePath压缩文件只有一个大小为6GB的
文本文件
浏览 10
提问于2022-07-07
得票数 0
2
回答
更改数据类型拆分后的星火RDD如何在不更改数据类型的情况下拆分
apache-spark
、
hadoop
、
pyspark
我已经将数据从
文本文件
加
载到
Spark,在数据类型拆分更改之后。如何在不更改数据类型的情况下拆分数据,或者
如何将
拆分的数据转换为原始数据类型?我的代码conf = SparkConf().setMaster("local").setAppName("Movie1,3,4.0,9649812471,47,5.0,964983815 1,50,5.0,964982931
浏览 2
提问于2020-10-22
得票数 0
1
回答
如何将
文本文件
加
载到
pySpark
?
python
、
apache-spark
、
file-upload
、
pyspark
、
jupyter-notebook
我想将一个文件加
载到
PySpark
本地。但是我不能,这个错误就出现了。你知道我是做什么的吗? error spark
浏览 2
提问于2020-04-11
得票数 0
2
回答
PySpark
除以它的和
python
、
apache-spark
、
pyspark
我试图将
PySpark
中的列除以它们各自的总和。from
pyspark
.sql.functions import sum as spark_sumfor each in cols:
浏览 0
提问于2018-05-23
得票数 2
1
回答
PySpark
作为密集向量读入
文本文件
python
、
apache-spark
、
pyspark
、
apache-spark-ml
我正在使用
PySpark
,并试图加载以下格式的文件,其中每一行都是计数向量[0, 0, 0, 0, 0]我正试着用sc.textFile(path/to/counts.txt)把它加
载到
星火中。
如何将
文件的每一行转换为类似于下面格式的
pyspark
向量?我假设它是lambda函数,但不确定
如何将
字符串转换为ML Vector。from
pyspark
.ml.lina
浏览 1
提问于2017-10-30
得票数 2
回答已采纳
1
回答
如何在
pyspark
中创建嵌套列表?
python
、
python-2.7
、
apache-spark
、
pyspark
而且我的代码是 rdd_data = sc.textFile("data2.txt") rdd_data
浏览 2
提问于2017-05-09
得票数 0
回答已采纳
1
回答
PySpark
从一个目录中读取多个json格式的txt文件
python
、
json
、
pyspark
、
k-means
、
azure-databricks
我目前正在分布式数据库类中执行一个任务,用于读取以json文件格式编写的tweet数据的txt文件,并将这些tweet加
载到
dataframe中(稍后通过
pyspark
的kmeans algorith运行它们我有目录,但是我不知道特定
文本文件
的名称(我非常确定目录中的所有文件都是与任务相关的
文本文件
)。 此外,因为我应该通过kmeans算法来运行它,所以我如何在运行中使用非数字特征?
浏览 0
提问于2020-06-01
得票数 1
1
回答
将配置单元表卸
载到
。使用Spark或
pyspark
或python的dat文件
python
、
pyspark
、
apache-spark-sql
、
hiveql
我目前正在使用hql将数据从配置单元表卸
载到
文本文件
中。因为它花费了太多的时间。我想去spark或
pyspark
.I。我是spark/ please的新手。你能帮我解决这个问题吗?
浏览 11
提问于2019-10-04
得票数 0
1
回答
通过
文本文件
将NULL插入为DB null
pyspark
、
hive
、
null
、
dbnull
同时,将
文本文件
从、
pyspark
、、shell插入到组表。如果我查询单元表,只能使用筛选条件= 'NULL'而不是is null重试记录。有谁能建议
如何将
数据作为DB NULLS插入表中?
浏览 2
提问于2020-05-26
得票数 0
回答已采纳
1
回答
平面
文本文件
中的分布式dask矩阵
python
、
apache-spark
、
dataframe
、
pyspark
、
dask
我正在尝试将矩阵的平面
文本文件
(以制表符分隔)表示到dask数组中,使用distributed将数组的块分布到集群中。(旁白:这与
PySpark
的方法没有什么不同) 但是,我不清楚如何使用可用的工具将
文本文件
解析成矩阵结构。在
PySpark
中,我可以使用一个简单的map来完成这个任务,该map可以将空格上的每一行拆分,并将令牌转换为浮动列表,最后将列表转换为索引的numpy数组。
如何将
这些解析成最终矩阵的行?如何为
文本文件
中的每一行生成未来?
浏览 1
提问于2016-06-03
得票数 1
回答已采纳
1
回答
pyspark
:将稀疏局部矩阵转换为RDD
python
、
numpy
、
matrix
、
apache-spark
、
pyspark
numpy矩阵不适合本地内存,我想把它放到
pySpark
中的RDD中。我一般不太熟悉Spark,因此我不知道
如何将
本地spase矩阵加
载到
RDD中。
浏览 2
提问于2015-06-17
得票数 1
2
回答
如何格式化mytext文件?
sql
、
mysql
、
load-data-infile
我要把一组问题加
载到
MYSQL数据库table.But中,表格格式如下QNO问题选项a选项b选项c选项d正确回答...但是我需要使用LOADINFILE命令加
载到
数据库中的
文本文件
格式不同。
如何将
文本文件
格式与表格格式相匹配?
浏览 1
提问于2009-12-30
得票数 1
回答已采纳
3
回答
如何将
文本文件
加
载到
存储为序列文件的配置单元表中
hadoop
、
hive
我需要将一个
文本文件
加
载到
这个表中。
如何将
数据加
载到
此表中?
浏览 2
提问于2012-12-28
得票数 30
2
回答
将字符串写入
文本文件
的最下面一行
java
我想把字符串写到一个
文本文件
中,每次都写到文件的底部。然后,如果我在
文本文件
中搜索某个字符串,并找到它,我想用另一行替换该行。我的想法是:计算
文本文件
中的行数并
加
+1,然后将我想要写入索引的字符串写入该索引。但是,在
文本文件
中写入某个行号是可能的吗?谢谢!
浏览 1
提问于2013-01-01
得票数 0
2
回答
如何从文本框将数据加
载到
列表框中?
vb.net
、
listbox
、
fileopendialog
我的部分问题是: "A“必须加载在TextBox和”猫,.我已经读取了
文本文件
并将"A“加
载到
文本框中。任何帮助都会很好。
浏览 2
提问于2012-05-07
得票数 0
回答已采纳
4
回答
在php中,
如何将
txt文件作为字符串加载?
php
我有一个包含文本段落的
文本文件
。我想将它作为字符串加
载到
php中,然后将其中的所有电子邮件地址收集为一个数组。但是,
如何将
文本文件
内容初始加载为字符串?([A-Za-z0-9_-][A-Za-z0-9_]+)/'
如何将
文本文件
中的文本加
载到
字符串变量中? 提前感谢!
浏览 0
提问于2010-10-10
得票数 7
回答已采纳
1
回答
在HD Insight上使用带木星笔记本的星火包
apache-spark
、
pyspark
、
jupyter-notebook
、
azure-hdinsight
我正试图通过木星笔记本在graphFrames上使用
PySpark
。我的星盘集群在HD上,所以我没有编辑kernel.json的权限。import osos.environ["
PYSPARK
_SUBMIT_ARGS我还尝试通过
PYSPARK
_SUBMIT_ARGS魔术命令将IPython变量传递给%set_env,然后导入图形帧
浏览 3
提问于2016-12-12
得票数 2
回答已采纳
1
回答
不验证参数的脚本
powershell
、
powershell-3.0
、
configurationmanager
我有这个脚本,它搜索一个Word文档以查找"Detection“,然后从第5行(比如"C:\program files\test\notepad.exe" )中提取值,然后脚本应该将其拆分为$filepath = C:\program files\test和$file = notepad.exe。当试图将上面的内容传递给new-cm检测cmdetectionclausefile时,我得到了以下错误: New-CMDetectionClauseFile : Cannot validate argument on parameter 'FileName'.
浏览 5
提问于2022-03-14
得票数 1
7
回答
将数据从
文本文件
加
载到
oracle中的表中。
oracle
除了使用SQL之外,还有其他方法从.txt文件将数据加
载到
Oracle中的表中吗? 提前谢谢。
浏览 21
提问于2010-09-20
得票数 6
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何将文本文件或Excel中的数据导入数据库?
如何在Weka中加载CSV机器学习数据
Python技巧:避免大列表理解,生成器表达式往往更有用~
初学者的Git
从入门到精通-Fayson带你玩转CDH
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券