腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
如何
将
文件
路径
值
读入星火中
的
列
?
pyspark
、
apache-spark-sql
、
azure-synapse
我在Azure Synapse笔记本
中
工作,
从
格式良好
的
文件夹
路径
读取
文件
到
Dataframe
,如下所示:考虑到通配符中有许多
文件夹
引用,我
如何
将"State“
值
作为
列
捕获到生成
的
Dataframe
中
?
浏览 2
提问于2021-11-08
得票数 1
回答已采纳
1
回答
如何
使用Azure Synapse
中
的
Pyspark
从
ADLS Gen2
中
的
文件夹
读取
多个
文件
并用于处理?
pyspark
、
azure-databricks
、
azure-synapse
、
azure-data-lake-gen2
我正在寻找一种方法,通过这种方法,我可以
从
文件夹
中
读取
所有
文件
,并且只使用转换所需
的
文件
。我想要创建
的
场景是,一旦我
从
文件夹
中
读取
文件
,我只想选择操作所需
的
文件
。我们应该
如何
选择
文件
或选择哪个
文件
?? 我正在从另一个
文件夹
读取
一个
文
浏览 6
提问于2022-11-24
得票数 0
回答已采纳
2
回答
如何
根据
dataframe
的
列
值
从
文件夹
中
读取
文件
python-3.x
、
pandas
、
numpy
、
pandas-groupby
我有一些数字
的
列
,对于每个数字,我想检查在
文件夹
中
,如果这个匹配到
文件夹
中
的
任何
文件
名阅读这个
文件
,如果不匹配
的
数字去下一步… df=pd.
DataFrame
({'x':['2000','5000','10000']}) files_folder: P2000.csvP5000.csv P6000.
浏览 10
提问于2021-04-21
得票数 1
回答已采纳
1
回答
SSIS帮助;基于条件移动
文件
ssis
我不能弄清楚,而且我有一个紧迫
的
最后期限。 我需要
读取
一个
文件
,并
根据
列
值
是否包含任何大于1
的
值
..我需要继续进一步处理,否则会出错。这意味着,如果该
列
中
的
任何(行)
值
大于1,我需要将
文件
移动到error
文件夹
,如果所有
值
都是‘1’,则需要将其移动到'processed‘
文件夹
。我已经得到了
读
浏览 3
提问于2011-04-29
得票数 0
1
回答
按Scala
中
的
浮点型
列
值
过滤
DataFrame
scala
、
apache-spark
、
dataframe
我需要
根据
数据类型过滤Spark
dataFrame
列
中
的
值
。我想在一
列
中
只有浮点数。我尝试使用一些正则表达式,但是,在写入csv
文件
时出现错误:SparkException: Task not serializable 下面是
从
CSV
文件
读取
到
dataFrame
的
方法,然后我过滤一些
列
并将它们写回csv
文件
:
浏览 0
提问于2018-04-02
得票数 0
1
回答
如何
在
读取
之前
根据
定义
的
模式
读取
pyspark
中
的
拼图
文件
?
apache-spark
、
pyspark
我正在从pyspark
中
的
s3存储桶
中
读取
镶木地板
文件
。有一些地块
文件
具有不同
的
模式,这会导致作业错误。我想通过预定义
的
模式和火花作业应该只
读取
与预定义
的
scehma匹配
的
文件
。data = spark.read.parquet(*path_list) 上面的parquet spark read命令是批量
读取
文件
。
如何
能够只<e
浏览 21
提问于2021-01-12
得票数 2
1
回答
比较
从
s3
读取
的
每个
文件
的
数据帧
python
、
pandas
我在亚马逊网络服务s3
文件夹
中有大量
的
文件
。我想从python
中
的
每个
文件夹
中
读取
文件
,并比较和合并
dataframe
,这样,如果另一个
dataframe
中
的
特定
列
值
相似,则将相应
的
列
值
添加到列表
中
,并将所有其他
列
值
添加到
浏览 12
提问于2019-04-08
得票数 0
1
回答
从
星火中
的
多个
文件夹
加载多个
文件
scala
、
apache-spark
我有一个数据集,在主
文件夹
中
包含多个
文件夹
,每个
文件夹
包含多个CSV
文件
。每个CSV
文件
都有三
列
,名为X、Y和Z。我想创建一个
dataframe
,以便前三
列
是三
列
X,Y,Z。我还想要另外两
列
,例如第四
列
包含
读取
CSV
文件
的
文件夹
的
名称。第五
列
包含CSV
文件
<
浏览 5
提问于2020-04-15
得票数 5
回答已采纳
1
回答
在
dataframe
列
A
中
创建基于off
值
的
不同
文件
,并
根据
dataframe
列
A
中
的
off
值
保存到不同
的
现有
文件夹
中
python
、
pandas
首先,我想
根据
dataframe
列
A FTP_FOLDER_PATHSecond,
中
的
值
创建不同
的
文件
--我想
根据
dataframe
列
A‘__PATH’
中
的
值
将这些
文件
保存到不同
的
文件夹
中
。这些
文件夹
已经存在,不需要创建。 我在挣扎着
如何
通
浏览 3
提问于2020-01-14
得票数 0
1
回答
如何
在
读取
excel单元格
值
时提高性能
.net
我正在尝试
从
excel表格
中
读取
excel单元格
的
值
,方法是打开excel
文件
,使用行和
列
的
两个循环来
读取
值。 但是我面临
的
问题是,处理所有的excel
文件
需要很长
的
时间。有没有最好
的
方法来
读取
excel
文件
并绑定到数据集。我在不同
的
文件夹
中有不同类型
的
文件
浏览 1
提问于2016-10-10
得票数 0
1
回答
熊猫
DataFrame
和雅虎财经API
python-2.7
、
api
、
pandas
、
dataframe
、
yahoo-finance
我正在尝试使用将数据
读取
到
DataFrame
中
。但是,当我
从
列表
中
读取
符号
的
值
时,它们最终会出现在DataTable
中
的
一个
列
中
。我有两个问题: 我将
如何
完成我想要做<
浏览 0
提问于2016-06-13
得票数 1
回答已采纳
1
回答
查找
文件夹
A中一组csv
文件
与B
文件夹
中一组csv
文件
之间
的
差异
python
、
pandas
、
csv
、
difference
有一个数字a
文件
需要对其行
中
的
差异进行比较;不同
的
不是减法,而是
列
的
每一行
的
不同
值
。这些
文件
是
根据
时间戳命名
的
,在输出
中
,当一个记录显示不同
的
记录时,我需要显示
文件
的
时间戳以及每个
文件
的
不同行
的
信息如下:假设我有两个
文件夹
-
文件夹
A和<em
浏览 6
提问于2022-05-13
得票数 0
1
回答
翻译Pandas
Dataframe
python
、
pandas
我
从
CSV
文件
中
读取
了一个Pandas
Dataframe
。到目前为止,我最好<
浏览 0
提问于2017-11-22
得票数 0
回答已采纳
1
回答
Python:将目录和
文件
名存储为
dataframe
列
python
、
file
、
pandas
、
directory
、
subdirectory
我希望
读取
每个目录中有多个
文件夹
和
文件
的
目录
的
内容,并将
文件夹
和
文件
名指定为
dataframe
.g
列
的
值
。目录是“home”,每个
文件夹
中有几个
文件夹
和
文件
。“
文件夹
”
列
将为该特定
文件夹
中
存在
的
文件
重复使用。到目前为止,我尝试
的</
浏览 1
提问于2017-05-22
得票数 5
回答已采纳
1
回答
将目录
中
的
所有excel
文件
读取
到
dataframe
中
,并使用
文件
名添加
列
python-3.x
、
pandas
、
dataframe
我有一个
文件夹
,里面有一些excel
文件
。我想将它们全部
读取
到一个数据帧
中
,但同时添加一个date
列
。日期包含在每个
文件
名
中
。我有
读取
文件
内容
的
代码,但不确定
如何
从
文件
名
中
读取
日期。这是我用来
读取
文件
的
代码。import pandas as pd a
浏览 43
提问于2021-08-06
得票数 0
1
回答
dask read_parquet方法
的
过滤给出了不需要
的
结果
python
、
dataframe
、
filtering
、
dask
、
fastparquet
我正在尝试使用dask read_parquet方法和filters kwarg
读取
拼图
文件
。然而,有时它不会
根据
给定
的
条件进行过滤。示例:使用dates
列
创建和保存数据框架import numpy as np ddf = dd.from_pandas(df, npartitions=3).to_parquet('test
浏览 0
提问于2018-07-09
得票数 8
回答已采纳
2
回答
如何
在CSV
文件
中
写入特定行数据
python
、
csv
目前,我有一个csv
文件
,其中最后一
列
是空
的
,我们可以将其称为label。以下是数据
的
图片: 我通过分类器得到预测: [0. 1. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 1. 1. 1. 0. 0. 0.]因此,我
的
问题是
如何
将这些预测写入最后一
列
(label)?
浏览 0
提问于2018-01-07
得票数 0
1
回答
如何
通过在spark中使用IN子句传递另一个
列
值
来检索
列
值
scala
、
apache-spark
、
apache-spark-sql
我有一个场景,通过where条件
从
同一个
DataFrame
中使用另一个
列
从
DataFrame
读取
一
列
,这个
值
作为IN条件通过,
从
另一个
DataFrame
中选择相同
的
值
,我
如何
在spark
DataFrame
中
实现。在SQL
中
,它将类似于: select distinct(A.date) from table A
浏览 19
提问于2021-05-28
得票数 0
回答已采纳
1
回答
Python -
从
csv
读取
数据,然后用循环中
的
数据和
文件
号写入新
的
csv。
python
、
pandas
、
csv
我
的
目标是:
从
以字母“Z”开头
的
目录
中
读取
所有
文件
。
从
directory.Open
中
的
每个.csv
读取
的
温度
列
:将温度
列
添加到新
的
.csv
中
。向这个新
的
中
添加了一个
列
"File #“,并
根据
我通过loop.
读取
的</em
浏览 3
提问于2020-12-01
得票数 0
回答已采纳
1
回答
读取
超大型
文件
R
的
列名和
列
值
r
、
dataframe
、
csv
、
large-data
我需要在RStudio 3(在Mac上)中加载一个CSV
文件
,这个
值
为11 it;这使得使用常规命令无法加载。我需要基于某些
列
值
的
数据子集,这将使其易于管理。我
如何
才能:
从
该
文件
中
读取
单个列为list 谢谢。
浏览 1
提问于2021-10-31
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
肝了3天,整理了90个Pandas案例
数据加载、存储与文件格式
手把手教你做一个“渣”数据师,用Python代替老情人Excel
pandas入门教程
干货:手把手教你用Python读写CSV、JSON、Excel及解析HTML
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券