1回答
如何将spark sql数据帧摘要写入excel文件
apache-spark、pyspark、spark-dataframe
我有一个非常大的数据帧，有8,000列和50000行。我想把它的统计信息写到excel文件中。我认为我们可以使用describe()方法。而是如何以良好的格式写出优秀的作品。谢谢
浏览 4提问于2017-04-22得票数 3
回答已采纳
1回答
简单的pandas数据帧转换
python、pandas
我正在尝试对Dataframe进行一些非常简单的转换。我已经通读了所有的文档，但我不太清楚这是如何工作的。我想对一行中的单元格做一个简单的减法。希望返回包含计算列的新Dataframe。Dataframe organized like index : col 1 : col2
return log(data col1 - data col2) 感觉这可以在幕后完成，而不需要迭代我的函数中的我只是在寻找在pyt
浏览 8提问于2020-12-13得票数 0
回答已采纳
1回答
将pandas数据帧转换为PySpark数据帧
python-3.x、pandas、pyspark、apache-spark-sql、pyspark-sql
我正在使用：从spark --> Pandas的转换很简单，但我正在为如何将Pandas数据帧转换回Spark而苦苦挣扎。import *
import argparse,
浏览 1提问于2018-10-23得票数 15
回答已采纳
1回答
如何在Databricks中快速轻松地在R和pandas数据帧之间进行转换？
r、pandas、databricks、temp-tables
我是一个拥有最少python经验的R用户。我听说我必须使用spark temp tables来做这件事，而且它非常简单，但我找不到任何完整的示例代码，到目前为止，我还不能让它工作。我得到了一个SparkR数据帧(因为我不能让Base R数据帧与RegisterTempTable()一起工作)，并将它转换成一个临时表：jdbc_url <- "jdbc:sqlserverCell 2:
import pandas
浏览 1提问于2020-05-29得票数 1
1回答
Delta Lake:性能挑战
pandas、delta-lake
方法1:我的输入数据是一堆json文件。经过预处理后，输出为pandas数据帧格式，该格式将写入Azure SQL数据库表。方法2:我已经实现了delta lake，其中输出pandas数据帧被转换为Spark数据帧，然后将数据插入到分区的Delta Table中。这个过程很简单，而且将pandas数据
浏览 8提问于2020-10-28得票数 1
1回答
数据帧到JSON
pyspark
如何在pyspark中处理dataframe并获得json格式的输出：empid empname in out1 A 1 1json中需要的输出：id:empid,in:[1,1],}
浏览 4提问于2018-03-18得票数 0
1回答
BigQuery存储应用编程接口:从Spark Pandas UDF使用客户端的最佳实践？
apache-spark、pyspark、google-bigquery
目前，我使用BigQuery作为数据仓库。我想知道是否有一种方法可以使用BigQuery API或BigQuery Storage API从我的udf中查询数据库？也许是一种执行批量查询的方法？pandas-gbq会是一个更好的解决方案吗？我每行需要进行的每个查询都是一个select count(*) from dataset.table where {...}查询。目前我使用的是大型查询客户端，如下面的代码片段所示，但我不确定这是否是利用资源
浏览 9提问于2019-12-12得票数 1
2回答
如何在python中使对象成为dataframe
python、python-3.x、dataframe
我已经实现了以下部分代码：它应该是由从先前导入的数据集中提取的两个向量组成的数据帧。我使用参数i，因为这段代码是循环的一部分，循环使用一个预定义的函数来分析一个固定变量[0]和其他变量之间的相关性-每次迭代都会检查与不同变量[i]的相关性。我需要这个对象是一个数据帧(下一步是使用.d
浏览 1提问于2019-07-09得票数 0
1回答
Spark中的用户定义函数(UDF)是否在集群工作节点上并行运行？
apache-spark、user-defined-functions
1, 20).registerTempTable("test")
%sql select id, squaredWithPython(id) as id_squared from test 那么，如果数据分布在工作节点的内存上，squaredWithPython函数是否会在群集的工作节点上运行？如果是，那么矢量化UDF的用途是什么？UDF和vectorized UDF的区别是什么？ 同样，在DataFrames中使用UDF也是如此。
浏览 33提问于2019-10-10得票数 0
回答已采纳
1回答
在Dask中使用尚未实现的Pandas函数
python、pandas、dask、dask-distributed、dask-delayed
我相信在使用Dask数据帧时，我在Dask教程中看到了一个关于如何使用Dask框架中尚未实现的Pandas函数的建议，但我似乎看错了地方。例如，我想使用Pandas函数'ewm‘。作为一种变通方法，我将Dask数据帧转换为Pandas数据帧，在Pandas数据帧上运行ewm，然后将它们转换回Dask，
浏览 10提问于2019-06-02得票数 1
回答已采纳
3回答
如何将以下JSON转换为所需的Pandas Dataframe？
python、pandas、dataframe
: { }, "RSI": "74.1698"}我需要将此JSON转换为以下Pandas Dataframe：0 2021-05-24 75.1354
1 2021-05-21 74.55612 2021-05-14 78
浏览 0提问于2021-05-25得票数 0
1回答
Boxplot多索引
python、boxplot、multi-index
我想做一个MultiIndex df返回的图(盒图)，看起来像这样：
pct_change close high low open
浏览 10提问于2020-02-11得票数 0
1回答
基于xlsxwriter中的列对数据进行排序
python、odoo
有没有办法在使用xlsxwriter将数据写入excel之前对数据进行排序？我正在尝试创建基于odoo中的列的排序的excel报告。
浏览 18提问于2018-12-12得票数 1
1回答
将字典转换为表以便在Orangewidget中输出
python、pandas、dataframe、widget、orange
有没有一种简单的方法可以将对象的字典转换为从一个Widget到另一个Widget传输数据所需的表？
我有一个带有值列表的测量点字典，并想将它们从我自己的Widget传输到一个“数据表Widget”。我尝试将字典转换为pandas数据帧，然后使用以下代码将数据帧转换为表。我可以在PyCharm中执行代码而不会出现
浏览 8提问于2018-07-27得票数 0
1回答
如何从pandas数据帧中另一列的多个值创建列中的值列表？
python、pandas
我有一个包含以下值的数据帧： filename, keyword, pageA, red, 2B, red, 1C, green, 2 如何将其转换为以下格式？filename, keywords, pagesB, [red, green], [1]
C, [green], [2] 在Pandas中有没有简单的方法来做到这一点如果列表不允许作为单元格
浏览 5提问于2020-10-26得票数 0
1回答
如何使用Azure databricks在第二代ADLS的多张工作表中读写excel数据
python、pyspark、databricks、azure-databricks
我想将所有工作表的数据读入一个不同的文件中，并将该文件写入到ADLS2中的某个位置。我的最终输出文件应该包含来自所有工作表的数据。我还需要创建一个额外的列来存储sheetName信息
浏览 4提问于2021-10-27得票数 0
1回答
TF记录到pandas数据帧？
python、pandas、tensorflow、tfrecord
想知道是否有一种简单的方法来批量完成它？
查找类似pd.read_csv的文件，然后将其转换为pandas数据帧。
浏览 31提问于2021-04-21得票数 0
3回答
Pandas DataFrame中的Python PyTd teradata查询
python、pandas、teradata
我正在使用PyTd teradata模块查询来自Teradata的数据，并希望将其读取到熊猫DataFrame中import pandas as pd
print type(row)row属于teradata.util.Row class，无法追加到数据帧中我试着把它转换成一个列表，但是
浏览 2提问于2016-06-16得票数 0
1回答
将简单JSON转换为pandas数据帧
python、json、pandas
我是Python的新手，我正在尝试将以下JSON转换为panda框架。 "storeloc":"AZ2309"
] ]我正在尝试将其加载到熊猫数据帧中json文件中的列数相同。行数在10000左右。
我正在尝
浏览 5提问于2020-11-18得票数 0
云服务器
ICP备案
对象存储
云点播
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号