使用python写入HDFS中的excel文件。

文章/答案/技术大牛

发布

1回答

excel、hdfs、openpyxl、apache-zeppelin、pandas.excelwriter

尝试使用zeppelin笔记本在HDFS上使用Openpyxl将数据帧写入excel工作簿。我的代码如下： with pd.ExcelWriter('hdfs:///ip/docs/excel_files/ds.xlsx', engine="openpyxl", mode="w") as writer/python<

浏览 41提问于2020-02-04得票数 3

1回答

有没有办法使用Pydoop将数据附加到hdfs文件中？

python、hadoop、hdfs

我正在尝试使用python将对象的内容写入hdfs中的文件。为此，我找到了一个用python实现的hdfs API，名为Pydoop。读API时，我可以很容易地使用pydoop的dump()方法将内容写入hdfs path中的文件，但没有看到任何像append()这样

浏览 0提问于2016-09-13得票数 0

1回答

在java map reduce中执行python脚本

java、python、hadoop、mapreduce、processbuilder

我需要在java mapreduce程序中执行python脚本。 python methratio.py --ref=../Inputfile 在这里，输入文件是hdfs中的输入文件，输出文件(在hdfs中)是python脚本写入输出的位置。

浏览 1提问于2015-01-25得票数 0

2回答

是否可以将Excel文件从读取到PySpark或？

apache-spark、pyspark、cloudera

我在HDFS中有一个文件(/user/username/Project/data/file.xlsx)，我想将该文件读入DataFrame中。我正在使用齐柏林飞艇笔记本来完成我的代码。 df = pd.read_excel("/user/username/Project

浏览 1提问于2019-07-18得票数 0

1回答

反序列化内存中的Hadoop序列文件对象

python、scala、hadoop、pyspark、sequencefile

Pyspark有一个函数sequenceFile，它允许我们读取存储在HDFS中的序列文件，或者所有节点都可以使用的本地路径。例如，我正在处理的应用程序(不能更改应用程序逻辑)运行一个火花作业，它将该文件写入非HDFS兼容的文件系统，然后我可以作为内存中的python字节对象检索该文件，该对象似乎只包含一个序列

浏览 15提问于2021-12-08得票数 1

1回答

Azure函数将csv转换为excel文件

azure-sql-database、azure-data-factory

我需要从azure sql server中读取数据，并使用数据工厂在excel blob中进行写入。我使用数据复制活动从azure sql server创建了csv文件。我不知道如何将csv转换为excel，也不知道如何使用数据工厂从azure sql直接读取excel。我在网上搜索，发现天蓝色功能是一种选择。

浏览 0提问于2021-04-08得票数 0

1回答

使用Python在hdfs上读/写文件

python、hdfs

我是Python的新手，我想从hdfs中读取一个文件(我已经实现了)。在读取文件之后，我正在做一些字符串操作，我希望将这些修改后的内容写入输出文件。读取我使用子进程实现的文件(这需要很多时间)，因为打开对我不起作用。cat = Popen(["hadoop", "fs", "-cat", "/user

浏览 0提问于2016-05-17得票数 1

1回答

将数据直接流式传输到hdfs，无需复制

python、hadoop、hdfs

我正在寻找不同的选项，通过这些选项，我可以使用python将数据直接写入hdfs，而无需存储在本地节点上，然后使用can local。我想使用类似于本地文件的hdfs文件，并使用以行为参数的write方法，如下所示：

浏览 0提问于2013-03-17得票数 8

回答已采纳

1回答

以映射用户身份在hdfs中进行oozie读写

oozie

我在oozie工作流中运行python脚本。python脚本从hdfs读取文件，操作并将其写回新文件夹中hdfs。在运行oozie工作流时，我没有收到任何错误。但被操纵的数据不会写入hdfs。我确实看到默认情况下新文件夹有一个用户映射。我不太确定这是否与mapred user有关。我以hdfs用户的身份运行oozie工作流。从shell脚本运行<

浏览 2提问于2014-06-20得票数 1

1回答

如何在python中将存储在变量中的数据发送到HDFS

python、shell、hdfs、devops

示例：如何使用python将该变量的数据写入hdfs文件？我尝试过使用：os.system(command)`

浏览 11提问于2018-08-28得票数 1

4回答

直接在HDFS中生成文件

python、hadoop、hdfs

有没有办法直接在HDFS上生成文件？我想避免生成一个本地文件，然后通过HDFS命令行：hdfs dfs -put - "file_name.csv"复制到hdfs。或者有没有python库？

浏览 5提问于2016-01-11得票数 2

1回答

如何在java中使用crealytics / spark-excel将多个org.apache.spark.sql.Dataset写入到.xls文件中时提到单个工作表名称？

java、apache-spark、dataset、rdd、spark-excel

我正在尝试使用crealytics/spark-excel库将不同的Java数据集写入到一个包含多张工作表的excel文件中。artifactId></dependency>import o

浏览 50提问于2020-03-03得票数 1

回答已采纳

1回答

在集群中的执行器上运行python脚本[Scala/Spark]

python、scala、apache-spark、hadoop、hdfs

我有python脚本： print("hello " + line)def run(spark我可以在python脚本中访问星火会话吗？或者我可以在python脚本中创建一个文件并将其保存到hdfs文件系统中？实际上，这正是我想要做的--我想在p

浏览 1提问于2022-02-22得票数 1

3回答

Python写入hdfs文件

python、hadoop、hdfs、file-handling

通过本地python脚本在远程 HDFS中创建/写入/更新文件的最佳方法是什么？我已经搜索过和，但是没有一个给出一个干净的方法来做到这一点。

浏览 3提问于2017-12-21得票数 10

1回答

私有子Worksheet_Change(ByVal目标作为距离)

excel、vba

我有下面的脚本来获取动态变化的数据。数据可在工作表上的单元格F60中获得。这是一个不断变化的股票价格。此数据由Python代码获取，运行良好。每次工作簿发生变化时，我都需要将这个F60数据记录到同一个工作簿中的另一个工作表上，而不需要删除以前记录的数据。当我手动输入一个值并继续在F60中更改它时，我能够在目标表上逐个看到所有这些值。但是如果数据是自动更新的(通过Python代码)，那么我只能看到时间

浏览 4提问于2022-10-06得票数 0

1回答

PySpark saveAsTextFile编写的内容与python编写的内容不同。

apache-spark、pyspark

我正在使用pyspark编写二进制文件，但其内容与编写python操作的内容不同。��;^G��^@}d^E�E�5#��>rdd = sc.textFile(gidgid_output_dir+"/part-00000.snappy")\<8c>r^X<98>&ÂÓ-Cì^Zj<8b>Âùæ<P=<8f>3ÅT<8b><85>ý<8

浏览 0提问于2019-04-08得票数 0

3回答

如何自动将输入文件放入hdfs？

hdfs

在Hadoop中，我们总是通过-put命令手动输入文件。有没有办法让这个过程自动化呢？

浏览 0提问于2012-04-26得票数 1

4回答

在Python中读取文本文件和写入excel文件

python、excel

我想从源代码(.map文件)中的指定文件中读取数据，并将其中具有特定名称的变量写入excel工作簿。有什么提示吗？

浏览 0提问于2013-08-08得票数 0

1回答

你能从火花作业直接读写硬盘吗？

apache-spark、hdfs

是否需要将火花作业的输出写入hdfs并从中下载。或者可以直接写入本地文件系统。

浏览 3提问于2017-10-17得票数 1

回答已采纳

点击加载更多