Pyspark - Python3使用configparser从文件中获取变量 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

Pyspark - Python3使用configparser从文件中获取变量

python、python-3.x、apache-spark、pyspark、configparser

我尝试使用Configparser从文件中获取变量，但它总是返回字符串而不是变量。请协助connection_sting =sqlContext.read.format(driver).load(table_nm) config_conn = ConfigParser

浏览 3提问于2018-02-06得票数 1

回答已采纳

2回答

Python2移植到Python3: ConfigParser异常- AttributeError on MissingSectionHeaderError

python、python-3.x、python-2.7、configparser

Python2.7代码：(已工作)logOutCfg = ConfigParser.ConfigParser() if (os.path.isfile(logOutfilename)) : logOutCfg.read(logOutfilename)logOutCfg

浏览 3提问于2019-11-08得票数 0

1回答

ConfigParser在Pyspark集群中无段错误

apache-spark、pyspark、submit、configparser

我在pyspark中有一个项目，我实现了ConfigParser来从config.properties文件中加载一些设置。我使用'SparkFiles.get(' file ')‘获取文件路径。如下所示： config = ConfigParser.Safe

浏览 0提问于2017-11-20得票数 0

1回答

配置解析器出错的路径库绝对路径

python、cron、configparser、pathlib

下面有一个python3脚本，它使用配置函数从位于脚本所在目录中的txt文件加载数据。我实现了 module解析器模块来提取数据，实现了路径库模块来设置该文件的绝对路径 import ConfigParser as configparserPath('config.txt').resolve() r

浏览 0提问于2020-07-28得票数 0

回答已采纳

1回答

将转义字符\t读入'\t‘而不是’\\‘Python ConfigParser

python、escaping、special-characters、configparser

我有一个config.ini文件，其中包含delimiter = \t，现在我想使用python3 ConfigParser来读取该文件。是否有一个更优雅的选项来解决这个问题，而不是仅仅手动从每个包含转义字符的变量中删除额外的“\”？我找不到ConfigParser().read()不转义它在文件中找到的反斜杠的选项。

浏览 7提问于2016-10-10得票数 1

回答已采纳

1回答

pyspark : Configparser未从google存储中读取配置文件

python、pyspark、google-cloud-dataproc、configparser

我正在尝试通过由dataproc运行的pyspark脚本从google存储桶中读取配置文件。但该文件未被读取。config = configparser.ConfigParser()[]

浏览 28提问于2021-04-01得票数 0

5回答

Apache Spark:如何在Python 3中使用pyspark

python、python-3.x、apache-spark

我从GH开发大师那里构建了Spark 1.4，构建过程很顺利。但是当我执行bin/pyspark时，我得到的是Python2.7.9版本。我怎样才能改变这一点？

浏览 5提问于2015-05-17得票数 99

1回答

python 3为configparser制作分段

python、python-3.x

我正在尝试将一个开源项目从Python2转换到Python3，项目使用了Python3不支持的configobj模块。如何实现与configparser模块类似的功能？General Log][Thread1][[log]]有了这个配置文件，我可以这样做 from

浏览 0提问于2015-12-05得票数 0

回答已采纳

1回答

在Pyspark中读取属性文件

python-2.7、pyspark、configuration-files

我想在我的spark 1.6.0应用程序中读取.ini文件(这是我的配置/属性文件)。为此，我使用ConfigParser读取属性文件。import ConfigParserconfig = ConfigParser.ConfigParser() config.read(os.path.join(os.path.dirname如果我在读取文件时在这里做错了，请告诉我。

浏览 4提问于2016-12-05得票数 0

2回答

在Pyspark中使用时，具有静态文件依赖关系的python包无法读取静态文件

python、python-2.7、pyspark

我正在尝试解决python包PySpark的一个问题。我开发了一个python包，它具有以下结构。sample_package/ |-sample.ini |-__init__.pyimport ConfigParser, os config = ConfigParser

浏览 4提问于2018-06-25得票数 0

1回答

ConfigParser:检查Config文件中的变量是否存在

python、variables、configuration-files、configparser

我目前正在尝试检查我的配置文件中是否有一个变量。在文档中，我只看到了对部分的检查，而没有看到部分中的变量。#!/usr/bin/python3 config_file = ConfigParser

浏览 10提问于2022-01-25得票数 0

回答已采纳

3回答

如何从字符串或列表中读取配置？

python、python-2.7、configparser

是否可以从字符串或列表中读取ConfigParser的配置？或有类似的解决方案吗？

浏览 3提问于2014-02-13得票数 27

回答已采纳

5回答

逐行读取文件

python

我正在尝试读取一个输入文件，并匹配包含"ToolVersionEdit“的行，然后根据"=”进行拆分，得到第二部分。.我使用的below..am没有得到所需的output..where是否出错了?

浏览 2提问于2012-12-13得票数 1

回答已采纳

1回答

在s3中使用pyspark合并多个小json文件

apache-spark、amazon-s3、pyspark

我在s3存储桶的子目录中有多个小json文件(1kb)。我想合并单个目录中的所有文件。使用pyspark有什么优化的方法吗？目录结构: region/year/month/day/hour/multiple_json_files有人能在这方面帮我吗？

浏览 1提问于2020-02-16得票数 0

1回答

使用configparser解析器引发KeyError(键)错误

python

我试图用Python3编写一个数据库应用程序，使用INI文件来存储连接设置。如果文件不存在，脚本应该使用If语句创建它。我拥有的代码如下： config = configparser.ConfigParser() with open("main.ini", "r")

浏览 3提问于2022-10-30得票数 0

回答已采纳

3回答

这两个命令都给出了“已经满足的要求”

python、pip

我试图在本地机器上安装一个名为configparser的包。现在，我的机器上有Python 2.7和Python 3.7.4。因此，我希望安装两个版本的configparser。所以我首先使用了这个命令：2.pip install configparser：它告诉我满足了需求。但是在Python 2中现在有一个名为called解析器的包。要在我的机器上安装Python2版本的<

浏览 1提问于2019-06-14得票数 0

回答已采纳

1回答

GCP Dataproc自定义图像Python环境

python、google-cloud-platform、pyspark、google-cloud-dataproc

我的自定义镜像基于DataProc 1.4.1-debian9，并使用我的初始化脚本从一个requirements.txt文件安装python3和一些包，然后设置python3环境变量以强制pyspark使用python3。但是，当我在使用此镜像创建的集群上提交作业时(为简单起见，使用单节点标志)，该作业找不到已安装的包。如果我登录集群机器并运行pyspark命令，则会启动Anaconda

浏览 23提问于2019-07-12得票数 7

回答已采纳

5回答

遇到无法在pyspark上运行程序的错误

java、python、apache-spark、pyspark

我在pyspark上输入了这些命令 In [1]: myrdd = sc.textFile("Cloudera-cdh5.repo") at java

浏览 485提问于2017-08-04得票数 3

回答已采纳

3回答

Python - ConfigParser* - AttributeError: ConfigParser实例没有属性'getitem‘*

python、ini、configparser

我正在从INI文件中读取选项，该文件的文本如下：host =file=quotes.txt File "server.py", line 33, in parseConfigAttributeError: ConfigParser/us

浏览 3提问于2013-05-07得票数 9

回答已采纳

1回答

使用Python configparser模块并获取值的最佳实践？

python、configparser

我编写了一个简单的Python项目，并希望使用configparser模块从config.ini文件中获取值。#!/usr/bin/env python3 import os self.config = c

浏览 11提问于2018-05-04得票数 2

回答已采纳

点击加载更多