编写spark脚本来读取文件

文章/答案/技术大牛

发布

2回答

scala、apache-spark

我正在尝试创建我的第一个spark脚本，它读取文件并通过spark dataframe显示内容。我已经创建了一个文件df.scala，并在其中编写了以下代码。import org.apache.spark.sql.SparkSessiondf = spark.read.option("header",True).cs

浏览 129提问于2020-12-12得票数 0

1回答

运行带有IAM角色的星火EC2脚本

amazon-web-services、amazon-ec2、apache-spark、amazon-iam

我正在尝试运行星火EC2脚本，以启动一个IAM角色下的集群，我的根帐户下的用户可以这样做。根据，我们现在可以在运行EC2脚本时指定--profile，说--profile选项引用了我认为的AWSCLI概要文件。foobar配置文件。这告诉我，Spark没有正确地登录到IAM角色。然后我在没有指定任何配置文件的情况下运行EC2脚本，并获得 boto.exception.EC2ResponseError: EC2ResponseError: 401 Unauthorized

浏览 0提问于2016-04-27得票数 5

2回答

如何在不在pyspark中创建文件夹的情况下写入CSV文件？

python、apache-spark、pyspark、apache-spark-sql

在写入CSV文件时，自动创建文件夹，然后创建具有隐名的csv文件，如何在pyspark中创建具有任何特定名称的CSV，而不是在pandas中创建文件夹。

浏览 7提问于2021-11-09得票数 0

1回答

Azure DevOps上传/向网络扩展提供文件

azure-devops

我想用这个扩展名处理由Buildpipeline中的Task生成的外部文件。有没有办法上传或提供这些文件的扩展名？有一种常见的方法吗？

浏览 0提问于2019-08-28得票数 1

1回答

如何在没有O^2运行时的Python中对条目进行分类？

python、algorithm、python-3.x

我想编写一个Python 3脚本来管理我的开销，并且我将有一个规则过滤器，上面写着‘如果描述包含一个特定的字符串，将它分类为x'，这些规则将从文本文件中读取。

浏览 3提问于2015-08-21得票数 0

回答已采纳

2回答

如何在python中不使用" import“进行导入

python、python-3.x、module、subprocess、python-2.x

这个问题的背景是，我正在尝试编写一个程序来帮助分析数据。它应该用python3编写，但是它的数据类型通常是以python无法读取的格式存储的。有一个包可以读取这些数据，但它只与python2兼容。为了读取数据，我想编写一个python2脚本来读取文件并将其转换为numpy数组。这是我想在我的python3程序中读到的。(有问题的包是axographio)。

浏览 3提问于2017-06-20得票数 1

2回答

从文本读取和运行Powershell文件

file、text、powershell

现在，我正在尝试使用Powershell脚本来读取文本文件并执行其中提到的所有Powershell脚本，但我无法获得任何结果。ScriptBlock{powershell.exe -noexit $val} -name $jobnumStart-Job -ScriptBlock{$val}Start-Job -FilePath($val) -name $jobnum Start-Job：FilePath参数只允许使用Po

浏览 4提问于2010-07-20得票数 4

回答已采纳

1回答

更新Cassandra数据库表中现有行的TTL值

database、cassandra、ttl、nosql

我有一个有很多记录的表，在插入时设置了1年的TTL值。现在，我想以简单的方式将TTL值更新为5年的记录。我知道我们可以通过UPDATE TABLE USING TTL <value> set column ='' where condition做到这一点，但是我有数百万条记录，所以我需要一个只有一个查询的解决方案。

浏览 30提问于2017-06-30得票数 1

1回答

如何在spark中运行hive sql

python-3.x、apache-spark、hive、bigdata

添加文件s3://nouveau3/cleanser/cleanser.py c STRINGUSING 'python cleanser.py' as (schema) insert查询运行超过15mnts以改进如何在spark

浏览 10提问于2018-02-16得票数 0

1回答

如何编写SQL脚本来读取文件内容

sql、oracle、csv、xlsx

我有一个SQL脚本和一个".csv“文件。我希望SQL脚本从".csv“文件中读取数据，而不是手动在脚本中输入数据。有可能吗？

浏览 0提问于2016-06-09得票数 0

1回答

添加pyspark脚本作为AWS步骤

amazon-web-services、pyspark、amazon-emr

我有一个读取器脚本来读取xml文件(出现在S3中)。我需要在aws中添加这个步骤。>],ActionOnFailure=CONTINUE conf = SparkConf().setAppName('Project').set("spark.jars", "/hom

浏览 7提问于2020-03-23得票数 0

1回答

使用Dataframes对星火中的日期时间进行排序

scala、sorting、apache-spark、datetime

我正在读取一个Spark (Scala语言)的ASCII文本文件，其中包含以下格式的数据：-name|type|type_vernew SparkConf() val sqlContext = new SQLContext(sc) import spark</em

浏览 2提问于2021-02-02得票数 0

回答已采纳

1回答

Python2将h5文件数据创建到python 3中。

python、python-3.x、python-2.7、hdf5

但是，这段代码读取由python2.7中的代码创建的h5文件。这段代码也将被传输到python 3，但不是由我来传输。我需要h5文件中的数据来检查我端到python3的转换是否正常(内部数据是熊猫数据)。因此，我正在寻找一个技巧(使用python 2或python 3)来将这个h5文件转换为比用python 3阅读的东西。它不需要是一个简洁的解决方案，因为它只是暂时的。数据相当可观。

浏览 3提问于2020-11-25得票数 0

回答已采纳

1回答

bigquery中丢失的数据

python、google-bigquery

我编写了一个Python3脚本来处理一些CSV文件，但是我对数据有一个问题。我使用函数发送到流，如果我只导入一个文件，则在CSV和BigQuery中具有相同的行，但当我导入更多文件时，BigQuery丢失的行将与CSV文件相关，但insert_rows不会返回错误。

浏览 2提问于2018-11-12得票数 0

1回答

SSIS使用平面文件作为参数/变量

variables、parameters、ssis、flat-file

我想知道如何使用平面文件(只有一个值，比如日期时间)作为参数/变量。我不想将来自Edit任务的SQL查询值输入一个变量，而是将它们保存为一个平面文件，然后再将它们作为一个参数/变量加载。

浏览 0提问于2016-05-09得票数 0

回答已采纳

1回答

AWS胶水是如何工作的？

amazon-web-services、aws-glue、aws-glue-spark

我在AWS Glue上以ETL的形式阅读了很多帖子。但我不能得到太多。有人能用简单的语言解释一下AWS Glue是如何工作的吗？它创建了弹性网卡，但它有什么用呢？我在某处读到AWS胶水作业在AWS胶水私有子网内运行，是真的吗？你能用架构图解释一下吗？另外，为什么我们在创建胶水连接时需要提供VPC？

浏览 69提问于2020-09-21得票数 4

1回答

从cmd调用ps1

powershell

我想从命令行调用ps1，在同一个文件夹中有两个文件(非常直接)@set powershell=powershell.exe我错过了什么吗？谢谢各位！

浏览 0提问于2012-04-30得票数 0

3回答

在jMeter/Groovy中创建计时器时遇到问题

groovy、jmeter、stress-testing

我在csv文件中有时间戳值，并且在jMeter的ThreadgGoup中加载该文件。我正在使用一个JSR223脚本来计算每个线程之间的延迟时间，但是我在这样做时遇到了问题。我希望我的线程不基于真实生活数据，这就是为什么我使用csv日志文件中的时间戳。但是我不知道如何配置这个等式。我正在从脚本中的csv读取时间戳，我知道等待时间应该等于当前的时间戳值-前一个线程的时间戳值，但是我如何实现它呢？vars.get("timestamp")).longValue(); wa

浏览 3提问于2018-10-31得票数 1

1回答

从Visual存储库中的.sql文件中读取

sql-server、powershell、visual-studio、git、repository

包含以下内容的user.sql文件有没有一种方法可以直接从.ps1脚本访问文件，从它读取代码并执行它？

浏览 0提问于2022-12-09得票数 0

2回答

“不受支持的编码:DELTA_BYTE_ARRAY”，同时使用pyspark将拼花数据写入csv

pyspark、apache-spark-sql

我想把二进制格式的拼花文件转换成csv文件。我正在使用以下命令的火花。sqlContext.setConf("spark.sql.parquet.binaryAsString","true") source.coalesce(1).write.format("com.databricks.spark.csv").opt

浏览 0提问于2018-10-01得票数 3

回答已采纳

点击加载更多