在Spark中连接到Netezza :没有合适的驱动程序错误(但SPARK_CLASSPATH中存在驱动程序)
在Spark中连接到Netezza时出现"没有合适的驱动程序"错误，尽管SPARK_CLASSPATH中存在驱动程序的情况下，可能是由于以下原因导致的：
- 驱动程序版本不匹配：确保使用的Netezza驱动程序版本与Spark版本兼容。不同版本的Spark可能需要不同版本的驱动程序。您可以查看Spark官方文档或Netezza官方文档以获取兼容性信息。
- 驱动程序未正确配置：确保驱动程序已正确配置并在SPARK_CLASSPATH中设置了正确的路径。您可以检查SPARK_CLASSPATH环境变量是否包含了驱动程序的路径，并且路径是否正确。
- 驱动程序缺失或损坏：确认驱动程序文件是否存在，并且没有损坏。如果驱动程序文件丢失或损坏，您可以从Netezza官方网站下载最新的驱动程序，并将其放置在正确的路径下。
- 驱动程序依赖项缺失：某些驱动程序可能依赖于其他库或组件。确保所有依赖项都已正确安装，并且在SPARK_CLASSPATH中设置了正确的路径。
在连接到Netezza时，您可以考虑使用以下腾讯云相关产品和服务：
- 云数据库 Netezza：腾讯云提供了高性能、可扩展的云数据库 Netezza 服务，适用于大规模数据仓库和分析工作负载。您可以通过腾讯云控制台或 API 创建和管理 Netezza 数据库实例。
- 弹性 MapReduce（EMR）：腾讯云的弹性 MapReduce 服务提供了一个完全托管的大数据处理平台，支持使用 Spark 进行数据分析和处理。您可以在 EMR 上配置和运行 Spark 作业，并与 Netezza 数据库进行连接。
- 云服务器（CVM）：腾讯云的云服务器提供了灵活可扩展的计算资源，您可以在云服务器上部署和运行 Spark 和 Netezza 相关的应用程序。
请注意，以上提到的腾讯云产品和服务仅作为示例，您可以根据实际需求选择适合的产品和服务。更多详细信息和产品介绍，请访问腾讯云官方网站：https://cloud.tencent.com/。
相关·内容
在启动spark-shell之前，我已经在SPARK_CLASSPATH中添加了我的Netezza jar (nzjdbc3.jar)。
这就是我在Scala中连接Netezza的方式：
scala>> val mytable = sqlContext.load("jdbc", Map("url" -> "jdbc:netezza://host:port/dbName?user=xxxxxx&password=xxxxxx", "dbtable" -> "table_name"))
浏览 10提问于2017-03-10得票数 1
回答已采纳
我有一个Spark实例，我试图连接到一个现有的应用程序来检索一些数据。
使用SparkSQL的SQLContext，根据，使用read方法可以实现这一点。我已经确定我需要使用--jars标志来提供JDBC驱动程序，而不是像文档中那样使用SPARK_CLASSPATH。手术看起来就像
// pyspark
df = sqlContext.read.format('jdbc').options( ... ).load()
// spark-shell
val df = sqlContext.read.format("jdbc").options( ... ).lo
浏览 3提问于2015-09-25得票数 4
回答已采纳
1回答
我已经使用IntelliJ IDE上的Scala2.11.8在我的Windows机器上设置了Spark2.2.0。我正在尝试使用JDBC驱动程序使Spark连接到Netezza。
我已经阅读了，并通过Maven将com.ibm.spark.netezzajars添加到我的项目中。我试图运行下面的Scala脚本来测试连接：
package jdbc
object SimpleScalaSpark {
def main(args: Array[String]) {
import org.apache.spark.sql.{SparkSession, SQLContext}
im
浏览 4提问于2017-07-27得票数 0
回答已采纳
我读过以前关于这方面的文章，但我仍然无法确定为什么我无法将我的ipython笔记本连接到Postgres数据库。
我能够在一个ipython笔记本上启动pyspark，SparkContext作为'sc‘加载。
在我的.bash_profile中，我有以下几个用于查找Postgres驱动程序的内容：
export SPARK_CLASSPATH=/path/to/downloaded/jar
下面是我在ipython笔记本中所做的连接到db的工作(基于 post)：
from pyspark.sql import DataFrameReader as dfr
sqlContext =
浏览 8提问于2017-10-24得票数 4
回答已采纳
我在docker容器()上运行Spark。
我是这样启动的：
docker run --link dbHost:dbHost -v my/path/to/postgres/jar:postgres/ -it -h sandbox sequenceiq/spark:1.6.0 bash
我确信可以通过地址postgresql://user:password@localhost:5432/ticketapp访问postgreSQL数据库。
我用spark-shell --jars postgres/postgresql-9.4-1205.jdbc42.jar启动了spark-shell，因为我可
浏览 0提问于2016-06-06得票数 0
我有一个spark azure hd insight集群，我想将sparksql连接到另一个sql服务器机器上。
我可以用FREETDS和pymssql连接它，但据我所知，我应该通过jdbc驱动程序将它连接到spark sql
这与Spark中的文档相同
现在我在我的主目录中有了Jar，如果我想使用这个Jar，它在文档中说
SPARK_CLASSPATH=postgresql-9.3-1102-jdbc41.jar bin/spark-shell
我已经将它用作
SPARK_CLASSPATH=./sqljdbc_4.2/enu/sqljdbc42.jar ./bin/spark-shell
浏览 0提问于2016-04-15得票数 0
2回答
我对spark几乎是个新手。我想要将pyspark连接到oracle sql，我正在使用以下pyspark代码：
from pyspark import SparkConf, SparkContext
from pyspark.sql import SQLContext, Row
import os
spark_config = SparkConf().setMaster("local").setAppName("Project_SQL")
sc = SparkContext(conf = spark_config)
sqlctx = SQLContext(s
浏览 22提问于2017-06-22得票数 1
回答已采纳
1回答
我在ipython笔记本中使用pyspark并访问netezza数据库。我正尝试在bluemix上做类似的事情。问题是，为了访问netezza，我必须向pyspark启动添加参数。我如何在bluemix上做到这一点？下面是我独立启动pyspark的方法：
$ PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" /usr/local/src/spark/spark-1.6.1-bin-hadoop2.6/bin/pyspark --packages com.ibm.SparkTC:spark-ne
浏览 0提问于2016-05-19得票数 0
1回答
当使用jdbc驱动程序连接到例如甲骨文时，什么是真正执行的? 1:我已经启动了一个火花主程序，如
spark-class.cmd org.apache.spark.deploy.master.Master
像这样的工人
spark-class.cmd org.apache.spark.deploy.worker.Worker spark://myip:7077
和火花壳
spark-shell --master spark://myip:7077
在spark-defaults.conf我有
spark.driver.extraClassPath = C:/jdbcDrivers/o
浏览 1提问于2017-07-14得票数 1
回答已采纳
我一直试图在窗户上安装蜂箱。我有64位窗口8的HADOOP和火花运行。我有过
1.HADOOP_HOME
2.HIVE_HOME
3.SPARK_HOME
4.Platform
5.PATH
所有这些变量都建立在我的系统上。另外，我之前也收到过这些错误
Missing Hive Execution Jar: C:\hadoop1\hadoop-2.7.2\apache-hive-1.2.1-bin/lib/hive-exec-*.jar
我通过编辑HIVE的bin文件夹中的Hive文件来解决这些错误。这些错误是由于HIVE文件中的环境变量中的正斜杠“/”造成的。我用"\“代替它们，这些
浏览 4提问于2016-05-23得票数 0
我在Python Notebook中有一个项目代码，当Spark托管在Bluemix中时，它运行得很好。
我们正在运行以下代码来连接到Netezza (本地)，它在Bluemix中运行良好。
VT = sqlContext.read.format('jdbc').options(url='jdbc:netezza://169.54.xxx.x:xxxx/BACC_PRD_ISCNZ_GAPNZ',user='XXXXXX', password='XXXXXXX', dbtable='GRACE.CDVT_LIVE_SPA
浏览 16提问于2017-01-20得票数 2
我正在尝试从Spark3.0.1升级到3.1.1。
我是运行PySpark 3.1.1在客户端模式木星笔记本。
以下操作在3.0.1上运行，但升级spark后失败：
from pyspark import SparkContext, SparkConf
from pyspark.sql import SparkSession
def get_spark_session(app_name: str, conf: SparkConf):
conf.setMaster("k8s://https://kubernetes.default.svc.cluster.local"
浏览 13提问于2021-03-04得票数 0
回答已采纳
HDP 2.4版
我试图通过驱动程序sqljdbc41.jar写入Server数据库。我正在齐柏林飞艇执行以下操作：
val foo = sqlContext.jdbc("jdbc:sqlserver://X;databaseName=X;user=X;password=X", "X")
这就产生了“找不到合适的驱动程序”错误。
这是一个常见的问题，到目前为止，我已经尝试了以下几种方法，但没有运气，基于我通过互联网络找到的各种补救方法：
为火花-defaults.conf中的下列属性添加JAR的完整路径：
spark.driver.ext
浏览 2提问于2016-08-05得票数 0
我正在研究一个用例，在这个用例中，我必须将数据从RDBMS传输到HDFS。我们已经使用sqoop对这个案例进行了基准测试，并发现我们能够在6-7分钟内传输大约20 of的数据。
当我尝试使用Spark时，性能非常低(从netezza到hdfs需要4分钟的1GB记录)。我正在尝试进行一些调优并提高它的性能，但它不太可能将其调到sqoop级别(1Min中大约有3GB的数据)。
我同意spark主要是一个处理引擎这一事实，但我的主要问题是，spark和sqoop在内部都在使用JDBC驱动程序，所以为什么性能上有这么大的差异(或者可能是我遗漏了什么)。我在这里张贴我的代码。
object helloW
浏览 3提问于2016-05-10得票数 14
回答已采纳
我正在尝试通过Spark连接到Amazon Redshift，这样我就可以将我们在S3上的数据与我们RS集群上的数据连接起来。我在这里找到了一些非常简洁的文档，介绍了连接到JDBC的能力：
load命令似乎相当简单(尽管我不知道如何在此处输入AWS凭据，也许是在选项中？)。
df = sqlContext.load(source="jdbc", url="jdbc:postgresql:dbserver", dbtable="schema.tablename")
而且我不完全确定如何处理SPARK_CLASSPATH变量。我现在通过一个iPyt
浏览 7提问于2015-07-14得票数 5
3回答
我在windows 7上使用的是(星火-1.5.2-bin-hadoop2.6)。
当我在pyspark中运行python脚本时，我一直会收到这个错误。
调用o23.load时出错。jdbc:oracle:thin:------------------------------------connection :没有找到适合java.sql.SQLException的驱动程序
这是我的python文件
import os
os.environ["SPARK_HOME"] = "C:\\spark-1.5.2-bin-hadoop2.6"
os.environ[&
浏览 6提问于2015-11-20得票数 3
回答已采纳
我在我的本地窗口上使用独立集群，并尝试使用以下代码从我们的一台服务器加载数据-
from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
df = sqlContext.load(source="jdbc", url="jdbc:postgresql://host/dbname", dbtable="schema.tablename")
我已将SPARK_CLASSPATH设置为-
os.environ['SPARK_CLASSPATH'] = "C:\U
浏览 1提问于2015-04-16得票数 8
1回答
正如所解释的，我在Windows上安装了一个本地spark 1.5.2 (Hadoop2.4)。
我正在尝试导入我使用maven在Java中创建的jar文件( jar是jmatrw，我上传到了上)。注意，jar不包括星火程序，并且它没有任何依赖关系来触发。我尝试了以下步骤，但似乎没有人在我的安装中工作：
我在"E:/installprogram/spark-1.5.2-bin-hadoop2.4/lib/jmatrw-v0.1-beta.jar“中复制了这个库
编辑星星之火-env.sh并添加SPARK_CLASSPATH="E:/installprogram/spar
浏览 5提问于2015-12-29得票数 1
回答已采纳
1回答
我在试着保存一个Mllib模型。
我在Spark中运行的代码：
model = RandomForest.trainClassifier(train_data,
numClasses=2, categoricalFeaturesInfo=categoricalFeaturesInfo,
numTrees=numTrees, featureSubsetStrategy="auto",
浏览 19提问于2017-03-10得票数 1
1回答
我公司的另一个团队委托了一台新的服务器，并在上面安装了Netezza，以及一堆内部程序。他们所有连接到Netezza的程序现在都给出了这个错误：
A connection error has occurred: Invalid packet length
尝试使用DbVisualizer或RazorSQL等图形用户界面连接到数据库时会出现相同的错误。连接到“旧”服务器仍然可以正常工作。这两个盒子的区别之一是Java版本，旧的是1.5，新的是1.7。不确定这是否相关。(我不是Netezza专家，也不是Netezza用户！)
有什么想法吗？
浏览 1提问于2012-11-29得票数 0
回答已采纳
我正在Ubuntu服务器上安装Spark，我已经执行了所有步骤，它甚至说最终构建成功，但是当我运行./bin/spark-shell时，它给了我这个错误。
这可能意味着它无法定位具有./spark-1.4.1/launcher/src/main/java/org/apache/spark/launcher位置的.jar文件，后者拥有所有的java文件，如Main.java。
此外，在$CLASSPATH和$SPARK_CLASSPATH中什么也没有。我以前在Linux和Mac中安装了Spark，没有遇到这个问题。有人能告诉我这里有什么问题吗？可能我需要指定类路径或一些环境变量来指向包含所
浏览 1提问于2015-08-27得票数 3
回答已采纳
1回答
我在Cloudera纱线上使用Spark1.5上的PySpark，在Centos 6机器上使用Python3.3。Server实例为SQLServerEnterprise64bit。下面列出了Server驱动程序；sqljdbc4.jar；我已将其添加到我的.bashrc中
export SPARK_CLASSPATH="/var/lib/spark/sqljdbc4.jar"
export PYSPARK_SUBMIT_ARGS="--conf spark.executor.extraClassPath="/var/lib/spark/sqljdbc4.jar
浏览 3提问于2016-02-26得票数 12
回答已采纳
我对斯派克和库伯内特斯的世界很陌生。我使用官方的Spark3.0.1与Hadoop3.2捆绑在一起，使用docker tool.sh实用工具构建了一个火花对接器映像。
我还为木星笔记本创建了另一个对接图像，并试图在客户端模式下运行在Kubernetes上的火花。我首先运行我的木星笔记本作为一个吊舱，做一个端口前进使用kubectl和访问笔记本用户界面从我的系统在本地主机:8888。一切似乎都很顺利。我能够成功地从笔记本上运行命令。
现在，我正在尝试使用Gen2从我的笔记本上访问Azure数据湖。我正在设置星火上下文如下。
from pyspark import SparkContext, Sp
浏览 0提问于2021-03-01得票数 4
回答已采纳
我正在尝试从Netezza加载数据到AWS。我想在启动操作中添加spark.executor.extraClassPath和spark.driver.extraClassPath中的火花-defaults.conf。请在下面找到updconf.sh(引导动作)
#!/bin/bash
sudo aws s3 cp s3://my-bucket/nzjdbc.jar /usr/lib/sqoop/lib/ --sse aws:kms --sse-kms-key-id 'xxxxxxxxxxxxxxxxxxxxxx'
echo "updating spark-default
浏览 0提问于2017-07-04得票数 2
1回答
我想按照这个的方法将我的pyspark保存到点燃缓存中，但是发生了一些错误。错误信息是：
Traceback (most recent call last):
File "test_ignite.py", line 19, in <module>
.option("config", configFile) \
File "/home/hdoop/.local/lib/python3.6/site-packages/pyspark/sql/readwriter.py", line 738, in save
sel
浏览 8提问于2022-02-09得票数 -1
更新：已解决此问题。这是URL中的一个错误。
--
我正在尝试使用Windows101909上的pyspark读取来自Netezza的数据。
我可以用DbVisualizer阅读，没问题。然后我尝试运行pyspark --driver-class-path <path to nzjdbc.jar> --jars <path to nzjdbc.jar> --master local[*] (相同的机器、VPN连接、JDBC等等)。
我使用了这段代码，这段代码来自于pyspark外壳：
dataframe = spark.read.format("jdbc"
浏览 4提问于2020-10-15得票数 0
回答已采纳
我正在尝试将我的springboot应用程序连接到我的netezza数据库，但没有成功。我正在尝试使用该教程，网址为：
我用我的netezza数据库url替换了spring.datasource.url，但没有成功。请问如何连接netezza？
浏览 0提问于2018-06-25得票数 1
1回答
我目前有以下Python代码，可以将本地SQL Server数据库中的表读入Pandas：
import pandas as pd
import pyodbc
# Connect to DB
server = 'server'
db = 'db'
conn = pyodbc.connect('DRIVER={SQL SERVER}; SERVER=' + server + '; DATABASE=' + db + '; TRUSTED_CONNECTION=yes')
cursor = conn.cursor(
浏览 0提问于2017-11-28得票数 3
3回答
我希望从sql服务器导入一个表，以便使用JDBC驱动程序来激发本地数据，并在其之上运行spark。我下载了sql server的sqljdbc，并将这一行添加到conf目录中的闪烁-env.sh：
SPARK_CLASSPATH= "C:/Program Files/Microsoft SQL Server/sqljdbc_4.0/enu/sqljdbc4.jar" ./bin/spark-shell
正如所建议的
并使用这一行加载数据。
df = sqlContext.load(source="jdbc", url="jdbc:sqlserver:dd
浏览 5提问于2015-08-19得票数 5
1回答
方法在火花中不支持
、、、
首先，我启动节约服务器的火花。/sbin/start-thriftserver.sh和deamon已经启动。
hadoop 13015 1 99 13:52 pts/1 00:00:09 /usr/lib/jvm/jre-1.7.0-openjdk.x86_64/bin/java -cp /home/hadoop/spark/lib/hive-jdbc-0.13.0.jar:/home/hadoop/spark-1.4.1-bin-hadoop2.6/sbin/../conf/:/home/hadoop/spark-1.4.1-bin-hadoop2.6/lib/spark-
浏览 3提问于2015-08-25得票数 3
我在Amazon EMR上启动了我的基于spark的hiveserver2，它有一个额外的类路径依赖。由于Amazon EMR中的此错误：
我的类路径不能通过"--driver-class-path“选项提交
所以我必须修改/etc/spark/conf/spark-env.conf来添加额外的类路径：
# Add Hadoop libraries to Spark classpath
SPARK_CLASSPATH="${SPARK_CLASSPATH}:${HADOOP_HOME}/*:${HADOOP_HOME}/../hadoop-hdfs/*:${HADOOP_HO
浏览 0提问于2015-09-30得票数 2
我正在尝试连接到本地托管的mysql数据库。我尝试了两个系统-R和Python。
这是我的套装.profile的屏幕截图
和.bash_profile
以下是我所做的：
试着将火花放电连接到本地mysql，我得到了错误，请参见下面的跟踪错误。
Py4JJavaError跟踪(最近调用) in () 5 sparkClassPath = os.getenv('SPARK_CLASSPATH‘)，'/Users/me/mysql-connector-java-8.0.11/mysql-connector-java-8.0.11.jar') 6 sql
浏览 0提问于2018-05-17得票数 0
4回答
我使用python压缩了一个文件，并将它放在我的hdfs存储中。我现在正试着像这样读它，但是我得到了下面的回溯。我找不到一个如何读取文件的例子，所以我可以处理它。我可以读取文本文件(未压缩)版本很好。我应该使用sc.sequenceFile吗？谢谢!
I first compressed the file and pushed it to hdfs
python-snappy -m snappy -c gene_regions.vcf gene_regions.vcf.snappy
hdfs dfs -put gene_regions.vcf.snappy /
I then added t
浏览 2提问于2015-04-25得票数 6
回答已采纳
我是Ruby的新手，我正在使用RUBYDEVKIT 2.1和ANSICON 1.6 (我得到了一个适用于我工作场所的安装指南)。我试过用谷歌搜索这个话题，但我似乎找不到一种只使用Ruby就能连接到Netezza的方法。
我能找到的一些帖子说使用activerecord-netezza-adapter，但是执行'gem install activerecord-netezza-adapter‘告诉我没有找到有效的gem，而且我不知道在我的工作场所是否可以使用JRuby。
有什么想法吗？
浏览 1提问于2016-03-02得票数 0
2回答
随着新的spark 1.3的发布，我很高兴尝试JDBC函数(在Python中)。但是，我认为，在我遇到错误的时候，帮助不是可选的：
以下是我所做的：
我从scala下面典型的火花外壳开始
SPARK_CLASSPATH=/jdbc_path/some-jdbc-driver.jar箱/火花壳
结果显示在信息中:使用--driver-class-path (我跟着)
在PySpark排斥中，相关的包是导入的，我使用
df2 = sqlCtx.load("jdbc“、df2 driver="com.asterdata.ncluster.Driver”、dbtable=
浏览 1提问于2015-03-24得票数 0
2回答
我正在学习PySpark，并编写了一个简单的脚本，该脚本从我的HDFS目录中加载一些JSON文件，将每个JSON文件作为python字典加载(使用json.loads() )，然后为每个对象提取一些字段。
相关信息存储在中，我希望将这些数据插入到MySQL表中(我是在本地创建的)。
但是，当我运行这个时，我的连接URL会出现一个错误。
上面写着"java.lang.RuntimeException: 1.5失败：。“
在这一点上：
jdbc:mysql://localhost:3306/bigdata?user=root&password=pwd
^
数据库名为"
浏览 3提问于2017-05-02得票数 0
回答已采纳
我一直试图简单地使用Spark2.4.0在Kubernetes上运行SparkPi示例，它的行为似乎与文档中的完全不同。
我跟踪了。我用docker-image-tool.sh脚本构建了一个普通的码头映像。把它加到我的注册表里。
我使用这样的命令从我的spark文件夹中启动作业：
bin/spark-submit \
--master k8s://https://<k8s-apiserver-host>:<k8s-apiserver-port> \
--deploy-mode cluster \
--name spark-pi \
--c
浏览 0提问于2019-01-16得票数 8
我有以下简单代码，用于将表从Postgres数据库加载到RDD中。
# this setup is just for spark-submit, will be ignored in pyspark
from pyspark import SparkConf, SparkContext
from pyspark.sql import SQLContext
conf = SparkConf().setAppName("GA")#.setMaster("localhost")
sc = SparkContext(conf=conf)
sqlContext = SQL
浏览 4提问于2017-02-16得票数 0
各位-
我是一个完整的星火新手，在过去的一天里一直在尝试让下面的代码在spark-shell中工作。我花时间审阅了文档，并试图在谷歌上搜索这个问题，但我已经没有想法了。
代码如下：
import spark.implicits._
val opts = Map(
"url" -> "jdbc:netezza://netezza:5480/test_schema",
"user" -> "user",
"password" -> "password",
浏览 20提问于2017-01-10得票数 1
回答已采纳
我使用了一个独立的spark集群，一个master和2个worker。我真的不明白如何明智地使用SPARK_CLASSPATH或SparkContext.addJar。我两个都试过了，看起来addJar并不像我以前相信的那样工作。
在我的例子中，我尝试在闭包中或外部使用一些joda-time函数。如果我用到joda-time jar的路径来设置SPARK_CLASSPATH，一切都会正常工作。但是如果我删除SPARK_CLASSPATH并添加到我的程序中：
JavaSparkContext sc = new JavaSparkContext("spark://localhost:707
浏览 0提问于2014-03-17得票数 6
回答已采纳
好的，我知道我可以使用jdbc连接器使用以下命令创建DataFrame：
val jdbcDF = sqlContext.load("jdbc",
Map("url" -> "jdbc:mysql://localhost:3306/video_rcmd?user=root&password=123456",
"dbtable" -> "video"))
但是我得到了一个错误：java.sql.SQLException: No suitable driver found for ...
我尝试使
浏览 3提问于2015-03-22得票数 0
回答已采纳
我正在尝试通过Dbeaver连接到Netteza数据库。我有.jar文件，但是当我试图连接时，我会得到以下错误。
没有找到适合jdbc:netezza://...*:5480/DM_BEM的驱动程序
我正在使用MacBook pro。请帮助我在哪里可以找到正确的jdbc驱动程序或任何其他方式的连接。
浏览 1提问于2020-09-24得票数 0
我在elephas下面的keras中使用了pyspark。
我想尝试使用mongoDB GridFS的分布式图像处理。
我已经找到了相关的问题，但在Java世界中，关于Scala
但仅此而已，我找不到任何其他文档如何使用来自pySpark的pySpark。
我的电火花-蒙戈代码看起来是这样的：
sparkConf = SparkConf().setMaster("local[4]").setAppName("MongoSparkConnectorTour")\
.set(
浏览 3提问于2019-10-16得票数 1
回答已采纳
我刚开始学习Spark，我试图复制SparkPi示例，将代码复制到一个新项目中并构建一个jar。SparkPi的来源是：
我有一个工作的纱线集群(运行CDH5.0.1)，我已经上传了火花组装jar并在SPARK_JAR中设置了它的hdfs位置。
如果我运行此命令，则该示例工作如下：
$ SPARK_CLASSPATH=/usr/lib/spark/examples/lib/spark-examples_2.10-0.9.0-cdh5.0.1.jar /usr/lib/spark/bin/spark-class org.apache.spark.examples.SparkPi yarn-cli
浏览 1提问于2014-05-31得票数 1
回答已采纳
在卡桑德拉身上运行spark得到TTransportException。有没有人能告诉我，要通过spark访问cassandra db需要做什么配置？
我在.bashrc & conf/spark-env.sh文件中设置了以下变量：
export SCALA_HOME=/opt/scala-2.10.3
export SCALA_LIBRARY_PATH=/opt/scala-2.10.3/lib
export MAVEN_OPTS="-Xmx1300M -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
浏览 4提问于2014-03-21得票数 4
问题：
我试图使用Spark1.6.1和PredictionIO 0.9.5来训练一个预测IO项目，但是在执行者开始工作后，这个任务立即失败了。这既发生在一个独立星体集群中，也发生在一个Mesos集群中。在这两种情况下，我都是从远程客户端部署到集群，即运行pio train -- --master [master on some other server]。
症状：
在驱动程序日志中，在第一条[Stage 0:> (0 + 0) / 2]消息之后不久，执行程序就会因为java.lang.NoClassDefFoundError: Could not initialize cla
浏览 1提问于2016-05-11得票数 3
回答已采纳
2回答
我是星火的新手。我能够启动、管理和关闭亚马逊EC2上的星火集群。
但我无法在集群上添加以下职务。
package spark.examples
import spark.SparkContext
import SparkContext._
object SimpleJob {
def main(args: Array[String]) {
val logFile = "< Amazon S3 file url>"
val sc = new SparkContext(
"spark://<Host Name>:
浏览 2提问于2013-09-08得票数 1
回答已采纳
我正在尝试将PostgreSQL数据库链接到scala/spark项目。
我写了build.sbt
name := "Hermes"
version := "1.0"
scalaVersion := "2.10.6"
libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-sql" % "2.2.0",
"org.apache.spark" %% "spark-core" % "2.0.1&#
浏览 0提问于2017-08-17得票数 1
回答已采纳
我安装了BO XI 3.1 Client Suite**。
我开始创建一个宇宙，但首先我需要创建到数据库的连接。
在本例中，它是一个Netezza DB，我通过JDBC连接。我已经输入了详细信息，但当我尝试测试连接时，我得到了以下错误：
DBD: No suitable driver
我的C:\驱动器上有netezza jdbc驱动程序jar。如何将业务对象从全局指向驱动程序的类路径？
浏览 3提问于2013-02-28得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
