Spark ML管道导致java.lang.Exception:无法编译...代码...超过64 KB
Spark ML管道是Apache Spark中的一个机器学习库，用于构建和部署机器学习流水线。它提供了一种方便的方式来组织、配置和执行机器学习任务。
在使用Spark ML管道时，有时可能会遇到"java.lang.Exception:无法编译...代码...超过64 KB"的错误。这个错误通常是由于管道中的代码量过大导致的。
解决这个问题的方法有以下几种：
- 减少代码量：检查管道中的代码，尝试减少不必要的代码行数，例如通过删除冗余的特征工程步骤或模型参数调整步骤来减少代码量。
- 分割管道：将管道拆分为多个较小的管道，每个管道只包含必要的步骤。这样可以避免单个管道中的代码量过大。
- 使用特征选择：考虑使用特征选择算法来减少输入特征的数量。这样可以减少管道中的代码量，并且可能提高模型的性能。
- 使用分布式计算：如果可能的话，可以考虑将计算任务分布到多个节点上进行并行处理。这样可以减少单个节点上的代码量，并提高计算效率。
腾讯云提供了一系列与机器学习相关的产品和服务，可以帮助解决这个问题。以下是一些推荐的产品和产品介绍链接：
- 腾讯云机器学习平台（https://cloud.tencent.com/product/tiia）：提供了一站式的机器学习开发和部署平台，可以帮助用户快速构建和训练机器学习模型。
- 腾讯云弹性MapReduce（https://cloud.tencent.com/product/emr）：提供了大数据处理和分析的解决方案，可以支持分布式计算和处理大规模数据。
请注意，以上推荐的产品和链接仅供参考，具体选择应根据实际需求和情况进行。
相关·内容
使用Spark2.0，我尝试在pyspark ML管道中运行一个简单的VectorAssembler，如下所示：java.util.concurrent.ExecutionException: java.lang.Exception$SpecificOrdering"
grows beyond 6
浏览 5提问于2016-08-18得票数 5
我的火花-提交->
spark-submit --master spark://192.168.60.20:7077 --num-executors 4 --executor-cores 5 --executor-memory10G --driver-cores 5 --driver-memory 25G --conf spark.sql.shuffle.partitions=60 --conf spark.driver.maxResultSize$GeneratedIteratorForCode
浏览 7提问于2018-06-17得票数 18
在线使用Spring3.0.6示例，但是DispatcherServlet的基本加载似乎导致了Weblogic的问题。
浏览 2提问于2011-11-07得票数 0
1回答
星星之火:读取数据时出错
、、、
我正在尝试阅读我创建的星火DataFrame的第一行，如下所示：datasetDF = sqlContext.read.format('com.databricks.spark.csvtestSetDF = split20DF.cache()但是，如果运行此代码failure:
Lost task 0.3 in stage 3.0 (TID 7, 192.168.101.102): jav
浏览 1提问于2016-09-08得票数 0
我正在做一些使用asp.net中的app_offline.htm功能部署应用程序的测试。我发现，如果我有一个可以工作的应用程序，并且我将一个app_offline.htm文件放在根目录中，然后重命名\bin文件夹，我的app_offline.htm文件就不会显示出来。如果我将bin文件夹重命名为"bin"，我的app_offline.htm文件将按预期显示。我曾假设/认为app_offline的存在会取代happens...am我弄错的任何其他东西？这是在Windows 7/IIS 7.5上。
浏览 0提问于2009-08-19得票数 5
假设以下简单代码：#include <unistd.h>{
int fd[2];既然管道写入是阻塞操作，那么为了提高效率，内核不是什么都不做，而是等待读取器直接将数据传递给它吗？
浏览 5提问于2015-10-15得票数 8
回答已采纳
1回答
我对netbeans有问题。请帮助，错误是private void initComponents() {
Note: Recompile with -Xlint:deprecation for details.
浏览 2提问于2014-08-10得票数 0
1回答
无法加载引用库的“路径到-DotNetNuke\bin\file.dll”：进程无法访问该文件，因为它正在被其他进程使用。
该错误发生在我编译解决方案和使用脚本将所有项目的dll复制到/bin之后。Visual不允许我重新编译，但是如果我重新启动它，一切正常。在重新编译和测试整个解决
浏览 2提问于2009-02-07得票数 3
我用python写了一个爬虫代码，但它经常导致oom杀手，oom杀手使linux冻结，我无法通过ssh连接到os。我还写了一个脚本来保护内存，如果内存[9132.468713] lowmem_reserve[]: 0 0 0 0
[9132.468883]DMA: 0.4kB 1.8kB 1*16<e
浏览 3提问于2012-04-16得票数 0
我将2500的名字保存在数组.But中，我得到了错误代码，增加了.So的大小，它没有运行..Can，你能告诉我如何解决这个错误吗？由于限制，我只显示了几个元素。
浏览 1提问于2014-01-31得票数 0
我有一个对象，它使用了超过2G的虚拟内存，但Delphi只管理了2G，我正在考虑制作一些对象，将它们分组，并使用windows wow64方法，一些方法和使用64位窗口。或者只是将内存管理器升级到4 GB，并围绕Int64构建它。实际上，我需要使用TStream作为基本对象，并使用Int64，而不是整数。
浏览 4提问于2010-07-07得票数 4
/mmlspark.zip 测试代码 from sklearn import datasetsX = iris.data 61 def deco(*a, **kw):---> 63 return f(*a, **kw)
64at org.apache.spark.ml.param.Params$$anonfun$get
浏览 278提问于2020-07-29得票数 4
回答已采纳
> samplog1# ... with more rows
R代码如下ft_vector_assembler(idLogs, input_cols= c("latitude", "longitude"), output_col = &quo
浏览 0提问于2017-11-13得票数 1
回答已采纳
1回答
火花再分配问题
、、、、
大家好，我正在处理一个项目，在这个项目中，我将在Spark (2.4.4)和PySpark的帮助下，对数以百万计的数据记录运行ETL过程。因此，作为第一步，这段代码在s3桶中搜索，如果这些parquet文件存在，如果不存在，它将进入for循环并运行所有转换。
现在，让我们谈谈重点。我有这条管道，它与每个csv文件都能很好地工作，除了一个与其他文件相同的管道，除了在重新划分和转换后也要重得多(29 MB x 94部分vs 900 kB x 32部分)。The maximum recommended size
浏览 12提问于2022-07-26得票数 1
我们有一个具有8 GB内存、64位、OpenJDK1.8的CentOS 6VM。我们正在尝试使用-Xmx6000M运行一个Java程序。它只是从内存不足的错误开始崩溃：它只是执行几行代码因此，我无法了解它是如何导致崩溃的，即使JVM没有达到1GB的堆，以及如何减少Xmx解决它呢？
我知道如果OS不能提供所需的内存，JVM可以使用OOM崩溃，但是这
浏览 1提问于2019-09-05得票数 0
回答已采纳
在这个版本中，我可以将ocaml与C代码接口，它工作得很好，但只要我尝试在C代码中包含一个外部库，我就会收到来自链接器错误，在本例中是flexdll ()。链接器说它无法在整个库中解析_Unwind_Resume和__emutls_get_address的符号。/cdeg/ogdf/_release \tc.o t.ml \+ x86_64-w64-mingw32-as -o "t.o"
浏览 4提问于2017-03-08得票数 1
start-slave.sh <master-uri> -c 8# Loading wiki dumps files.fl = Tokenizer(inputCol="raw_sentence", outputCol="words")
浏览 2提问于2017-09-08得票数 0
回答已采纳
最近我在编译jsp页面时，从编译器那里得到了一个异常，
org.apache.jasper.JasperException: Unable to compile class for JSP:
浏览 2提问于2012-01-04得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
