1回答
我们在日常活动中使用spark。在处理过程中，我们希望从description列中提取基于正则表达式的地理信息。我们试图找出我们可以提取城市信息的正则表达式，这样我们最终得到了每个城市CA，NY等的数百个正则表达式。问题是，当规则增加时，执行时间开始增加，因此寻找可以以分
浏览 15提问于2020-02-05得票数 0
2回答
我有一个字段字符串foo，它必须满足四个条件：
是否可以包含具有不同:format值的多个:message验证规则？理想情况下，我希望所有
浏览 0提问于2012-03-27得票数 10
回答已采纳
我有一个项目，在这个项目中，我必须突出显示结构化PDF文档中的文本，并对其进行分类，这样我就可以对多个子字符串执行正则表达式，并给它们各自的变量适当的值。是否有一种方法可以将PDF提示到屏幕上，用户可以在屏幕上突出显示多个部分并将每个部分自动分类到一个字段中，然后我可以使用该字段创建正则表达式，而不必首先从pdf中提取文本，然后在所有不同的子字符串上手动执行正则表达式现在，我正在使用python中的
浏览 9提问于2022-01-22得票数 0
1回答
如何编写Spark命令以返回不区分大小写结果的字段？Sample_DF| name || Johnny|| ROBERT|+--------+spark.sql("select name from Sample_DF where status like '%Robert%'").show
浏览 4提问于2022-10-03得票数 0
回答已采纳
我对apache ignite和spark都是新手。在scala中，有没有人可以通过示例将ignite rdd转换为spark rdd？更新-使用案例:我将收到hbase表的数据帧..我将执行一些逻辑来构建报告，将其保存到ignite rdd中。将为每个表更新相同的ignite rdd ...一旦所有的表都被执行，最终的ignite rdd将被转换为spark或java rdd，最后的规则将在该rdd上执行...要运行该规则<
浏览 3提问于2016-09-26得票数 0
2回答
我在DataFrame中有3列：- time:TimeStamp，col1:Double，col2:Double我想执行以下操作：
dataFrame.withWatermark("time", "10
浏览 0提问于2017-08-30得票数 1
2回答
我最后一次使用正则表达式是在2年前，即使那时我也不认为它是最简单的东西！
谁能告诉我如何将这篇文章分成三组(数量，名称，价格)？我使用Objective-C，所以我可能会使用NSPredicate来执行表达式。
浏览 0提问于2010-10-18得票数 1
回答已采纳
1回答
我想使用Spark Core的多个字段对RDD执行group by操作
到目前为止，我能够连接两个不同的RDD，并按一列(date)对结果RDD进行分组，但我希望对多个键/字段执行group by操作，
浏览 0提问于2019-04-24得票数 0
2回答
我们有从多个源表读取数据并根据业务规则连接和应用映射的场景。在某些情况下，从几个表中读取的数据可以用于多个目标加载。那么，为了避免在运行不同的模块时多次读取相同的数据，有什么选择可以在不同的pyspark模块中使用相同的dataframe输出吗？df1 = spark.sql(select * from table1)
df_out = df1.join(df2, ['custome
浏览 0提问于2020-11-07得票数 0
日志记录(以下)表明，Spark重复计算同一个子查询的次数太多了，所以我试图挖掘，并通过分析Spark在查询上的工作来了解到底发生了什么。我尝试使用许多文章中的方法来分析星火优化阶段，以执行查询(例如Luca的，Rose的)。但我没有发现任何指南，重点分析星火分析器阶段，运行在优化阶段之前。还可以访问Spark的RuleExecutor，查看每个规则使用了多少时间&哪些规则无效：
spark_session.sparkContext.setLo
浏览 5提问于2022-02-16得票数 2
用例: A>在AWS s3 location B> Hive table上创建了文本Gzipped文件，以便以表C>的形式访问该文件中的数据，使用Spark读取表，并将表中包含两个分区列的字段转换为包含数据类型是字符串，除了两个字段以十进制作为数据类型外。使用以下火花选项：-执行器-内存37G -执行器-核心5-num-执行器20发现在AWS中使用的vCores数量总是等于文件的数量，可能是因为gzipGB文件来自
浏览 2提问于2017-08-26得票数 0
回答已采纳
当运行创建spark上下文的单元测试时，我得到一个java.lang.SecurityException。我知道原因是什么，但不确定如何追查如何解决它。这是共享具有不同签名者信息的相同包javax.servlet的多个依赖项。// Dependencies "org.apache.spark" % "spark-hive_2.10" % "1.6.2" % Prov
浏览 6提问于2017-12-12得票数 1
在重写规则中没有正则表达式时，设置GET变量没有问题。例如，当我执行sample.html?test=OK时，下面的工作原理如出一辙，sample.php中的test变量被设置为OK。RewriteRule ^sample.html sample.php [NC]我在这里读过多个问题，但没有回答这类问题。我看
浏览 3提问于2015-01-30得票数 1
回答已采纳
1回答
我想对多个“行”json字符串执行一些查询。",这就是我想做的：val df = spark.format(com.databricks.spark.avro) .as[String] .mkString
记得我有多个json文件，所以我有多个身体。从这里开始，我的目标是使用s
浏览 2提问于2019-04-10得票数 0
回答已采纳
我正在尝试执行下面的火花流示例代码。
at org.apache.spark.rdd.RDD.withScope(RDD.scala:358)
at org.apache.<em
浏览 2提问于2017-06-06得票数 0
回答已采纳
我的网站“受到攻击”：来自许多不同is的机器人正在用垃圾邮件内容填充表单。IP地址不能被过滤，它们总是不同的，所以我想通过QUERY_STRING进行过滤，以匹配这样的URI：规则：rewriterule.* - [F,L]
正则表达式看起来是正确的，但规则</em
浏览 0提问于2010-07-25得票数 1
回答已采纳
2回答
我有一个网形 (7.x-4)，它有两个选择列表，内容相同，如BD也就是说，如果他们检查A，当他们在第二个列表上检查A时，他们应该会得到一个错误。
做这件事的最好方法是什么？
浏览 0提问于2016-06-08得票数 1
回答已采纳
1回答
在火花流中，接收器被安排在工作节点上的执行器中运行。
如果不是所有工作人员都运行接收程序来接收流数据，那么其他工作节点将不会接收任何数据？
浏览 0提问于2015-05-26得票数 3
以下是我的想法：
在一个抽象/父控制器中，我编写了一个方法，它获取当前AnchorPane的所有子级并对它们进行迭代(假设在用户单击OK以提交表单之后)。所有具有验证规则的子方法都传递给另一个方法，该方法根据输入字段
浏览 1提问于2015-12-17得票数 1
回答已采纳
我们正试图为规则引擎提供一个在AWS中实现的设计。下面是对这种情况的解释。
我们正在AWS上构建一个数据湖，使用S3作为存储，具有不同的存储桶来表示数据丰富。例如，数据落入原始桶中。从中选择数据并进行数据标准化(有些标准化使布尔字段统一，如有值0或1，将所有数据格式列转换成一个非格式的标准，如dd/mm/yyyy :mi:ss，对某些列数据的裁剪空间等)。此外，作业应该足够灵活，以便将来如果在dynamoDB表中添加了新规则，则应该通过胶水作业来
浏览 0提问于2020-09-07得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
