我的spark代码在计算每个组织的员工时有什么错误？

文章/答案/技术大牛

发布

1回答

apache-spark

我正在用spark-scala做一些基本的处理现在我正在尝试下面的

浏览 3提问于2017-02-18得票数 0

回答已采纳

3回答

使用不带连接的单个GroupBy的最高工资

sql、apache-spark-sql

员工架构要解决的查询:在没有连接的情况下，查找每个组织中具有最大工资的员工姓名。EMP.ORGANIZATIONID) MAXSALARYAND E.ORGANIZATIONID=EMP.ORGANIZATIONID ; 有什么方法可以避免连接吗我使用的<

浏览 22提问于2018-06-10得票数 0

回答已采纳

1回答

组织员工的PKI工件(pub/priv密钥和证书)存储在哪里？

pki

一个组织的员工参与了一个网络。它们发送的每个事务都需要根据它们的私钥进行签名，并将在它们发送的事务中进行编码。谢谢!

浏览 20提问于2018-08-16得票数 0

回答已采纳

1回答

Django:多个管理页面使用相同的模型但不同的身份验证模式

django、django-rest-framework

我正在尝试建立一个Django站点，它能够支持多个组织。每个组织将有自己的员工和管理员，每个员工只能登录到其组织的管理页面，并从与他们相同组织的员工处录入CRUD数据。到目前为止，我在创建扩展AdminSite的多个管理页面时没有遇到任何问题。但我不知道如何将管理员/员工帐户分配给他

浏览 12提问于2018-08-05得票数 2

回答已采纳

1回答

为什么这个扳机不好？

sql、database、oracle、oracle11g、triggers

我的老师说，下面的触发器不是解决方案，但我没有理解，所以他给我们提供了另一个解决方案，使用行级触发器和包(因为突变)。谢谢!

浏览 0提问于2018-01-05得票数 1

回答已采纳

1回答

Spark execution - spark执行作业和spark操作之间的关系

apache-spark

我有一个关于火花执行的问题。我的问题是哪一个是正确的-一个作业集合对应于一个动作，还是每个作业对应一个动作。这里的job是指可以在Spark execution UI中看到的作业。谢谢。

浏览 1提问于2019-10-30得票数 1

1回答

Scala Spark* -从简单数据帧创建嵌套的json输出*

json、apache-spark、apache-spark-sql、spark-dataframe

谢谢你的回复。但我面临的问题是在将这些结构写入嵌套的json时。不知怎么的，“tojson”不起作用，只是跳过嵌套的字段，结果总是变成一个平面结构。如何将嵌套的json格式写入HDFS？

浏览 1提问于2016-07-04得票数 5

1回答

如何计算单个方法中包装的pyspark转换？

apache-spark、pyspark、spark-dataframe

我正在尝试组织一些数据转换，这些转换是在pyspark中执行的。我有类似下面的代码。file.csv', header='true')我如何才能以这种方式重新组织代码我尝试像在注释

浏览 0提问于2018-05-02得票数 1

1回答

前雇员为顾问

audit

我需要你的帮助来澄清人力资源的因素。问题陈述(S)如下曾经是员工转职顾问的人能收到公司电子邮件吗？或者他能用自己的？如果是后者，那么在这种情况下如何保证数据的安全性呢？寻找有价值的建议。

浏览 0提问于2022-06-16得票数 1

2回答

JPA:如何在不加载延迟加载集的情况下对子记录进行计数

java、spring、jakarta-ee、jpa、jpa-2.0

我正在编写一个J2EE/ JPA /Spring3应用程序，试图保持纯JPA2.0。我希望在不加载子对象的情况下获得它们的计数，因为这显然是一个开销很大的操作。table)在jsp页面上，我想要显示所有组织的列表和员工数量的计数，而不是加载员工本身。如果它可以是加载所有Organisation对象并以某种方式加

浏览 0提问于2012-07-27得票数 3

回答已采纳

1回答

火花配置:内存/实例/核心

apache-spark

最近我发现自己有点困惑于不同的火花设置-- spark.executor.memory，SPARK_WORKER_MEMORY，SPARK_MEM，SPARK_MASTER_MEMORY，以及与SPARK_WORKER_INSTANCES和SPARK_WORKER_CORES的关系。我发现了这篇文章，但它没有讨论SPARK_MASTER_MEMORY

浏览 1提问于2014-10-30得票数 9

回答已采纳

1回答

Spark Shuffle之所以发生，是因为Spark需要跨阶段传输数据

apache-spark

Spark文档:在spark中，数据通常不会跨分区分布到特定操作所需的位置。在计算期间，单个任务将在单个分区上操作-因此，要组织单个reduceByKey reduce任务执行的所有数据，Spark需要执行all- to -all操作。它必须从所有分区中读取以找到所有键的所有值，然后将跨分区的值聚合在一起，以计算每个键的最终结果-这称为无序排列。

浏览 1提问于2020-06-04得票数 0

1回答

当许多用户读取相同的集合时，如何减少Fi还原文档的读取

firebase、google-cloud-firestore、google-cloud-functions

，这是我们的问题：我们目前正在考虑两种不同的方法来存储和管理员工：在每个组织下保持员工的分组。在这个模型中，每个员工都将是自己的文档。这种方法的</e

浏览 4提问于2020-04-16得票数 0

回答已采纳

1回答

简单的电子邮件发送

smtp、mail-forwarding

是否有一个处理smtp的程序只有一个功能:从一个电子邮件地址发送电子邮件到另一个电子邮件地址？我知道这可以通过使用sendmail的virtusertable来完成。我真正想要的是一个没有sendmail的virtusertable，因为这个服务器所做的唯一事情就是转发邮件。我有一种强烈的感觉，有人会问：“为什么！？”所以我会回答..。我在一家公司工作，每个<e

浏览 0提问于2014-01-17得票数 1

2回答

无法在EC2集群上添加火花作业

amazon-ec2、apache-spark

我是星火的新手。我能够启动、管理和关闭亚马逊EC2上的星火集群。import SparkContext._ ./spa

浏览 2提问于2013-09-08得票数 1

回答已采纳

5回答

火花缓存与广播

caching、apache-spark

看起来，广播方法在我的集群中创建了RDD的分布式副本。另一方面，cache()方法的执行只是在内存中加载数据。但是我不明白缓存的RDD是如何分布在集群中的。你能告诉我在什么情况下我应该使用rdd.cache()和rdd.broadcast()方法吗？

浏览 8提问于2016-06-27得票数 27

回答已采纳

2回答

如何解析这些SQL表

sql、sql-server、entity-relationship

好吧，所以-我有三张桌子。项目组织联系需要能够为两个项目分配联系

浏览 6提问于2016-08-25得票数 0

回答已采纳

2回答

如何配置yarn集群实现应用程序的并行执行？

bigdata、cluster-computing、admin、hadoop-yarn、hadoop2

当我在yarn集群上运行spark作业时，应用程序在队列中运行。那么，如何在多个应用程序中并行运行呢？

浏览 0提问于2018-08-31得票数 0

1回答

A机构加入组织B域后计算机的影响

windows、domain

我们是一家小公司，我们的一些员工在parter组织工作，我们具体做的事情对这个问题并不重要。由于这对我们来说都是新的，如果我们允许我们的计算机加入外部域，会产生什么影响？

浏览 0提问于2022-06-15得票数 0

1回答

如何分组度量值和使列表源名称

pivot、union、tableau-api、crosstab、rosters

我是新来的！我希望这是一个简单的答案。提前感谢！从2015年到2020年，我从6个表格开始，列出了每年年初所有在职员工的名单。然后，我有一个员工列表和雇用的日期；所以所有的员工都增加了。对于终止，我也有同样的

浏览 0提问于2020-10-29得票数 1

回答已采纳

点击加载更多