开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >我不明白为什么scala spark的jupyter内核一直被中断

问我不明白为什么scala spark的jupyter内核一直被中断
EN

Stack Overflow用户

提问于 2020-06-08 23:35:58

回答 1查看 251关注 0票数 0

我曾经干净利落地安装了spylon内核，应该是在升级到干净的18.04版本之后。我正在努力让spylon内核正常工作。屏幕截图基本上是在启动时退出spark shell，正如您可以看到的"scala> :quit“，并且这种情况不断发生，无限地重复发生。

我尝试过pip安装，也尝试过conda安装spylon内核，但它根本不起作用。下面是kernel.json文件的内容。

    {
     "display_name": "sparky",
     "language": "scala",
     "argv": [
      "/home/ops/Documents/spark-3.0.0-preview2-bin-hadoop2.7/bin/spark-shell",
      "{connection_file}"
     ],
     "env": {
      "SPARK_HOME": "/home/ops/Documents/spark-3.0.0-preview2-bin-hadoop2.7/"
     }
    }

ops@ops-XPS-15-9560:~/.ipython/kernels$ jupyter kernelspec list
Available kernels:
  python2          /home/ops/.local/share/jupyter/kernels/python2
  python3          /home/ops/.local/share/jupyter/kernels/python3
  spylon_kernel    /home/ops/.local/share/jupyter/kernels/spylon_kernel
ops@ops-XPS-15-9560:~/.ipython/kernels$

所以安装也很好，spark-shell本身也运行得很好

jupyter-notebook

EN

回答 1

Stack Overflow用户

发布于 2020-06-09 17:42:53

使用python3完成anaconda的完整安装，并使用pip完成安装。

票数 0

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/62272794

复制

相关文章

手把手教你在本机安装spark

spark 开源 python hadoop

最近由于一直work from home节省了很多上下班路上的时间，加上今天的LeetCode的文章篇幅较小，所以抽出了点时间加更了一篇，和大家分享一下最近在学习的spark相关的内容。看在我这么拼的份上，求各位老爷赏个转发。。。

TechFlow-承志

2020/04/14

4.4K0

Spark 编程入门

编程算法 scala 缓存 shell

以下为Mac系统上单机版Spark练习编程环境的配置方法。注意：仅配置练习环境无需安装Hadoop，无需安装Scala。

double

2019/07/17

1.4K0

Spark内核详解 (1) | Spark内核的简要概述

spark 任务调度 yarn node.js

包括 Spark 核心组件的运行机制、Spark 任务调度机制、Spark 内存管理机制、Spark 核心功能的运行原理等

不温卜火

2020/10/28

9570

Spark内核详解 (1) | Spark内核的简要概述

spark scala练习

spark scala练习准备一个文件上传至hdfs hello word hello java hello python hello c++ 启动spark-shell spark-shell 获取到要计算的文件 val file = spark.read.textFile("test.txt") 统计该文件的行数 file.count() 获取第一行的内容 file.first() 获取到特定的内容 val lines = file.filter(line => line.contains

许喜朝

2020/12/01

3190

Spark scala 操作

filter map sample

基本操作创建RDD var data = Array(1,2,3,4) //数组 var distData = sc.parallelize(data,3) //创建RDD distData.collect //收集展示 distData.take(1) //取出第一行/数组中一个数据占一行 2.读取文件数据 var distFile = sc.textFile("data.txt")//按行读 distFile.take(1) //取出一行数据 //也可以同时读取多个文件，相当于多个文件拼接

Tim在路上

2020/08/04

5900

Spark入门系列（二）| 1小时学会RDD编程

spark 开源编程算法 scala

https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 2，下载spark并解压

AI科技大本营

2019/07/19

8500

Spark入门系列（二）| 1小时学会RDD编程

Linux内核硬中断 / 软中断的原理和实现

智能推荐平台

从本质上来讲，中断是一种电信号，当设备有某种事件发生时，它就会产生中断，通过总线把电信号发送给中断控制器。

秃头哥编程

2019/10/09

22.8K1

Linux内核硬中断 / 软中断的原理和实现

为什么我的进程被kill掉了

这段代码非常简单，就是先用mmap的方式，为该进程分配10GiB的虚拟内存，然后再用page写的方式，让操作系统为这10GiB虚拟内存，分配对应的物理内存，最后sleep，等待我们测试。

KINGYT

2021/08/09

2.4K0

为什么我的进程被kill掉了

这段代码非常简单，就是先用mmap的方式，为该进程分配10GiB的虚拟内存，然后再用page写的方式，让操作系统为这10GiB虚拟内存，分配对应的物理内存，最后sleep，等待我们测试。

Linux阅码场

2021/04/22

2.7K0

内核中断子系统介绍

api arm 编程算法单片机

很多人在学习中断子系统的过程中，在对基本概念与整体不太了解的情况下，过早的陷入了各种架构的实现细节，如同盲人摸象。这里主要给大家明确中断的各个基本概念，希望从这个角度能让大家更好的理解中断子系统。

刘盼

2022/04/26

1.3K0

linux内核缺页中断处理

编程算法 c++linux 单片机

现代处理器大部分都有MMU，除了一些小型嵌入式设备。MMU可以做虚拟地址到物理地址的转换，使用MMU我们就可以使用更多的内存空间，因为程序具有局部性原理，我们可以将暂时用不到的数据存放到磁盘，当访问到时会发生缺页中断，从磁盘中将所需要的数据加载到内存。所以我们可以通过mmu运行程序大小大于内存的程序和打开大于内存的文件。现代处理器通过分段分页机制实现虚拟地址到物理地址转换一般支持二级页表或四级页表。

用户4415180

2022/06/23

10.8K0

Scala--spark必备

scala java spark

Scala 是 Scalable Language 的简写，是一门多范式的编程语言。

程序员爱酸奶

2020/03/04

4490

Spark Scala当中reduceByKey的用法

/*reduceByKey(function) reduceByKey就是对元素为KV对的RDD中Key相同的元素的Value进行function的reduce操作(如前所述)，因此，Key相同的多个元素的值被reduce为一个值，然后与原RDD中的Key组成一个新的KV对。

马克java社区

2019/07/20

1.9K0

Spark Scala当中reduceByKey的用法

Jupyter Notebook 安装 PHP 内核

php composer jupyter 服务内核

https://litipk.github.io/Jupyter-PHP-Installer/

崔哥

2023/05/20

5010

Jupyter Notebook 安装 GO 内核

go jupyter 测试服务内核

https://github.com/janpfeifer/gonb#linux-and-mac-installation

崔哥

2023/05/19

8760

Jupyter Notebook 安装 GO 内核

一直不明白，程序员为何老加班！

今天说好的需求这样做，亲自找到他跟他确认，然后过几天，他又反悔了。说自己从没说过，要另外的实现方式。

AI科技大本营

2018/08/03

4550

一直不明白，程序员为何老加班！

Linux内核21-Linux内核的中断处理过程

api 单片机数据结构 linux

如前所述，我们知道异常的处理还是比较简单的，就是给相关的进程发送信号，而且不存在进程调度的问题，所以内核很快就处理完了异常。

Tupelo

2022/08/15

2.5K0

Linux内核21-Linux内核的中断处理过程

如何在非安全的CDH集群中部署Jupyter并集成Spark2

Jupyter Notebook是一个Web应用程序，允许你创建和分享，包含实时的代码，可视化和解释性文字。常用于数据的清洗和转换、数值模拟、统计建模、机器学习和更多，支持40多种语言。python ，R，go，scala等。Jupyter Notebook是Python中的一个包，在Fayson前面的文章《如何在CDH集群上部署Python3运行环境及运行Python作业》介绍了在集群中部署Anaconda，该Python环境自带了Jupyter的包。本篇文章Fayson主要介绍如何在非安全的CDH集群中部署Jupyter Notebook并与Spark2集成。

Fayson

2018/09/29

2.5K0

Linux内核笔记之中断映射

node.js 编程算法 kernel linux

在Linux 内核笔记之高层中断处理一文中，介绍了ARM gic中断控制器对于硬中断的处理过程。gic的中断处理程序是从ack一个硬件中断开始的，在gic的中断处理过程中，会根据中断的映射去寻找对应的虚拟中断号, 再去进行后续的中断处理。gic_handle_irq->handle_domain_irq

刘盼

2021/07/05

5.1K0

点击加载更多

相似问题

缺少Jupyter Scala内核

10

Spark使用Scala内核

11

程序中断，我不明白为什么

13

内核一直在使用jupyter (Anaconda)

34

带有Almond Scala内核的Jupyter Notebook出现错误

170

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例