展开

关键词

首页关键词ApacheSpark

ApacheSpark

相关内容

云服务器

云服务器

腾讯云服务器(CVM)为您提供安全可靠的弹性云计算服务。只需几分钟,您就可以在云端获取和启用云服务器,并实时扩展或缩减云计算资源。云服务器 支持按实际使用的资源计费,可以为您节约计算成本。
  • 如何使用MySQL和ApacheSPark?

    我想使用ApacheSPark和MySQL运行我现有的应用程序。
    来自:
    回答:5
  • 如何远程运行ApacheSPark shell?

    我有一个主集群和3个工人的Spark集群设置。我还在CentOS虚拟机上安装了Spark。我试图从本地虚拟机运行一个Spark shell,它将连接到主机,并允许我执行简单的Scala代码。所以,这里是我在本地虚拟机上运行的命令: binspark-shell --master spark:spark01:7077 shell运行到我可以输入Scala代码的地步。它说执行者已被授予(x3 - 每个工人一个)。如果我查看Master的UI,我可以看到一个正在运行的应用程序Spark shell。所有工作人员都很活跃,使用了22个内核,并且为应用程序分配了512 MB(5 GB内存)。所以,我尝试执行以下Scala代码: sc.parallelize(1 to 100).count 不幸的是,命令不起作用。shell将不停地打印相同的警告: INFO SparkContext: Starting job: count at :13INFO DAGScheduler: Got job 0 (count at :13) with 2 output partitions (allowLocal=false)INFO DAGScheduler: Final stage: Stage 0(count at :13) with 2 output partitions (allowLocal=false)INFO DAGScheduler: Parents of final stage: List()INFO DAGScheduler: Missing parents: List()INFO DAGScheduler: Submitting Stage 0 (Parallel CollectionRDD at parallelize at :13), which has no missing parentsINFO DAGScheduler: Submitting 2 missing tasts from Stage 0 (ParallelCollectionRDD at parallelize at :13)INFO TaskSchedulerImpl: Adding task set 0.0 with 2 tasksWARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memoryWARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memoryWARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory 在对这个问题进行研究后,我确认了我使用的主URL与Web UI上的一致。我可以ping和ssh两种方式(集群到本地VM,反之亦然)。此外,我玩过执行器 - 内存参数(增加和减少内存)都无济于事。最后,我尝试禁用双方的防火墙(iptables),但我一直得到相同的错误。我正在使用Spark 1.0.2。 我看了一下工人日志: ERROR org.apache.spark.deploy.worker.ExecutorRunner: Error running executorjava.io.IOException: Cannot run program usrbinspark-1.0.2bincompute-classpath.sh (in directory .): error=2, No such file or directory... Spark安装在本地VM上的另一个目录中,而不是安装在群集上。工作人员尝试查找的路径是本地虚拟机上的路径。有没有办法让我指定这个路径?或者他们必须到处都是一样的? 目前,我调整了我的目录以规避这个错误。现在,在我有机会输入count命令(Master removed our application: FAILED)之前,我的Spark Shell失败。所有都有同样的错误: ERROR akka.remote.EndpointWriter: AssociationError -> :Error ] Caused by: akka.remote.transport.netty.NettyTransport$$anonfun$associate$1$$annon2: Connection refused: spark02192.168.64.2:53633
    来自:
    回答:2
  • 广告
    关闭

    2021 V+全真互联网全球创新创业挑战赛

    百万资源,六大权益,启动全球招募

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到
  • 如何在Windows上设置Spark?

    我试图在Windows上设置ApacheSPark。 在搜索了一点之后,我了解到独立模式是我想要的。为了在windows中运行ApacheSequence,我下载了哪些二进制文件?
    来自:
    回答:2
  • 在星火中分区是如何工作的?

    我正试图了解ApacheSPark中是如何完成分区的。你们能帮忙吗? 以下是情况: 一个主节点和两个节点,每个节点有一个核心 档案count.txt10 MB大小 下面创建了几个分区?
    来自:
    回答:1
  • R并行编程实战

    《R并行编程实战》是一本构建大规模高效算法的综合性实用书籍,介绍各种并行技术,从R语言的并行版本lapply()的简单应用到基于Hadoop和ApacheSpark框架的不错AWS云。
    来自:
    浏览:192
  • ApacheSPark和ApacheApex有什么区别?

    Apache Apex - 是一个开源企业级统一流和批处理平台。它在GE Predix平台中用于物联网。这两个平台之间的主要区别是什么? 问题 从数据科学的角度来看,它与Spark有什么不同? Apache Apex是否提供类似Spark MLlib的功能?如果我们必须在Apache apex上构建可扩展的ML模型,请执行以下操作以及使用哪种语言? 数据科学家是否必须学习Java来构建可扩展的ML模型?它是否有python API,如pyspark? Apache Apex可以与Spark集成吗?我们可以在Apex之上使用Spark MLlib来构建ML模型吗?
    来自:
    回答:1
  • ApacheMahout和ApacheSPark的MLlib有什么区别?

    考虑一个products拥有10百万产品的MySQL 数据库用于电子商务网站。 我试图建立一个分类模块来对产品进行分类。我使用Apache Sqoop将数据从MySQL导入到Hadoop。 我想使用Mahout作为机器学习框架来使用其中的一种分类算法,然后我遇到了与MLlib一起提供的Spark 那么这两个框架有什么区别呢? 主要有哪些优点,各自的缺点和局限性?
    来自:
    回答:2
  • GPU 云服务器

    腾讯GPU 云服务器是提供 GPU 算力的弹性计算服务,具有超强的并行计算能力,作为 IaaS 层的尖兵利器,服务于深度学习训练、科学计算、图形图像处理、视频编解码等场景……
    来自:
  • FPGA 云服务器

    腾讯FPGA云服务器是基于FPGA硬件可编程加速的弹性计算服务,您只需几分钟就可以获取并部署您的FPGA实例。结合IP市场提供的图片,视频,基因等相关领域的计算解决方案,提供无与伦比的计算加速能力……
    来自:
  • 专用宿主机

    专用宿主机(CDH)提供用户独享的物理服务器资源,满足您资源独享、资源物理隔离、安全、合规需求。专用宿主机搭载了腾讯云虚拟化系统,购买之后,您可在其上灵活创建、管理多个自定义规格的云服务器实例,自主规划物理资源的使用。
    来自:
  • 黑石物理服务器2.0

    腾讯黑石物理服务器2.0(CPM)是一种包年包月的裸金属云服务,为您提供云端独享的高性能、无虚拟化的、安全隔离的物理服务器集群。使用该服务,您只需根据业务特性弹性伸缩物理服务器数量,获取物理服务器的时间将被缩短至分钟级。
    来自:
  • 容器服务

    腾讯云容器服务(Tencent Kubernetes Engine ,TKE)基于原生kubernetes提供以容器为核心的、高度可扩展的高性能容器管理服务。腾讯云容器服务完全兼容原生 kubernetes API ,扩展了腾讯云的云硬盘、负载均衡等 kubernetes 插件,为容器化的应用提供高效部署、资源调度、服务发现和动态伸缩等一系列完整功能,解决用户开发、测试及运维过程的环境一致性问题,提高了大规模容器集群管理的便捷性,帮助用户降低成本,提高效率。容器服务提供免费使用,涉及的其他云产品另外单独计费。
    来自:
  • 弹性伸缩

    腾讯弹性伸缩(AS)为您提供高效管理计算资源的策略。您可设定时间周期性地执行管理策略或创建实时监控策略,来管理 CVM 实例数量,并完成对实例的环境部署,保证业务平稳顺利运行。弹性伸缩策略不仅能够让需求稳定规律的应用程序实现自动化管理,同时告别业务突增或CC攻击等带来的烦恼,对于每天、每周、每月使用量不停波动的应用程序还能够根据业务负载分钟级扩展。
    来自:
  • 云函数

    云函数(Serverless Cloud Function,SCF)是腾讯云为企业和开发者们提供的无服务器执行环境,帮助您在无需购买和管理服务器的情况下运行代码。您只需使用平台支持的语言编写核心代码并设置代码运行的条件,即可在腾讯云基础设施上弹性、安全地运行代码。SCF 是实时文件处理和数据处理等场景下理想的计算平台。
    来自:
  • 批量计算

    批量计算(Batch)是为有大数据计算业务的企业、科研单位等提供高性价比且易用的计算服务。批量计算可以根据用户提供的批处理规模,智能地管理作业和调动所其需的最佳资源……
    来自:
  • 消息队列 CMQ

    腾讯云消息队列(CMQ)是一种分布式消息队列服务,它能够提供可靠的基于消息的异步通信机制,能够将分布式部署的不同应用(或同一应用的不同组件)之间的收发消息,存储在可靠有效的 CMQ 队列中,防止消息丢失。CMQ 支持多进程同时读写,收发互不干扰,无需各应用或组件始终处于运行状态。
    来自:
  • 消息队列 CKafka

    CKafka(Cloud Kafka)是一个分布式的、高吞吐量、高可扩展性的消息系统,100%兼容开源 Kafka API(0.9版本)。Ckafka 基于发布/订阅模式,通过消息解耦,使生产者和消费者异步交互,无需彼此等待。Ckafka 具有数据压缩、同时支持离线和实时数据处理等优点,适用于日志压缩收集、监控数据聚合等场景。
    来自:
  • API 网关

    腾讯云 API 网关(API Gateway)是腾讯云推出的一种 API 托管服务,能提供 API 的完整生命周期管理,包括创建、维护、发布、运行、下线等。您可使用 API 网关封装自身业务,将您的数据、业务逻辑或功能安全可靠的开放出来,用以实现自身系统集成、以及与合作伙伴的业务连接。
    来自:
  • 微服务平台 TSF

    腾讯微服务平台(TSF)是一个围绕应用和微服务的 PaaS 平台,提供一站式应用全生命周期管理能力和数据化运营支持,提供多维度应用和服务的监控数据,助力服务性能优化。
    来自:

扫码关注云+社区

领取腾讯云代金券