腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

about云

专栏作者

216

文章

315052

阅读量

58

订阅数

sqoop2系统入门之2汇总:用户指南shell命令【可收藏备查】

bash shell server show sqoop

问题导读 1.sqoop2有哪两种运行模式？ 2.哪个模式，有些命令不支持？ 3.sqoop2辅助命令有哪些，作用是什么？ 4.set命令是否连接sqoop server？ 5.show命令显示哪些信

2023-03-21

3210

Shell大全：可以应用于工作及面试

shell https 网络安全 unix php

问题导读 1.Shell该如何学习？ 2.Shell和传统编程语言有哪些相同？ 3.Shell和传统编程语言有哪些不同? 4.你认为Shell还有哪些便捷的地方？由于行业的发展，对程序员的要求越来越

2020-02-20

8260

Flink1.9新特性解读：通过Flink SQL查询Pulsar

大数据 bash shell bash 指令 https

问题导读 1.Pulsar是什么组件？ 2.Pulsar作为Flink Catalog，有哪些好处？ 3.Flink是否直接使用Pulsar原始模式？ 4.Flink如何从Pulsar读写数据？ Flink1.9新增了很多的功能，其中一个对我们非常实用的特性通过Flink SQL查询Pulsar给大家介绍。我们以前可能遇到过这样的问题。通过Spark读取Kafka，但是如果我们想查询kafka困难度有点大的，当然当前Spark也已经实现了可以通过Spark sql来查询kafka的数据。那么Flink 1.9又是如何实现通过Flink sql来查询Pulsar。可能我们大多对kafka的比较熟悉的，但是对于Pulsar或许只是听说过，所以这里将Pulsar介绍下。 Pulsar简介 Pulsar由雅虎开发并开源的一个多租户、高可用，服务间的消息系统，目前是Apache软件基金会的孵化器项目。 Apache Pulsar是一个开源的分布式pub-sub消息系统，用于服务器到服务器消息传递的多租户，高性能解决方案，包括多个功能，例如Pulsar实例中对多个集群的本机支持，跨集群的消息的无缝geo-replication，非常低的发布和端到端 - 延迟，超过一百万个主题的无缝可扩展性，以及由Apache BookKeeper等提供的持久消息存储保证消息传递。 Pulsar已经在一些名企应用，比如腾讯用它类计费。而且它的扩展性是非常优秀的。下面是实际使用用户对他的认识。

2020-02-13

2K0

centos7:SSH公钥无密码认证

shell ssh bash bash 指令

问题导读 1.如何生成密钥对？ 2.ssh localhost不成功，可能原因是什么？ 3.ssh localhost警告的含义是什么？在当前机器生成密钥对 [Bash shell] 纯

2018-03-27

1K0

日志分析实战之清洗日志小实例1：使用spark&Scala分析Apache日志

spark scala apache shell

问题导读 1.如何进入spark shell？ 2.spark shell中如何加载外部文件？ 3.spark中读取文件后做了哪些操作？ about云日志分析，那么过滤清洗日志。该如何实现。这里参考国外的一篇文章，总结分享给大家。使用spark分析网站访问日志，日志文件包含数十亿行。现在开始研究spark使用，他是如何工作的。几年前使用hadoop，后来发现spark也是容易的。下面是需要注意的：如果你已经知道如何使用spark并想知道如何处理spark访问日志记录，我写了这篇短的文章，介

2018-03-26

1.1K0

日志分析实战之清洗日志小实例3：如何在spark shell中导入自定义包

spark shell linux bash

问题导读 1.自定义包，本文放到哪个路径下面？ 2.复制包之后，需要做哪些权限操作？ 3.如何验证导入是否成功？在复制到Linux中，首先需要修改的就是权限。我们看到用户和组的权

2018-03-26

7710

sqoop2系统入门之2汇总:用户指南shell命令

问题导读 1.sqoop2有哪两种运行模式？ 2.哪个模式，有些命令不支持？ 3.sqoop2辅助命令有哪些，作用是什么？ 4.set命令是否连接sqoop server？ 5.show命令显示哪些信息？ 6.如何使用show 命令显示指定信息？ 7.sqoop2中，如何定义数据源及数据流向？ 8.你认为link的作用是什么？ sqoop2对于sqoop1有很大的变化，但是网上并没有系统的文章，所以这里about云整理下。以下内容来自官网，及个人理解，如有错误或则异议，大家可回帖讨论。 Sqoo

2018-03-26

9880

扩展Yarn资源模型详解1

xml yarn shell bash bash 指令

问题导读 1.countable资源是指哪些？ 2.noncountable资源，本文列举了什么资源？ 3.标签是否为资源？ 4.如何实现扩展YARN资源模型？概述当前Yarn支持各种资源类型：比如： disk( YARN2139),https://issues.apache.org/jira/browse/yarn-2139 network( YARN2140), https://issues.apache.org/jira/browse/YARN-2140 和HDFS bandwidth(

2018-03-26

7740

spark1.x升级spark2如何升级及需要考虑的问题

spark php bash shell

问题导读 1.spark2升级哪些内容变化？ 2.升级中spark哪些没有发生变化？ 3.cloudera中，spark1和spark2能否并存？ 4.升级后，可能会遇到什么问题？ spark2出来已经很长时间了，但是由于spark1.6比较稳定，很多依然在使用。如果想使用spark2，那么该如何升级。我们window升级一般为直接点击升级即可，剩下的事情，不用我们管。但是spark的升级确实有点出乎意料。相当于我们直接安装，但是可以借用以前的配置，比如配置文件基本是不变的，如果目录相同，环境变量

2018-03-26

2.8K0

TensorFlow ML cookbook 第一章7、8节实现激活功能和使用数据源

tensorflow 神经网络 bash shell

问题导读： 1、TensorFlow中有哪些激活函数？ 2、如何运行激活函数？ 3、TensorFlow有哪些数据源？ 4、如何获得及使用数据源？上一篇：TensorFlow ML cookbook 第一章5、6节使用矩阵和声明操作实现激活功能准备当我们开始使用神经网络时，我们会定期使用激活函数，因为激活函数是任何神经网络的强制性部分。激活功能的目标是调整重量和偏差。在TensorFlow中，激活函数是对张量起作用的非线性运算。它们是以类似于以前的数学运算的方式运行的函数。激

2018-03-26

1.1K0

spark2 sql读取json文件的格式要求

spark sql json 人工智能 shell

问题导读 1.spark2 sql如何读取json文件？ 2.spark2读取json格式文件有什么要求？ 3.spark2是如何处理对于带有表名信息的json文件的? spark有多个数据源，

2018-03-26

2.4K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态