腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

黑泽君的专栏

专栏作者

708

文章

1681910

阅读量

102

订阅数

大数据技术之_19_Spark学习_05_Spark GraphX 应用解析 + Spark GraphX 概述、解析 + 计算模式 + Pregel API + 图算法参考代码 + PageRank

数据结构分布式 mapreduce linux

Spark GraphX 是一个分布式图处理框架，它是基于 Spark 平台提供对图计算和图挖掘简洁易用的而丰富的接口，极大的方便了对分布式图处理的需求。那么什么是图，都计算些什么？众所周知社交网络中人与人之间有很多关系链，例如 Twitter、Facebook、微博和微信等，数据中出现网状结构关系都需要图计算。 GraphX 是一个新的 Spark API，它用于图和分布式图(graph-parallel)的计算。GraphX 通过引入弹性分布式属性图（Resilient Distributed Property Graph）：顶点和边均有属性的有向多重图，来扩展Spark RDD。为了支持图计算，GraphX 开发了一组基本的功能操作以及一个优化过的 Pregel API。另外，GraphX 也包含了一个快速增长的图算法和图 builders 的集合，用以简化图分析任务。从社交网络到语言建模，不断增长的数据规模以及图形数据的重要性已经推动了许多新的分布式图系统的发展。通过限制计算类型以及引入新的技术来切分和分配图，这些系统可以高效地执行复杂的图形算法，比一般的分布式数据计算（data-parallel，如 spark、MapReduce）快很多。

2019-05-14

1.8K0

Linux学习_012_Centos 6.8 安装 Netcat

编程算法 linux 腾讯云测试服务

2、解压缩文件到指定目录（注意：要先创建 /opt/module/netcat/ 目录）

2019-05-10

1.9K0

Linux学习_011_在 Linux 虚拟机中手动安装或升级 VMware Tools

linux 虚拟化

1、在主机上，从 Workstation Pro 菜单栏中选择虚拟机 -> 安装 VMware Tools。如果安装了早期版本的 VMware Tools，则菜单项是更新 VMware Tools。此时虚拟机界面底部会弹出帮助信息，如下图所示：

2019-04-22

2.1K0

Linux学习_010_在 CentOS6.8 上安装 Eclipse

https jdk 网络安全 linux java

安装环境：CentOS 6.8 桌面版（其他发行版本安装过程基本一样）所需软件：（下载时选择 Linux 版 tar.gz 格式） 1、Oracle jdk 各个版本下载地址： https://www.oracle.com/technetwork/java/javase/archive-139210.html 2、Eclipse 各个版本下载地址：https://www.eclipse.org/downloads/packages/release

2019-04-22

1.4K0

大数据项目之_15_电信客服分析平台_05_数据展示+定时任务+项目总结

网站 linux jsp java javascript

3.4、数据展示3.4.1、环境准备3.4.2、编写代码3.4.3、最终预览3.5、定时任务四、项目总结

2019-04-09

1.2K0

大数据项目之_15_帮助文档_NTP 配置时间服务器+Linux 集群服务群起脚本+CentOS6.8 升级到 python 到 2.7

centos linux ntp yum shell

当集群中各个节点的时间不同步，误差超过某个范围时，会导致一些集群的服务无法正常进行，这时我们应该想办法做一个定时同步集群所有节点时间的任务。

2019-03-20

6160

大数据学习之_01_Linux学习_01_linux的入门+VM和linux的安装+linux的目录结构+远程登录到linux服务器+vi和vim编辑器+开机、重启和用户登录注销+用户管理+用户组管理

访问管理 centos linux ide

2、Linux是一个开源、免费的操作系统，其稳定性、安全性、处理多并发已经得到业界的认可，目前很多企业级的项目都会部署到Linux/unix系统上。

2019-02-26

2.4K0

大数据学习之_01_Linux学习_02_组管理和权限管理+定时任务调度+linux磁盘分区、挂载+linux的网络配置+进程管理(重点)+软件包管理+大厂面试题+感悟分享+资料附录

案例2：每隔1分钟，将当前日期和日历信息，都追加到/tmp/mycal.log 文件中步骤： 1) 编写一个文件/home/mytask2.sh，文件内容是：date >> /tmp/mycal.log 和 cal >> /tmp/mycal.log 2) 给文件/home/mytask2.sh一个可以执行的权限，命令chmod 744 /home/mytask2.sh 3) 设置个人任务调度。执行crontab –e命令 4) 输入任务到调度文件，任务内容：*/1 * * * * /home/mytask2.sh 5) 查看文件/tmp/mycal.log，成功！截图同上！不在赘图！案例3：每天凌晨2:00将mysql数据库testdb，备份到文件/tmp/mydb.bak中。步骤： 1) 编写一个文件/home/mytask3.sh，文件内容是：/usr/local/mysql/bin/mysqldump -uroot -proot testdb > /tmp/mydb.bak 2) 给文件/home/mytask3.sh一个可以执行的权限，命令chmod 744 /home/mytask3.sh 3) 设置个人任务调度。执行crontab –e命令 4) 输入任务到调度文件，任务内容：0 2 * * * /home/mytask3.sh 5) 查看文件/tmp/mydb.bak，成功！截图同上！不在赘图！

2019-02-26

1.2K0

大数据学习之_02_Shell学习

编程算法 linux bash bash 指令 html

1、脚本格式脚本以#!/bin/bash开头（表示指定解析器） 2、第一个Shell脚本：helloworld （1）需求：创建一个Shell脚本，输出helloworld （2）案例实操：

2019-02-26

1.4K0

find: ‘/run/user/1000/gvfs’: 权限不够的解决办法

Linux使用命令find / -name ***查找文件的时候会遇到以下报错： find: ‘/run/user/1000/gvfs’: 权限不够

2019-01-28

5.1K0

Linux学习_009_VMware12.0 Pro 中安装 CentOS 6.8_超详解 + 高清大图

linux centos tcp/ip 虚拟化

7、处理器配置，看自己的母机是否是双核、多核，一般而言，虚拟机分配的处理器越多，虚拟机越快。没有特殊要求默认即可，直接选择下一步。

2019-01-28

1.1K0

linux的网络奇怪问题

一台虚拟机网络好使，其ip地址如下：一台虚拟机网络不好使，其ip地址如下：不知道是什么原因？？？原因如下：

2019-01-03

1.9K0

Linux学习_006_JavaEE程序员常用linux命令整理

JavaEE：后台应用都会涉及Linux系统、应用程序的部署、运维、分布式集群、大数据、云计算、……

2018-12-25

6480

使用CentOS 7.5卸载自带jdk安装自己的JDK1.8

　　删完之后可以再通过：rpm -qa | grep java 或 rpm -qa | grep jdk 命令来查询出是否删除掉

2018-12-10

1.3K0

Linux修改文件权限

2018-10-12

15.8K0

Linux命令复习和练习_03

apt终端命令 deb安装格式安装搜狗输入法的操作如下如所示：

2018-10-11

4660

虚拟机简介

什么是虚拟机？

2018-10-11

6390

windows系统下FileZilla客户端尝试连接“ECONNREFUSED - 连接被服务器拒绝”失败。解决方案

windows linux ubuntu ssh http

windows系统下使用FileZilla连接linux（虚拟机系统）总是报错：尝试连接“ECONNREFUSED - 连接被服务器拒绝”失败。

2018-10-11

20.3K1

Linux的桌面环境gnome、kde、xfce、lxde 等等使用比较

linux windows 安全开源 unix

　　如果不是加入了图形界面，微软的Windows系列操作系统不会成功地占领计算机桌面这块高地。这种人机交换的图形化界面，使得界面更加直观、简易、而且更人性化，同时也大大减少了使用者的认知负担，普通用户无需再牢记让人“劳神”的命令，直接拖拽就能操作。在这一点上，微软确实是将图形化操作界面这条路走得更彻底、更专一，尽管人们一直都在抱怨Windows系统安全性和稳定性上的不足，但是，在应用程序和娱乐性上，微软仍然赢得了大多数普通用户的青睐，因为在他们的工作和生活中，这些就已经足够了。

2018-10-11

6.4K0

c语言基础学习10_关于文件操作的复习

windows unix linux

============================================================================= 如果一个程序只调用fopen，而不调用fclose。会导致两个结果：

2018-10-11

6060

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态