腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

程序萌部落

个人博客请访问 www.cxmoe.com，自19年8月起搬迁至此。

专栏作者

130

文章

290594

阅读量

27

订阅数

初识图数据的可视化

编程算法数据可视化数据结构大数据数据处理

图是信息科学中最常用的一类抽象数据结构，能够直观的表达现实世界中对象之间的真实关系。许多重要应用都需要用图结构表示，传统应用如最优运输路线的确定、疾病爆发路径的预测、科技文献的引用关系等；新兴应用如社交网络分析、语义 Web 分析、生物信息网络分析等，与图相关的处理和应用几乎无所不在 [1] 。

2019-08-08

6140

对SNAP图数据进行度分布统计

上述意义是：该文件（400多M）被划分成了四个block，400/3=3.x 应该是4个block，正确无误另外，当前块的所在节点为hadoop01，02，04，即此处是容错的三副本，这里可以优化一下，虚拟机小集群其实可以改为1，即取消副本，减少存储开销。

2019-08-08

1.7K0

基于Spark的大数据热图可视化方法

spark 网站编程算法大数据数据可视化

针对普通客户端浏览和分析大数据困难的问题, 结合 Spark 和 LOD 技术, 以热图为例提出一种面向大数据可视化技术框架. 首先利用 Spark 平台分层并以瓦片为单位并行计算, 然后将结果分布式存储在 HDFS 上, 最后通过web 服务器应用Ajax技术结合地理信息提供各种时空分析服务.文中重点解决了数据点位置和地图之间的映射, 以及由于并行计算导致的热图瓦片之间边缘偏差这2个问题.实验结果表明,该方法将数据交互操作与数据绘制和计算任务分离, 为浏览器端大数据可视化提供了一个新的思路.

2019-08-08

1.9K0

kettle相关知识

大数据 http 数据库 sql

开源ETL工具(Kettle) V5.1.0 免费Spoon版 http://www.cr173.com/soft/30051.html ETL工具大全，你了解多少 http://bbs.csdn.net/topics/390349305 Kettle_抽取数据举例 http://blog.csdn.net/huangyanlong/article/details/42264543

2019-08-08

1.4K0

Hadoop集群运行时问题

hadoop 大数据 node.js jar 分布式

有hadoop01-04 四个节点，现在只开hadoop01，只用master 修改master节点的 /etc/local/hadoop/etc/hadoop/slaves文件将hadoop01加入，即之前没有hadoop01，表明master节点只有namenode，没有datanode，现在将datanode让之启动，就可以使master有双重身份其他配置，其他节点的配置，均不改以上类似伪分布式，但是更灵活，本身为完全分布式状态，只运行hadoop01时即为节点缺省状态，当其他节点运行时，不用任何改动即可以成为一个集群。完。

2019-08-08

7250

没有更多了

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态