首页
学习
活动
专区
工具
TVP
发布

Spark学习技巧

本公众号主要分享Spark使用及源码,spark 机器学习,图计算,同时会涉及到hadoop家族。
专栏成员
810
文章
1305259
阅读量
248
订阅数
工业数据安全治理参考框架
工业数据是指工业企业在开展研发设计、生产制造、经营管理、应用服务等业务时,围绕客户需求、订单、计划、研发、设计、工艺、制造、采购、供应、库存、销售、交付、售后、运维、报废或回收等工业生产经营环节和过程所产生、采集、传输、存储、使用、共享的数据。随着工业企业数字化进程不断深化,工业数据作为新的生产要素,贯穿于工业全流程,其地位和重要性不言而喻。
Spark学习技巧
2023-03-21
1.3K0
Apache Kafka:优化部署的 10 种最佳实践
Apache Kafka 肯定会像它的同名小说家一样不负众望,因为它能激奋新来者、挑战深度,若能更全面的理解它还会产生丰厚的回报。抛开文学,书归正传。遵循 kafka 最新的最佳实践,一定可以让这个强大的数据流平台的管理变得非常、非常容易,而且还会相当有效。
Spark学习技巧
2018-12-18
1.4K0
区块链与大数据究竟有着怎样的关系?
来源 | 全球大数据峰会 “ 今天,很多人还没弄懂大数据,区块链又来了。区块链与大数据究竟有着怎样的关系? 进入大数据时代,云计算成为大数据基础设施,也使得大数据的核心思想和云计算一脉相承。 大数据
Spark学习技巧
2018-06-22
2.6K0
Facebook数据泄露事件解读
“ 本月中旬,Facebook数据泄露丑闻爆发,上周一Facebook股价更是大跌7%,市值蒸发360多亿美元,CEO扎克伯格也因此身家缩水,跌出福布斯富豪榜前五位。与此同时,欧盟、英国纷纷作出强烈回应,要求对数据泄露事件进行调查。民调显示,只有不到一半的美国人信任Facebook遵守美国的隐私法,... ” 数据在不同主体间的传输与流转是大数据时代互联网产业发展的必然,无论是去年四部委评审的各大互联网企业的隐私政策中有关个人信息共享的内容亦或今年年初“信联”的架构,无不凸显信息数据的重要性。当然,数据
Spark学习技巧
2018-06-22
1.5K0
ConcurrentHashMap实现原理
ConcurrentHashMap是Java1.5中引用的一个线程安全的支持高并发的HashMap集合类。这篇文章总结了ConcurrentHashMap的内部实现原理,是对于自己理解后的一些整理。 ---- 1.HashTable与ConcurrentHashMap的对比 HashTable本身是线程安全的,写过Java程序的都知道通过加Synchronized关键字实现线程安全,这样对整张表加锁实现同步的一个缺陷就在于使程序的效率变得很低。这就是为什么Java中会在1.5后引入ConcurrentHa
Spark学习技巧
2018-06-22
1.6K0
ConcurrentLinkedQueue和LinkedBlockingQueue用法
作者: Ruthless 关注 - 28 粉丝 - 2969 在Java多线程应用中,队列的使用率很高,多数生产消费模型的首选数据结构就是队列(先进先出)。Java提供的线程安全的Queue可以分为阻塞队列和非阻塞队列,其中阻塞队列的典型例子是BlockingQueue,非阻塞队列的典型例子是ConcurrentLinkedQueue,在实际应用中要根据实际需要选用阻塞队列或者非阻塞队列。 注:什么叫线程安全?这个首先要明确。线程安全就是说多线程访问同一代码,不会产生不确定的结果。 并行和并发区别
Spark学习技巧
2018-04-17
2.7K0
大数据集群安全系列之kafka使用SSL加密认证
Apache kafka允许客户端通过SSL进行连接。默认情况下SSL是禁止状态,可以根据需要开启。本文就是浪尖亲测,开启SSL认证。 1,为每一个kafka Broker创建SSL key和证书 第一步,部署HTTPS需要为在集群中的每台Broker创建key和证书。可以使用java的keytool完成这个任务。我们最初会将密钥生成到一个临时密钥库,以便我们稍后可以导出和签名。 keytool -keystore server.keystore.jks -alias localhost -validity
Spark学习技巧
2018-01-30
4.5K0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档