首页
学习
活动
专区
工具
TVP
发布

Spark学习技巧

本公众号主要分享Spark使用及源码,spark 机器学习,图计算,同时会涉及到hadoop家族。
专栏作者
810
文章
1221422
阅读量
247
订阅数
十款性能最佳的压缩算法
数据压缩是保留相同或绝大部分数据前提下减小文件大小的过程。它的原理是消除不必要的数据或以更高效的格式重新组织数据。在进行数据压缩时,你可以选择使用有损方法或无损方法。有损方法会永久性地擦除掉一些数据,而无损方法则能保证持有全部的数据。使用哪类方法取决于你要让你的文件保持多大的精准度。
Spark学习技巧
2021-03-05
5.4K0
机器学习在马蜂窝酒店聚合中的应用初探
出门旅行,订酒店是必不可少的一个环节。住得干净、舒心对于每个出门在外的人来说都非常重要。
Spark学习技巧
2021-03-05
8380
金融领域7大数据科学案例
源:数据科学与人工智能 作者:Igor Bobriakov 本文约2639字,建议阅读5分钟。 本文为你分享一份对金融行业影响最大的数据科学应用清单。涵盖了从数据管理到交易策略的各种业务方面,共同点
Spark学习技巧
2018-06-22
2.1K0
终于有人把云计算、大数据和人工智能讲明白了!
今天跟大家讲讲云计算、大数据和人工智能。为什么讲这三个东西呢?因为这三个东西现在非常火,并且它们之间好像互相有关系:一般谈云计算的时候会提到大数据、谈人工智能的时候会提大数据、谈人工智能的时候会提云计
Spark学习技巧
2018-06-22
8790
AI与区块链的融合会给人类带来什么?
图片来源:Zapp2Photo/Shutterstock 翻译 | CSDN研发技术 参与 | Vincent 译者注:本文介绍了人工智能和区块链这两大热门技术整合的可能性,以及这两者整合以后的标准定义是什么,会遇到哪些挑战,会带来什么好处。以下为译文。 不可否认,人工智能和区块链促进了创新,在不同行业里面也都引起了根本性的变化。这两种技术的技术复杂程度不一样,商业意义也不一样,但是如果能将两者整合在一起,那么整个技术(和人类)范式可能将会重新定义。 ▌I.揭开序幕 图片来源:4zevar/Sh
Spark学习技巧
2018-04-17
6090
入门 | 区块链vs传统数据库:分布式运行有何优势?
作者:Shaan Ray 机器之心编译 参与:路雪、李泽南 区块链(blockchain)这一概念正因比特币等虚拟货币的兴盛而变得火热起来,实际上,这种技术因为特殊的设计思路也可以应用于很多其他领域中
Spark学习技巧
2018-03-20
1.6K0
Spark的Ml pipeline
ML pipeline提供了一组统一的高级API,它们构建在 DataFrame之上,可帮助用户创建和调整实用的机器学习pipeline。 一 重要概念 1.1 管道中的主要概念 MLlib对机器学习算法的API进行了标准化,使得将多种算法合并成一个pipeline或工作流变得更加容易。Pipeline的概念主要是受scikit-learn启发。 DataFrame:这个ML API使用Spark SQL 的DataFrame作为一个ML数据集,它可以容纳各种数据类型。例如,a DataFrame具有可以存
Spark学习技巧
2018-01-31
2.5K0
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档