腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

一名叫大蕉的程序员

专栏作者

115

文章

77210

阅读量

47

订阅数

从区块链看新旧技术交替 No.80

大数据数据处理

区块链也火了很长一段时间了，2018 可能是区块链野蛮生长的一年，结合之前看过的一本书《创新者的窘境》聊聊新旧技术的交替，以及区块链技术什么时候能得到重用。先稍微说说区块链目前在应用中存在什么问题。 1、不可篡改、撤销现在各个领域因为程序问题或者客户投诉问题，总是会出现非常多的数据修订，但如果使用了区块链技术，可能就没那么方便了，因为数据是不可篡改的。但是其实这还是可以解决的，有正向的交易，那就有逆向的交易即可。 2、交易账本必须公开如果交易账本是完全公开的，那么不可避免就会出现很多的隐私问题。比

2018-02-05

6310

提高Spark姿势水平 No.73

spark 大数据数据处理数据分析

长文。巨长。本文的依据是我学习整个Spark的学习历程。在这里，我会从几个方面来跟大家一起讨论。Spark 是什么？Spark 跟 Hadoop 有什么渊源？Spark 有哪些方便的组件？什么场景下用 Spark ，如何使用？以及用什么样的姿势来学习 Spark 会比较好？ Apache Spark™ is a fast and general engine for large-scale data processing. Spark就是一个能够快速以及通用的处理大规模数据的引擎。怎么理解这句话呢？ Sp

2018-02-05

7780

大数据计数原理1+0=1这你都不会算(九)No.64

大数据数据处理数据分析

大数据计数原理1+0=1这你都不会算(一)No.47 <- HashSet 大数据计数原理1+0=1这你都不会算(二)No.50 <- BitMap 大数据计数原理1+0=1这你都不会算(三)No.51 <- BloomFilter 大数据计数原理1+0=1这你都不会算(四)No.52 <- B-Tree 大数据计数原理1+0=1这你都不会算(五)No.55 <- B+Tree 大数据计数原理1+0=1这你都不会算(六)No

2018-02-05

5230

大数据计数原理1+0=1这你都不会算(二)No.50

大数据数据处理数据分析

上一次我们说完了用 HashSet 来进行计数了。我们可以发现，如果我们估计有N个数，那么我们至少需要N*32bit（按照int在32位操作系统下占用32个bit）的空间来进行存储，这太费钱了。有没有

2018-02-05

4160

大数据计数原理1+0=1这你都不会算(一)No.47

大数据数据分析数据处理

hello哈，大家是不是好久没见到我啦？我也是一直在摸索小伙伴们喜欢看到什么东西，不喜欢看什么东西，还请大家多多支持。为了表示感谢。小蕉在这给你们一鞠躬，二鞠躬，三。事不过三~ 1+0=1你都不会谈什么大数据？这篇呢，又是开坑之作，这是一个系列，主要会将大数据下的计数原理。说到计数，不知道大家会第一印象想到什么，我估计会是。。数手指。。没错，小蕉从小学开始就开始数手指，所有20以内的加减法很早就掌握了。研表究明，这估计也是我们现在使用十进制的原因，如果我们每个人每只手都有6只手指，那我们可能就用十二进制了

2018-02-05

6080

机器学习虾扯淡之特征工程（一）No.38

数据处理机器学习大数据

0x00瞎扯淡当当当，我又来啦。哇咔咔，很多人都说我好久好久没写机器学习的东西啦。是不是忘啦？没有没有，记着呢。只是最近在看很多其他的东西，比如敲敲scikit-learn的文档啦，比如看看《Head First 数据分析》啦，比如看看《集体智慧编程》啦，看看gossip算法啦。 Head First 数据分析，这个，能不看就别看了，几乎没啥用。《集体智慧编程》真心是给我开了一个脑洞，原来还可以用遗传算法自动生成程序，哎呀我天。哎呀扯回正题，特征工程特征工程。敲黑板敲黑板。今天讲特征提取的套路

2018-02-05

6170

Spark你一定学得会（一）No.7

spark 数据处理大数据

我是小蕉。上一篇大家说没有干货，妈蛋回南天哪来的干货你告诉我！！！还好这几天天气还不错，干货来了。首先祭上今天关键代码，要做的事情就是从Hive表中取得年龄数据，然后去重，统计每个年龄的人数。如果你能看到这里，我当你知道RDD,HDFS,还有scala是什么东东，不知道的看我上一篇或者上某搜索引擎去，我不管。 case class PERSON( val name:String, val age:String ); object Some{ def main(args: Arr

2018-02-05

6700

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态