首页
学习
活动
专区
工具
TVP
发布

一名叫大蕉的程序员

专栏成员
115
文章
80915
阅读量
47
订阅数
整天打杂职场全废的自救指南 No.191
最近比较多朋友都在讲,自己简历没什么好写的,现在每天都在打杂。跳也跳不出去,待也待不住,分分钟被裁掉,有没有什么比较好的破局手段。
大蕉
2020-06-16
4690
五年数仓只会取数,我是不是凉凉了?
瓶颈:前几年都在做传统的数据库开发,这两年开始进入到大数据领域。不管是传统还是现在大数据,感觉自己的技能或者说岗位工作的职责有点狭隘局限,想突破。之前也做了一些工具,但是好像没什么效果。关于工作,在之前面过鹅厂,没拿下,比较迷茫。
大蕉
2019-09-17
7190
求求你大蕉别学了之 Flink No.127
Flink ,为纯粹的流计算为生的一个大数据项目,玩一波先。跟 Spark 有什么区别呢?其实就一个区别,Spark 永远是批量处理,Flink 可以批量也可以实时流。啥意思呢?就是 Spark 没有一批就不处理就存着,永远只能准实时,而 Flink 拿到就处理拿到就处理,跟家里自来水似的,来多少处理多少。
大蕉
2019-03-08
5250
不漫谈大数据反欺诈技术架构 No.126
一年多以前,有朋友让我聊一下你们的大数据反欺诈架构是怎么实现的,以及我们途中踩了哪些坑,怎么做到从30min延迟优化到1s内完成实时反欺诈。当时呢第一是觉得不合适,第二也是觉得场景比较局限没什么分享的必要性。
大蕉
2018-12-29
1.3K0
憋瞎说,大数据不是你想的那样 No.114
学生党以及很多没设计过大数据开发的小伙伴呢,都对大数据这么一个领域感到非常非常的好奇非常非常的神秘,我今天就非要戳穿给你们看。
大蕉
2018-10-26
4160
企业神奇中间件-RPC(总览) No.97
话说上个系列好像朋友们都表示有点难理解,难道是数学公式太多了?大数据计数原理1+0=1这你都不会算(十)No.77 。希望这次可以写简单点,像大蕉这样的小小白都可以理解那种。上一篇文章我们讲到一些关于企业系统间交互,顺便开了一下坑。企业神奇中间件-RPC No.96 拷一段过来先,回顾一下。 RPC(Remote Procedure Call),远程过程调用,从最简单最抽象的模式来看,就是下面这个图这样。客户端调用某个方法,然后中间经过一系列的过程,调用到服务端的某个方法。服务端进行处理之后,做出相应,然
大蕉
2018-06-22
3160
大数据计数原理1+0=1这你都不会算(十)No.77
大数据计数原理1+0=1这你都不会算(一)No.47 <- HashSet 大数据计数原理1+0=1这你都不会算(二)No.50 <- BitMap 大数据计数原理1+0=1这你都不会算(三)No.51 <- BloomFilter 大数据计数原理1+0=1这你都不会算(四)No.52 <- B-Tree 大数据计数原理1+0=1这你都不会算(五)No.55 <- B+Tree 大数据计数原理1+0=1这你都不会算(六)No
大蕉
2018-02-05
5010
从区块链看新旧技术交替 No.80
区块链也火了很长一段时间了,2018 可能是区块链野蛮生长的一年,结合之前看过的一本书《创新者的窘境》 聊聊新旧技术的交替,以及区块链技术什么时候能得到重用。 先稍微说说区块链目前在应用中存在什么问题。 1、不可篡改、撤销 现在各个领域因为程序问题或者客户投诉问题,总是会出现非常多的数据修订,但如果使用了区块链技术,可能就没那么方便了,因为数据是不可篡改的。但是其实这还是可以解决的,有正向的交易,那就有逆向的交易即可。 2、交易账本必须公开 如果交易账本是完全公开的,那么不可避免就会出现很多的隐私问题。比
大蕉
2018-02-05
6660
靠谱的数据开发从业指南No.82
数据开发太庞大了 有小伙伴让我聊聊数据开发的职业规划和从业指南,因为数据开发从业人员的知识量实在是太太太大了,今天恰好这个机会好好聊聊。 我们先来看看 InfoQ 整理的这个图,技能树不是一般的庞大
大蕉
2018-02-05
6230
Spark你一定学得会(四)No.68
小伙伴在写Spark任务的过程中感觉非常巨痛苦,总是有奇奇怪怪的问题,写好的程序在开发环境跑得好好的,一上到生产直接被干懵逼了。今天呢,我就跟大伙好好聊聊 Spark 在启动或者运行时的报错或者太慢,并分析其原因及解决方案。自己亲手挖的坑,抹着泪也要趟过去。现在我就跟你们细细说说我过去一年实际经验亲脚趟的坑。 00000:Spark on yarn 启动的时候一直在 waiting。 第一种可能,队列资源不足,所有的资源都在被其他同学占用ing。 解决方案:把那个同学打晕,然后kill applicati
大蕉
2018-02-05
6010
手把脚看看密码学No.72
咳咳,不可否认,有时候总会出现,请证明你爸是你爸的这种事情,所以会有了身份认证的密码。但是这个密码不是你们想的那个登录密码,银行卡密码,QQ密码,IQ密码,更不是达芬奇密码,而是在交流或者说通信过程中用来加密信息的密码。 最开始了解密码是达芬奇密码,但是特么的最后发现达芬奇密码没有密码。图灵机,图灵测试,人工智能之父,这些都是 Alan Mathison Turing ,换另外一个名字你们可能比较熟悉,艾伦·麦席森·图灵。 第一次密码学的启蒙是看模仿游戏这部电影。影片讲述的是二战期间,盟军苦于德国的密码系统
大蕉
2018-02-05
9341
提高Spark姿势水平 No.73
长文。巨长。 本文的依据是我学习整个Spark的学习历程。在这里,我会从几个方面来跟大家一起讨论。Spark 是什么?Spark 跟 Hadoop 有什么渊源?Spark 有哪些方便的组件?什么场景下用 Spark ,如何使用?以及用什么样的姿势来学习 Spark 会比较好? Apache Spark™ is a fast and general engine for large-scale data processing. Spark就是一个能够快速以及通用的处理大规模数据的引擎。怎么理解这句话呢? Sp
大蕉
2018-02-05
8120
大数据计数原理1+0=1这你都不会算(九)No.64
大数据计数原理1+0=1这你都不会算(一)No.47 <- HashSet 大数据计数原理1+0=1这你都不会算(二)No.50 <- BitMap 大数据计数原理1+0=1这你都不会算(三)No.51 <- BloomFilter 大数据计数原理1+0=1这你都不会算(四)No.52 <- B-Tree 大数据计数原理1+0=1这你都不会算(五)No.55 <- B+Tree 大数据计数原理1+0=1这你都不会算(六)No
大蕉
2018-02-05
5560
大数据计数原理1+0=1这你都不会算(八)No.60
今天跟小伙伴们聊聊另外一个统计算法, Roaring BitMaps。 这个该怎么翻译呢??咆哮的位图?s?我翻译不出来,但是小蕉头一歪,就给它起了一个狂拽酷霸叼扎天的翻译 -> 咆哮吧,位图君们。
大蕉
2018-02-05
8480
大数据计数原理1+0=1这你都不会算(七)No.59
今天的干货,不是一般的干,噎死人那种干。没下面这些准备的话直接退出吧,回去度娘啊谷哥啊弄懂是什么东西再回来。 知识储备必须有这些: BitMap知识。概率论二项分布。泰勒展开。函数求极限。求期望值。求方差、标准差。log对数变换。极大似然估计。 照例甩一波链接。 大数据计数原理1+0=1这你都不会算(一)No.47 <- HashSet 大数据计数原理1+0=1这你都不会算(二)No.50 <- BitMap 大数据计数原理1+0=1这你都不会算(三)No.51
大蕉
2018-02-05
5470
大数据计数原理1+0=1这你都不会算(六)No.57
照例甩一波链接。 大数据计数原理1+0=1这你都不会算(一)No.47 <- HashSet 大数据计数原理1+0=1这你都不会算(二)No.50 <- BitMap 大数据计数原理1+0=1这你都不会算(三)No.51 <- BloomFilter 大数据计数原理1+0=1这你都不会算(四)No.52 <- B-Tree 大数据计数原理1+0=1这你都不会算(五)No.55 <- B+Tree 今天开始进入一个全新的领域,嗯
大蕉
2018-02-05
5760
机器学习虾扯蛋之SVD奇异值分解No.48
机器学习说难不难,说简单也不简单。跟着小蕉有饭吃。 今天分享的是机器学习里面一个寻找主要成分的算法,SVD (Singularly Valuable Decomposition) 奇异值分解。 首先寻
大蕉
2018-02-05
7040
用区块链解决桃花屯的粮食问题No.49
我是小蕉。 从前的从前啊,有一个桃花屯,屯里住着一群跟小布小青这样的种田青年。屯里出现了这么一件事,每年的收成都是几千斤几千斤这样,每次出去卖一趟粮食,我了个乖乖,累死我娘的宝贝儿子了。这时候有个聪明的小蕉站出来了,说我们不如就用粮票来代表粮食,见票如见粮,这样大家都可以轻松点啦。商人一般都很奸诈的嘛,肯定会有贪小便宜的人,最后搞得你也不信我我也不信你,你的票可能是自己手抄的,你也不一定有这么多粮食。 区块链最根本的就是解决信任问题。 以前的解决方法就是,大家不是谁都不信谁嘛,那好啊,来搞个粮局,大家都来这
大蕉
2018-02-05
7610
大数据计数原理1+0=1这你都不会算(四)No.52
这是本坑的第四篇,之前已经说了关于 HashSet 、BitMap 、Bloom Filter 布隆过滤器了,本篇主要讲B-树。要是还不知道前面讲了啥的,可以点一下下面的连接看看。 大数据计数原理1+0=1这你都不会算(一)No.47 大数据计数原理1+0=1这你都不会算(二)No.50 大数据计数原理1+0=1这你都不会算(三)No.51 B+树是现在很多索引系统的数据结构,而B-树是B+树的基础,本次先讲B-树。 而在讲B-树之前,又不得不讲二叉搜索树(BST,Binary Search Tree)
大蕉
2018-02-05
5990
大数据计数原理1+0=1这你都不会算(三)No.51
这是本坑的第三篇,之前已经说了关于 HashSet 和 BitMap 了,这次说说 Bloom Filter 布隆过滤器,要是还不知道前面讲了啥的,可以点一下下面的连接看看。 大数据计数原理1+0=1这你都不会算(一)No.47 大数据计数原理1+0=1这你都不会算(二)No.50 我们都知道BitMap已经非常节省空间了,一个值只需要一个 bit 就可以进行统计了,但是,对于上百亿的数据来说,碰撞率即使非常低,但也不是一个可以忽视的问题了。 当时提出这个问题,一个是因为垃圾电子邮箱,每天少说都有几十
大蕉
2018-02-05
5940
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档