一名叫大蕉的程序员-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

一名叫大蕉的程序员

专栏成员

115

文章

80915

阅读量

47

订阅数

整天打杂职场全废的自救指南 No.191

最近比较多朋友都在讲，自己简历没什么好写的，现在每天都在打杂。跳也跳不出去，待也待不住，分分钟被裁掉，有没有什么比较好的破局手段。

2020-06-16

4690

五年数仓只会取数，我是不是凉凉了？

瓶颈：前几年都在做传统的数据库开发，这两年开始进入到大数据领域。不管是传统还是现在大数据，感觉自己的技能或者说岗位工作的职责有点狭隘局限，想突破。之前也做了一些工具，但是好像没什么效果。关于工作，在之前面过鹅厂，没拿下，比较迷茫。

2019-09-17

7190

求求你大蕉别学了之 Flink No.127

spark maven 大数据

Flink ，为纯粹的流计算为生的一个大数据项目，玩一波先。跟 Spark 有什么区别呢？其实就一个区别，Spark 永远是批量处理，Flink 可以批量也可以实时流。啥意思呢？就是 Spark 没有一批就不处理就存着，永远只能准实时，而 Flink 拿到就处理拿到就处理，跟家里自来水似的，来多少处理多少。

2019-03-08

5250

不漫谈大数据反欺诈技术架构 No.126

一年多以前，有朋友让我聊一下你们的大数据反欺诈架构是怎么实现的，以及我们途中踩了哪些坑，怎么做到从30min延迟优化到1s内完成实时反欺诈。当时呢第一是觉得不合适，第二也是觉得场景比较局限没什么分享的必要性。

2018-12-29

1.3K0

憋瞎说，大数据不是你想的那样 No.114

大数据 java sql api spark

学生党以及很多没设计过大数据开发的小伙伴呢，都对大数据这么一个领域感到非常非常的好奇非常非常的神秘，我今天就非要戳穿给你们看。

2018-10-26

4160

企业神奇中间件-RPC(总览) No.97

话说上个系列好像朋友们都表示有点难理解，难道是数学公式太多了？大数据计数原理1+0=1这你都不会算(十)No.77 。希望这次可以写简单点，像大蕉这样的小小白都可以理解那种。上一篇文章我们讲到一些关于企业系统间交互，顺便开了一下坑。企业神奇中间件-RPC No.96 拷一段过来先，回顾一下。 RPC（Remote Procedure Call），远程过程调用，从最简单最抽象的模式来看，就是下面这个图这样。客户端调用某个方法，然后中间经过一系列的过程，调用到服务端的某个方法。服务端进行处理之后，做出相应，然

2018-06-22

3160

大数据计数原理1+0=1这你都不会算(十)No.77

人工智能大数据数据分析

大数据计数原理1+0=1这你都不会算(一)No.47 <- HashSet 大数据计数原理1+0=1这你都不会算(二)No.50 <- BitMap 大数据计数原理1+0=1这你都不会算(三)No.51 <- BloomFilter 大数据计数原理1+0=1这你都不会算(四)No.52 <- B-Tree 大数据计数原理1+0=1这你都不会算(五)No.55 <- B+Tree 大数据计数原理1+0=1这你都不会算(六)No

2018-02-05

5010

从区块链看新旧技术交替 No.80

大数据数据处理

区块链也火了很长一段时间了，2018 可能是区块链野蛮生长的一年，结合之前看过的一本书《创新者的窘境》聊聊新旧技术的交替，以及区块链技术什么时候能得到重用。先稍微说说区块链目前在应用中存在什么问题。 1、不可篡改、撤销现在各个领域因为程序问题或者客户投诉问题，总是会出现非常多的数据修订，但如果使用了区块链技术，可能就没那么方便了，因为数据是不可篡改的。但是其实这还是可以解决的，有正向的交易，那就有逆向的交易即可。 2、交易账本必须公开如果交易账本是完全公开的，那么不可避免就会出现很多的隐私问题。比

2018-02-05

6660

靠谱的数据开发从业指南No.82

大数据 spark 运维架构设计深度学习

数据开发太庞大了有小伙伴让我聊聊数据开发的职业规划和从业指南，因为数据开发从业人员的知识量实在是太太太大了，今天恰好这个机会好好聊聊。我们先来看看 InfoQ 整理的这个图，技能树不是一般的庞大

2018-02-05

6230

Spark你一定学得会（四）No.68

spark 大数据数据分析

小伙伴在写Spark任务的过程中感觉非常巨痛苦，总是有奇奇怪怪的问题，写好的程序在开发环境跑得好好的，一上到生产直接被干懵逼了。今天呢，我就跟大伙好好聊聊 Spark 在启动或者运行时的报错或者太慢，并分析其原因及解决方案。自己亲手挖的坑，抹着泪也要趟过去。现在我就跟你们细细说说我过去一年实际经验亲脚趟的坑。 00000：Spark on yarn 启动的时候一直在 waiting。第一种可能，队列资源不足，所有的资源都在被其他同学占用ing。解决方案：把那个同学打晕，然后kill applicati

2018-02-05

6010

手把脚看看密码学No.72

安全大数据

咳咳，不可否认，有时候总会出现，请证明你爸是你爸的这种事情，所以会有了身份认证的密码。但是这个密码不是你们想的那个登录密码，银行卡密码，QQ密码，IQ密码，更不是达芬奇密码，而是在交流或者说通信过程中用来加密信息的密码。最开始了解密码是达芬奇密码，但是特么的最后发现达芬奇密码没有密码。图灵机，图灵测试，人工智能之父，这些都是 Alan Mathison Turing ，换另外一个名字你们可能比较熟悉，艾伦·麦席森·图灵。第一次密码学的启蒙是看模仿游戏这部电影。影片讲述的是二战期间，盟军苦于德国的密码系统

2018-02-05

9341

提高Spark姿势水平 No.73

spark 大数据数据处理数据分析

长文。巨长。本文的依据是我学习整个Spark的学习历程。在这里，我会从几个方面来跟大家一起讨论。Spark 是什么？Spark 跟 Hadoop 有什么渊源？Spark 有哪些方便的组件？什么场景下用 Spark ，如何使用？以及用什么样的姿势来学习 Spark 会比较好？ Apache Spark™ is a fast and general engine for large-scale data processing. Spark就是一个能够快速以及通用的处理大规模数据的引擎。怎么理解这句话呢？ Sp

2018-02-05

8120

大数据计数原理1+0=1这你都不会算(九)No.64

大数据数据处理数据分析

大数据计数原理1+0=1这你都不会算(一)No.47 <- HashSet 大数据计数原理1+0=1这你都不会算(二)No.50 <- BitMap 大数据计数原理1+0=1这你都不会算(三)No.51 <- BloomFilter 大数据计数原理1+0=1这你都不会算(四)No.52 <- B-Tree 大数据计数原理1+0=1这你都不会算(五)No.55 <- B+Tree 大数据计数原理1+0=1这你都不会算(六)No

2018-02-05

5560

大数据计数原理1+0=1这你都不会算(八)No.60

机器学习数据库人工智能大数据

今天跟小伙伴们聊聊另外一个统计算法, Roaring BitMaps。这个该怎么翻译呢??咆哮的位图?s?我翻译不出来，但是小蕉头一歪，就给它起了一个狂拽酷霸叼扎天的翻译 -> 咆哮吧，位图君们。

2018-02-05

8480

大数据计数原理1+0=1这你都不会算(七)No.59

机器学习大数据

今天的干货，不是一般的干，噎死人那种干。没下面这些准备的话直接退出吧，回去度娘啊谷哥啊弄懂是什么东西再回来。知识储备必须有这些： BitMap知识。概率论二项分布。泰勒展开。函数求极限。求期望值。求方差、标准差。log对数变换。极大似然估计。照例甩一波链接。大数据计数原理1+0=1这你都不会算(一)No.47 <- HashSet 大数据计数原理1+0=1这你都不会算(二)No.50 <- BitMap 大数据计数原理1+0=1这你都不会算(三)No.51

2018-02-05

5470

大数据计数原理1+0=1这你都不会算(六)No.57

大数据数据分析机器学习

照例甩一波链接。大数据计数原理1+0=1这你都不会算(一)No.47 <- HashSet 大数据计数原理1+0=1这你都不会算(二)No.50 <- BitMap 大数据计数原理1+0=1这你都不会算(三)No.51 <- BloomFilter 大数据计数原理1+0=1这你都不会算(四)No.52 <- B-Tree 大数据计数原理1+0=1这你都不会算(五)No.55 <- B+Tree 今天开始进入一个全新的领域，嗯

2018-02-05

5760

机器学习虾扯蛋之SVD奇异值分解No.48

大数据 spark 机器学习人工智能数据库

机器学习说难不难，说简单也不简单。跟着小蕉有饭吃。今天分享的是机器学习里面一个寻找主要成分的算法，SVD (Singularly Valuable Decomposition) 奇异值分解。首先寻

2018-02-05

7040

用区块链解决桃花屯的粮食问题No.49

机器学习大数据区块链

我是小蕉。从前的从前啊，有一个桃花屯，屯里住着一群跟小布小青这样的种田青年。屯里出现了这么一件事，每年的收成都是几千斤几千斤这样，每次出去卖一趟粮食，我了个乖乖，累死我娘的宝贝儿子了。这时候有个聪明的小蕉站出来了，说我们不如就用粮票来代表粮食，见票如见粮，这样大家都可以轻松点啦。商人一般都很奸诈的嘛，肯定会有贪小便宜的人，最后搞得你也不信我我也不信你，你的票可能是自己手抄的，你也不一定有这么多粮食。区块链最根本的就是解决信任问题。以前的解决方法就是，大家不是谁都不信谁嘛，那好啊，来搞个粮局，大家都来这

2018-02-05

7610

大数据计数原理1+0=1这你都不会算(四)No.52

数据库大数据数据分析

这是本坑的第四篇，之前已经说了关于 HashSet 、BitMap 、Bloom Filter 布隆过滤器了，本篇主要讲B-树。要是还不知道前面讲了啥的，可以点一下下面的连接看看。大数据计数原理1+0=1这你都不会算(一)No.47 大数据计数原理1+0=1这你都不会算(二)No.50 大数据计数原理1+0=1这你都不会算(三)No.51 B+树是现在很多索引系统的数据结构，而B-树是B+树的基础，本次先讲B-树。而在讲B-树之前，又不得不讲二叉搜索树（BST，Binary Search Tree）

2018-02-05

5990

大数据计数原理1+0=1这你都不会算(三)No.51

爬虫机器学习大数据

这是本坑的第三篇，之前已经说了关于 HashSet 和 BitMap 了，这次说说 Bloom Filter 布隆过滤器，要是还不知道前面讲了啥的，可以点一下下面的连接看看。大数据计数原理1+0=1这你都不会算(一)No.47 大数据计数原理1+0=1这你都不会算(二)No.50 我们都知道BitMap已经非常节省空间了，一个值只需要一个 bit 就可以进行统计了，但是，对于上百亿的数据来说，碰撞率即使非常低，但也不是一个可以忽视的问题了。当时提出这个问题，一个是因为垃圾电子邮箱，每天少说都有几十

2018-02-05

5940

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态