展开

关键词

首页关键词每周学点大数据

每周学点大数据

相关内容

  • 广告
    关闭

    618云上GO,云数据库限时秒杀

    MySQL数据库限量秒杀,1C2G首年99元,还有多款热门云数据库满足您的业务需求

  • 每周学点大数据 | No.72 在 Spark 上实现 WordCount

    编者按:灯塔大数据将每周持续推出《从零开始学大数据算法》的连载,本书为哈尔滨工业大学著名教授王宏志老师的扛鼎力作,以对话的形式深入浅出的从何为大数据说到大数据算法再到大数据技术的应用,带我们在大数据技术的海洋里徜徉~每周五定期更新上期回顾&查看方式在上一期,我们学习了单词出现行计数的相关内容...
  • 每周学点大数据 | No.65 “Hello World”程序—— WordCount(上)

    编者按:灯塔大数据将每周持续推出《从零开始学大数据算法》的连载,本书为哈尔滨工业大学著名教授王宏志老师的扛鼎力作,以对话的形式深入浅出的从何为大数据说到大数据算法再到大数据技术的应用,带我们在大数据技术的海洋里徜徉~每周五定期更新上期回顾&查看方式在上一期,我们学习了配置hadoop的相关内容...
  • 每周学点大数据 | No.74 Spark 的核心操作——Transformation 和 Action

    编者按:灯塔大数据将每周持续推出《从零开始学大数据算法》的连载,本书为哈尔滨工业大学著名教授王宏志老师的扛鼎力作,以对话的形式深入浅出的从何为大数据说到大数据算法再到大数据技术的应用,带我们在大数据技术的海洋里徜徉~每周五定期更新上期回顾&查看方式在上一期,我们学习了在 hdfs 上使用 spark的相关...
  • 每周学点大数据 | No.73 在 HDFS 上使用 Spark

    编者按:灯塔大数据将每周持续推出《从零开始学大数据算法》的连载,本书为哈尔滨工业大学著名教授王宏志老师的扛鼎力作,以对话的形式深入浅出的从何为大数据说到大数据算法再到大数据技术的应用,带我们在大数据技术的海洋里徜徉~每周五定期更新上期回顾&查看方式在上一期,我们学习了在 spark 上实现 wordcount ...
  • 每周学点大数据 | No.76 众包算法实践——认识 AMT

    本文为灯塔大数据原创内容,欢迎个人转载至朋友圈,其他机构转载请在文章开头标注编者按:灯塔大数据将每周持续推出《从零开始学大数据算法》的连载,本书为哈尔滨工业大学著名教授王宏志老师的扛鼎力作,以对话的形式深入浅出的从何为大数据说到大数据算法再到大数据技术的应用,带我们在大数据技术的海洋里徜徉~每...
  • 每周学点大数据 | No.77 众包算法实践——成为众包工人

    编者按:灯塔大数据将每周持续推出《从零开始学大数据算法》的连载,本书为哈尔滨工业大学著名教授王宏志老师的扛鼎力作,以对话的形式深入浅出的从何为大数据说到大数据算法再到大数据技术的应用,带我们在大数据技术的海洋里徜徉~每周五定期更新上期回顾&查看方式在上一期,我们学习了众包算法实践——认识 amt的...
  • 每周学点大数据 | No.70 适于迭代并行计算的平台——Spark初探

    编者按:灯塔大数据将每周持续推出《从零开始学大数据算法》的连载,本书为哈尔滨工业大学著名教授王宏志老师的扛鼎力作,以对话的形式深入浅出的从何为大数据说到大数据算法再到大数据技术的应用,带我们在大数据技术的海洋里徜徉~每周五定期更新上期回顾&查看方式在上一期,我们学习了多机配置的相关内容...
  • 每周学点大数据 | No.75 Spark 实践案例——PageRank

    本文为灯塔大数据原创内容,欢迎个人转载至朋友圈,其他机构转载请在文章开头标注编者按:灯塔大数据将每周持续推出《从零开始学大数据算法》的连载,本书为哈尔滨工业大学著名教授王宏志老师的扛鼎力作,以对话的形式深入浅出的从何为大数据说到大数据算法再到大数据技术的应用,带我们在大数据技术的海洋里徜徉~每...
  • 每周学点大数据 | No.23 外排序(二)

    事实上,该式子可以简化为? 这种形式和归并排序是一样的啊。 mr. 王笑着说:哈哈,学得真快,非常好。 内容来源:灯塔大数据...首先选出一个分界点,通过算法操作使得数组中左边的数都比它小,右边的数都比它大,然后对左边、右边分别执行这个步骤,不断地递归执行下去,就可以实现...
  • 每周学点大数据 | No.55分类算法——Naive Bayes

    训练出一个分类的模型或者说得出一个分类的标准,然后使用这个标准对后面再到来的数据进行分类。 所以我们的大部分工作都集中在对训练集的处理上。 这里介绍一种经典的分类算法——朴素贝叶斯分类器(naive bayes)。 这种分类方法非常简单,但是非常有效。 小可:我在学概率论时听说过贝叶斯定理,和这个是一个道理...
  • 每周学点大数据 | No.31拓扑排序

    接下来我们来讨论另一种磁盘中的大数据算法策略,叫作时间前向处理方法。 在这种策略中,我会讲解求解最大独立集的方法。 先介绍一个时间前向独立集的其他例子。? 这是一个dag。 所谓 dag 就是有向无回路图。 在 dag 中的每一条边都是有方向的,但是 dag 中不允许有环形的回路。 这个dag 比较特殊,它的每一个源点...
  • 每周学点大数据 | No.2大数据的特点、应用和算法

    对数据实时处理有着极高的要求,通过传统数据库查询方式得到的“当前结果”很可能已经没有价值。 在价值上,数据持续到达,并且只有在特定时间和空间中才有意义。 mr. 王:我们分析大数据、研究大数据,是希望能够利用它们获得我们需要的知识。 我们可以利用大数据进行: 预测 推荐 商业情报分析 科学研究等发现大...
  • 每周学点大数据 | No.1何谓大数据

    no.1期带你认识大数据咚咚咚。 一天下午,王老师的门被敲响了。 mr. 王:请进。 门被轻轻地推开了,随后被有礼貌地关上了。 mr. 王:你就是小可吧? 小可:是的,王老师您好,我就是前几天与您联系的那个学生,我想学习些大数据方面的知识。 mr. 王:好啊,咱们可以一起讨论,看你不太面熟,你是计算机专业的学生吗?...
  • 每周学点大数据 | No.24二叉搜索树回顾(一)

    这里我们先来简单地认识一下关于二叉树的问题。 为了更好地理解在外存状态下的二叉树,必须要对内存中的树结构非常清楚。 一般意义上的树是一个图,像二叉树这种在计算机中用来存储数据的树型结构和一般的树是不完全一样的,它有一个根节点,而且它有一种自顶向下的方向性。 对于一个一般的图来说,我们将与节点a有...
  • 每周学点大数据 | No.58协同过滤模型(上)

    在下一期中,我们将进一步研究一下协同过滤模型中涉及到的具体问题,更加详细的过滤模型。 更多精彩内容,敬请关注灯塔大数据,每周五不见不散呦!...mr. 王:如果你的概率统计学得不错的话,还会发现,这种以0 为中心的数据求解的余弦相似度就是它们的相关系数。 小可在纸上写下了几个公式,计算了一会儿...
  • 每周学点大数据 | No.67 Hadoop 实践案例——记录去重

    你来想一想这个问题可以怎么解决? 小可 :嗯... 也不能用每一个数据到整个数据集合里面查找啊,这样效率岂不是太低了。 在很多数据库中,都有很多手段来防止重复数据的出现,比如主键机制。 它作为唯一识别数据的标识,是不允许出现重复的。 mr. 王启发道 :想一想之前我们学过哪个例子? 小可顿时恍然大悟 :对了...
  • 每周学点大数据 | No.8基础数据结构之线性表

    no.8期基础数据结构之线性表mr. 王:为了以后的知识描述方便,这里简单介绍一下数据结构的概念。 数据结构是一个广泛存在于计算机科学中的概念。 曾经有一位计算机界的大师说:“数据结构+算法=程序”。 随着计算机科学的发展,虽然现在这个理论被认为不够全面,但也足以说明数据结构的重要性。 小可:这么说,数据...
  • 每周学点大数据 | No.54聚类算法——k-means

    小可:嗯,这样的话计算步骤不就变多了吗? 每一轮多了一个操作,而且确定这个中心点对于海量的数据点来说也是开销很大的吧? mr. 王:没错,不难看出,k- 中心点算法的开销要比k-means 大得多。 所以在实际应用中,我们就要权衡哪一种算法更适合于解决所要进行聚类的大数据集合。 后来,科学家们也开发出了各种数据...
  • 每周学点大数据 | No.57基于内容的推荐方法

    在下一期中,我们将进一步研究一下协同过滤模型,更加详细的过滤模型。 更多精彩内容,敬请关注灯塔大数据,每周五不见不散呦! 文章作者:王宏志 文章...不能利用其他用户的优质判断,这一点既给系统带来了优势,也自然造成了一些问题。 下期精彩预告经过学习,我们了解了一下了解了基于内容的推荐方法...
  • 每周学点大数据 | No.52众包算法例析

    至于阈值的确定,可以通过一些机器学习或者数据挖掘的方法,求出合适的阈值。? mr. 王:如果由人来做,最基本的想法就是,设立一些题目,这些题目给出两个...和簇内点相连的边数、和簇外点相连的边数。? 这个序对从意义上反映了它和簇的关联程度。 接下来选择和簇内关联度高的点。 簇内关联度是一样的,那么选择和...

扫码关注云+社区

领取腾讯云代金券