专栏首页美图数据技术团队深入浅出谈「大数据」| MTdata小讲堂

深入浅出谈「大数据」| MTdata小讲堂

欢迎来到 MTData 小讲堂,第一期 MT 酱跟大家聊聊大数据本身

首先来看维基百科是怎么解释的:

Big data is data sets that are so big and complex that traditional data-processing application software are inadequate to deal with them. Big data challenges include capturing data, data storage, data analysis, search, sharing, transfer, visualization, querying, updating, information privacy and data source. There are a number of concepts associated with big data: originally there were 3 concepts volume, variety, velocity. Other concepts later attributed with big data are veracity (i.e., how much noise is in the data) and value. Lately, the term "big data" tends to refer to the use of predictive analytics, user behavior analytics, or certain other advanced data analytics methods that extract value from data, and seldom to a particular size of data set. "There is little doubt that the quantities of data now available are indeed large, but that’s not the most relevant characteristic of this new data ecosystem." Analysis of data sets can find new correlations to "spot business trends, prevent diseases, combat crime and so on."Scientists, business executives, practitioners of medicine, advertising and governments alike regularly meet difficulties with large data-sets in areas including Internet search, fintech, urban informatics, and business informatics. Scientists encounter limitations in e-Science work, including meteorology, genomics, connectomics, complex physics simulations, biology and environmental research.

balabala......

提炼出来就是庞大且复杂又不知道咋处理的数据

背概念太烦

我们通过边边角角来逐步了解吧

先看看大数据有什么特点

介绍完 MT 酱脑海里出现了这个画面

我们要在这堆虫里找到最肥的那几只!!!

言归正传

接下来说说大数据都有哪些技术手段

有了这些技术却依然需要面临种种挑战

海量数据存储系统要有相应等级的扩展能力

由大数据应用拓展的安全问题

「大」意味着成本代价不菲

......

本文分享自微信公众号 - 美图数据技术团队(gh_feb1d206d92b),作者:MT酱

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-07-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 科普 | 贝叶斯概率模型一览

    机器学习狭义上是指代统计机器学习,如图 1 所示,统计学习根据任务类型可以分为监督学习、半监督学习、无监督学习、增强学习等。

    美图数据技术团队
  • 科普 | 贝叶斯概率模型一览

    机器学习狭义上是指代统计机器学习,如图 1 所示,统计学习根据任务类型可以分为监督学习、半监督学习、无监督学习、增强学习等。

    美图数据技术团队
  • Spark任务调度 | Spark,从入门到精通

    欢迎阅读美图数据技术团队的「Spark,从入门到精通」系列文章,本系列文章将由浅入深为大家介绍 Spark,从框架入门到底层架构的实现,相信总有一种姿势适合你,...

    美图数据技术团队
  • 12种用于Python数据分析的Pandas技巧

    本文将介绍12种用于数据分析的Pandas技巧,为了更好地描述它们的效果,这里我们用一个数据集辅助进行操作。

    崔庆才
  • FPGA项目开发:基于FPGA的伪随机数发生器(附代码)

    今天是画师和各位大侠见面了,执笔绘画FPGA江湖,本人写了篇关于FPGA的伪随机数发生器学习笔记,这里分享给大家,仅供参考。

    FPGA技术江湖
  • R分类算法-Logistic回归算法

    逻辑回归 Logistic Regression 所谓LR,就是一个被Logistic方程归一化后的线性回归,可以将非线性的问题转化为线性问题。 优点: ...

    Erin
  • 大数据分析:特征工程

    AI之禅
  • R分类算法-神经网络算法

    神经网络(Artifical Neural Network) 神经网络(人工神经网络),是一种模仿生物网络(动物的中枢神经系统,特别是大脑)的结构和功能的数学模...

    Erin
  • 直接扩频通信(中)Verilog 实现

    今天给大侠带来直接扩频通信,由于篇幅较长,分三篇。今天带来中篇,也是第二篇,系统的 verilog 实现 。话不多说,上货。

    FPGA技术江湖
  • 学习笔记 | 基于FPGA的伪随机数发生器(附代码)

    今天是画师本人第一次和各位大侠见面,执笔绘画FPGA江湖,本人写了篇关于FPGA的伪随机数发生器学习笔记,这里分享给大家,仅供参考。

    FPGA技术江湖

扫码关注云+社区

领取腾讯云代金券