腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

CSDN技术头条

专栏作者

1128

文章

1396059

阅读量

132

订阅数

为什么说 NLP 将是未来数据领域的珠峰？

NLP 服务数据库大数据数据处理

人工智能或许是人类最美好的梦想之一。追溯到公元前仰望星空的古希腊人，当亚里士多德为了解释人类大脑的运行规律而提出了联想主义心理学的时候，他恐怕不会想到，两千多年后的今天，人们正在利用联想主义心理学衍化而来的人工神经网络，构建的超级人工智能成为最能接近梦想的圣境，并一次又一次地挑战人类大脑认知的极限。

CSDN技术头条

2018-12-24

5320

漫谈千亿级数据优化实践：一次数据优化实录

大数据数据处理 hive

即使没有数据倾斜，千亿级的数据查询对于系统也是一种巨大负担，对于数据开发来说，如何来优化它，既是挑战，也是机遇！

CSDN技术头条

2018-02-13

1.6K0

随笔｜关于数据感悟

➤明确技术与业务的关系知识和发明来自实践和生产的实际需要，OSI的7层模型再美、再学院化也没有干过TCP/IP。切莫强求技术驱动，技术职责第一要务是做好深度服务业务。数据产品不同于一般业务系统。隔行如隔山，跨部门项目往往对双方团队的时间管理、利益妥协、沟通协作和交付提出了很高很难的要求，数据产品要有价值，必须获取足量、高质的数据，建立跨部门、跨业务的统一数据视图前景美妙但步履维艰，保持持久热情、对数据产品的价值心里有数并尽可能地获取资源上的支持，是技术之外的重要话题。 ➤价值导向，数据平台架构的策略、

CSDN技术头条

2018-02-13

5730

宜人贷YEP共享平台构建实践

爬虫 hadoop 数据库数据处理 sql

宜人贷（NYSE: YRD）是中国领先的在线金融服务平台，由宜信公司2012年推出。宜人贷通过科技驱动金融创新，为中国优质城市白领人群提供高效、便捷、个性化的信用借款咨询服务；通过“宜人财富”为大众富裕阶层提供安全、专业的财富管理服务。2015年12月18日，宜人贷在美国纽约证券交易所成功上市，成为中国金融科技第一股。而伴随着近年来“互联网+”发展的大潮，互联网+金融市场异常活跃，通过互联网进行金融服务的支付、在线保险、P2P网贷等互联网金融平台数量剧增，发展态势异常火爆，尤以宜人贷为代表的P2P网贷发展

CSDN技术头条

2018-02-13

1.1K0

携程实时用户数据采集与分析系统

大数据数据处理

一、携程实时用户数据采集系统设计实践随着移动互联网的兴起，特别是近年来，智能手机、pad等移动设备凭借便捷、高效的特点风靡全球，同时各类APP的快速发展进一步降低了移动互联网的接入门槛，越来越多的网民开始从传统PC转移至移动终端上。但传统的基于PC网站和访问日志的用户数据采集系统已经无法满足实时分析用户行为、实时统计流量属性和基于位置服务（LBS）等方面的需求。我们针对传统用户数据采集系统在实时性、吞吐量、终端覆盖率等方面的不足，分析了在移动互联网流量剧增的背景下，用户数据采集系统的需求，研究在多种访

CSDN技术头条

2018-02-12

2.8K0

大数据实时处理实战

大数据数据处理

随着互联网时代的发展，运营商作为内容传送的管道服务商，在数据领域具有巨大的优势，如何将这些数据转化为价值，越来越被运营商所重视。运营商的大数据具有体量大，种类多的特点，如各类话单、信令等，通常一种话单每天的数据量就有上百亿条。随着业务分析需求对数据处理实时性的要求越来越高，也给我们的大数据处理架构带来了巨大的挑战，参照网络上可查的例子，运用到实际处理架构上，经常会因为实时数据流量大，造成系统运行不稳定及各种异常。从大数据实时处理架构开发到上线，耗时近2个月时间，经过大量优化，我们的系统才趋于稳定。最终我们

CSDN技术头条

2018-02-12

2.2K0

Apache Beam：下一代的数据处理标准

分布式数据处理

Apache Beam（原名Google DataFlow）是Google在2016年2月份贡献给Apache基金会的孵化项目，被认为是继MapReduce、GFS和BigQuery等之后，Google在大数据处理领域对开源社区的又一贡献。Apache Beam的主要目标是统一批处理和流处理的编程范式，为无限、乱序，Web-Scale的数据集处理提供简单灵活、功能丰富以及表达能力十分强大的SDK。Apache Beam项目重点在于数据处理的编程范式和接口定义，并不涉及具体执行引擎的实现。本文主要介绍Apac

CSDN技术头条

2018-02-12

1.5K0

流动的数据——使用 RxJS 构造复杂单页应用的数据逻辑

我们经常见到这么一些场景：微博的列表页面；各类协同工具的任务看板，比如 Teambition。这类场景的一个共同特点是：由若干个小方块构成；每个小方块需要以一个业务实体为主体（一条微博，一个

CSDN技术头条

2018-02-12

2.1K0

实时流处理系统的用例

hadoop 数据处理 apache 编程算法

本文阐述了为什么比起Hadoop之类的知名技术，类似Apache Storm这样的系统更加有用。让我们以经典的笔记本品牌实时情感分析（SENTIMENT ANALYSIS）为例，在进行观点分析时，

CSDN技术头条

2018-02-12

8070

冉起新秀：Apache六大尚未广为人知的大数据项目

apache 大数据数据处理开源 spark

世界各地无数的组织，他们使用的数据现在日益庞大而复杂，使用传统的数据处理程序已无法再进行优化分析及获得洞察。而这正是的新一代的大数据应用程序要解决的问题。近期Apache软件基金会（ASF）又将一批有趣的开源大数据项目毕业为的Apache顶级项目。这意味着，这些项目将能够得到积极的发展和社区的大力支持。大多数人都听过的Apache Spark，一个针对Streaming, SQL，机器学习和图形处理的内置模块的大数据处理架构。 IBM和其他公司正在投入数十亿美金开发资金到Spark项目，NASA和SETI

CSDN技术头条

2018-02-12

7830

大数据项目中的资源供给困局

大数据数据处理数据库

经过了轰轰烈烈的发展高潮，大数据技术作为一个无论内涵还是外延都不断增长的概念获得越来越多的认可。随着媒体关于大数据传奇的宣传，市场被吊足了胃口，在整个IT领域关于大数据的需求构成了压倒性的态势，可毕竟“巧妇难为无米之炊”，几乎每家机构都感觉数据不够用，这说明数据市场的供需关系严重偏离均衡水平，可面对现实中高价值数据源往往是“铁路警察、各管一段”的现状，似乎简单实现横向扩张很困难；但“缺数据”并不是唯一的困难，“压数据”（数据过剩和低效使用）同样存在，一方面社会上存在大量数据供应商，机构根据“可能的”需求采

CSDN技术头条

2018-02-11

5220

星环科技创始人兼CTO孙元浩：现代数据仓库的技术演变和关键特性

大数据数据处理

【CSDN现场报道】2015年12月10-12日，由中国计算机学会（CCF）主办，CCF大数据专家委员会承办，中国科学院计算技术研究所、北京中科天玑科技有限公司与CSDN共同协办，以“数据安全、深度分析、行业应用”为主题的 2015中国大数据技术大会（Big Data Technology Conference 2015，BDTC 2015）在北京新云南皇冠假日酒店盛大开幕。 2015中国大数据技术大会首日全体会议中，星环科技创始人兼CTO孙元浩带来了名为“现代数据仓库的技术演变和关键特性”的主题演讲。

CSDN技术头条

2018-02-11

5810

Autodesk基于Mesos的通用事件系统架构

数据处理 apache 系统架构

【编者按】本文由Autodesk Cloud软件架构师Olivier Paugam撰写，解释了如何集合Mesos、Kafka、RabbitMQ、Akka、Splunk、Librato、EC2等基础设施解决实际问题。此外，以如此小规模的团队解决问题确实令人赞叹。以下为分享原文：数月前分到了一项新的任务：做一个集中事件系统（central eventing system），允许各个后端彼此通讯——包括动态流式（activity streaming）后端、渲染、数据转换、BIM、日志报告、分析等等。最终确定，

CSDN技术头条

2018-02-09

8830

使用GPU和Theano加速深度学习

数据处理机器学习 python 深度学习

【编者按】GPU因其浮点计算和矩阵运算能力有助于加速深度学习是业界的共识，Theano是主流的深度学习Python库之一，亦支持GPU，然而Theano入门较难，Domino的这篇博文介绍了如何使用GPU和Theano加速深度学习，使用更简单的基于Theano的 Nolearn库。教程由多层感知器及卷积神经网络，由浅入深，是不错的入门资料。基于Python的深度学习实现神经网络算法的Python库中，最受欢迎的当属Theano。然而，Theano并不是严格意义上的神经网络库，而是一个Python库，它可

CSDN技术头条

2018-02-09

1.5K0

深度长文丨大数据，小数据，哪道才是你的菜？

数据处理大数据数据库

美国著名科技历史学家梅尔文•克兰兹伯格（Melvin Kranzberg），曾提出过大名鼎鼎的科技六定律，其中第三条定律是这样的[1]：“技术是总是配“套”而来的，但这个“套”有大有小（Technology comes in packages, big and small）”。这个定律用在当下，是非常应景的。因为，我们正步入一个“大数据（big data）”时代，但对于以往的“小数据（small data）”，我们能做到“事了拂衣去，深藏身与名”吗？答案显然不是。目前，大数据的前途似乎“星光灿烂”，但小数

CSDN技术头条

2018-02-09

3.1K0

在Apache Spark上跑Logistic Regression算法

spark 大数据数据处理机器学习 apache

本文旨在介绍使用机器学习算法，来介绍Apache Spark数据处理引擎。我们一开始会先简单介绍一下Spark，然后我们将开始实践一个机器学习的例子。我们将使用Qualitative Bankruptcy数据集，来自UCI机器学习数据仓库。虽然Spark支持同时Java，Scala，Python和R，在本教程中我们将使用Scala作为编程语言。不用担心你没有使用Scala的经验。练习中的每个代码段，我们都会详细解释一遍。 APACHE SPARK Apache Spark是一个开源的集群计算框架，用Spa

CSDN技术头条

2018-02-09

1.3K0

来自大数据的反思：需要你读懂的10个小故事

数据处理大数据数据库

自2011年以来，大数据旋风以“迅雷不及掩耳之势”席卷中国。毋庸置疑，大数据已然成为继云计算、物联网之后新一轮的技术变革热潮，不仅是信息领域，经济、政治、社会等诸多领域都“磨刀霍霍”向大数据，准备在其中逐得一席之地。中国工程院李国杰院士更是把大数据提升到战略的高度，他表示【1】，数据是与物质、能源一样重要的战略资源。从数据中发现价值的技术正是最有活力的软技术，在数据技术与产业上的落后，将使我们像错过工业革命机会一样延误一个时代。在这样的认知下，“大数据”日趋变成大家“耳熟能详”的热词。图1所示的是谷

CSDN技术头条

2018-02-09

9120

卷积神经网络CNN

数据处理神经网络卷积神经网络

本文学习笔记的部分内容参考zouxy09的博客，谢谢！ http://blog.csdn.net/zouxy09/article/details/8775360 什么是卷积卷积如果改名为“加权平均积”，就会很好理解了。卷积的离散形式就是常用的加权平均，而连续形式则可理解为对连续函数的加权平均。假如我们观测或计算出一组数据，但数据由于受噪音的污染并不光滑，我们希望对其进行人工处理。那么，最简单的方法就是加权平均。实际上加权平均是两个序列在做离散卷积，其中一个序列是权重，另一个序列是原数据。试想若把序列换为函

CSDN技术头条

2018-02-09

2.2K0

深度长文丨大数据专家Bernard Marr：大数据是如何对抗癌症的？

大数据数据处理数据分析

导语：Bernard Marr是大数据布道者，著名科技作家，顶级商业数据专家。本文只有一小部分编译于Bernard Marr写的文章，编译者又扩写了70％的内容。为什么要编译这篇文章，一方面是讲述大数据在生活中的应用，另一方面，作者则写了一些话：通过编译与癌症有关的文献得知，有近90%的癌症患病风险与人们的生活方式密切相关，而程序员群体的生活方式，很多都处于不健康或亚健康状态，如熬夜、加班、抽烟、缺乏运动，都是很多程序员的日常生活状态。我们与其用寄希望于用最先进的技术（如大数据）来诊断和治疗癌症，远远不

CSDN技术头条

2018-02-09

9090

大数据与商业的未来

大数据数据处理数据挖掘

信息乃是企业的根本，几千年以来都是如此。但是认为大数据只不过是信息发展的延续可就大错特错了。时至今日我们获取的信息比以往任何时候都多，信息的重要性却超出了仅仅是知道得多做得多的水平。量变引起了质变

CSDN技术头条

2018-02-09

5520

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态