首页
学习
活动
专区
工具
TVP
发布

大数据

多年海量数据处理经验,化数据为力量
专栏作者
174
文章
274484
阅读量
108
订阅数
如何查询InfluxDB
InfluxDB是一个很流行的基于时间序列的数据库,下面是这个数据库的最基本的查询命令。InfluxDB使用类SQL(实际上它就是一种特殊的“SQL”)的语言。
大数据弄潮儿
2018-05-21
10.8K1
Python 101:如何从RottenTomatoes爬取数据
今天,我们将研究如何从热门电影网站Rotten Tomatoes爬取数据。你需要在这里注册一个API key。当你拿到key时,记下你的使用限制(如每分钟限制的爬取次数)。你不要对API进行超限调用,这可能会使key失效。最后,阅读你将要使用的API的文档是一个好办法。这里有几个链接:
大数据弄潮儿
2018-05-14
2.2K0
如何设计企业级大数据分析平台?
传统企业的OLAP几乎都是基于关系型数据库,在面临“大数据”分析瓶颈,甚至实时数据分析的挑战时,在架构上如何应对?本文试拟出几个大数据OLAP平台的设计要点,意在抛砖引玉。 一、突破设计原则 建设企业
企鹅号小编
2018-02-01
1.3K0
mysql联合索引详解
上一篇文章:mysql数据库索引优化 比较简单的是单列索引(b+tree)。遇到多条件查询时,不可避免会使用到多列索引。联合索引又叫复合索引。 b+tree结构如下: 每一个磁盘块在mysql中是一个页,页大小是固定的,mysql innodb的默认的页大小是16k,每个索引会分配在页上的数量是由字段的大小决定。当字段值的长度越长,每一页上的数量就会越少,因此在一定数据量的情况下,索引的深度会越深,影响索引的查找效率。 📷 对于复合索引(多列b+tree,使用多列值组合而成的b+tree索引)。遵循最左侧原
企鹅号小编
2018-01-29
8.5K2
故障分析:数据库一致性关闭缓慢问题诊断
想必我们大家都知道,Shutdown immediate即一致性关闭数据库,数据库下次启动不需要做实例恢复即可open数据库。那么当数据库一致性关闭出现缓慢等状况时,该怎么办呢?那我们就来一起分析一下,数据库一致性关闭缓慢问题。 shutdown immediate在数据库中会做哪些操作? 📷 从以上图得知在shutdownimmediate关闭数据库只需要在数据库中强制选择检查点并关闭文件,不需要等待当前事物处理结束,不需要等待当前会话结束,不允许新连接。 引发shutdown immediate slo
企鹅号小编
2018-01-25
6230
关注专栏作者,随时接收最新技术干货
Techeek
腾讯产品运营
花落花飞去
腾讯社区运营
QiqiHe
腾讯产品运营
Zzreal的大数据笔记-SparkDay04
Spark SQL SparkSQL的前身是Shark,它抛弃原有Shark的代码,汲取了Shark的一些优点,如内存列存储(In-Memory Columnar Storage)、Hive兼容性等,重新开发了SparkSQL代码;由于摆脱了对Hive的依赖性,SparkSQL无论在数据兼容、性能优化、组件扩展方面都得到了极大的方便。 1、Spark SQL性能 Spark SQL比hive快10-100倍,原因: 内存列存储( In- Memory Columnar Storage ) 📷 基于Row的J
企鹅号小编
2018-01-24
7390
以大数据之名,变身!——In big data we trust
先关注一则旧闻11月20日,德国联邦网络局禁止在该国销售儿童智能手表,穿戴设备的麦克风,可让家长听到孩子的环境,涉嫌侵犯他人隐私。另10月,挪威消费者理事会在报告中指出,部分儿童手表存在漏洞,在没有加密的情况下传输和存储数据。上面都是过去式,中国家长说好,觉得无所谓啊! 再一则比较严重的,也是本期核心:12月19日,德国联邦卡特尔局(Federal Cartel Office,FCO)裁定,指控Facebook,通过其社交网络之外的第三方收集和转移用户数据。大规模收集用户个人数据提出了警告,称这有违
企鹅号小编
2018-01-23
1.1K0
10大数据挖掘算法及其简介
AiTechYun 编辑:xiangxiaoshan 我希望你能把这篇文章作为一个跳板,学习更多关于数据挖掘的知识。 算法如下: 1. C4.5 2. k-means 3. 支持向量机 4. Apriori 5. EM 6. PageRank 7. AdaBoost 8. kNN 9. Naive Bayes 10. CART 1.C4.5 C4.5以决策树的形式构造了一个分类器。为了做到这一点,C4.5给出了一组已经分类的数据。分类器是数据挖掘中的一个工具,它取一堆数据来表示我们想要分类的东西,并试图预测
企鹅号小编
2018-01-19
8410
零基础小白成为大数据技术专家必知的学习历程
每天都会有很多小白在社交平台上问我:“青牛没有基础可以学习大数据吗?能不能学的懂啊?我不懂java可以学大数据吗?”,针对这些基础性的问题,我写了这篇文章,希望能够帮助到所有想学大数据技术的人们。 学习大数据首先我们要学习Java语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后。 📷 Java 大家都知道Java的方向有JavaSE、JavaEE、JavaME,学习大数据要学习那个方向呢?只需要学习Java的标准版JavaSE就可以了,像Servlet、JSP、Tomcat、Strut
企鹅号小编
2018-01-17
8950
数据管理—reshape2包
本文讲述了数据准备和数据管理的重要性,以及使用dplyr和reshape2包进行数据操作的具体例子。数据管理包括数据准备、数据操作和数据可视化,而数据准备又包括数据清洗、数据转换和数据合并等。通过使用这些工具,可以更好地处理和分析数据,从而得出有用的结论。
企鹅号小编
2017-12-27
6950
大数据生态圈到底是一个什么概念?和我们有关系吗?
企鹅号小编
2017-12-26
7110
Solr:不止于文字
本文介绍了Solr的发展历程、功能特性、适用场景以及其在大数据分析领域的应用。Solr是一个高性能的搜索和大数据分析引擎,它具有高可用性、分面搜索、动态聚类、大数据实时分析等功能。在大数据领域,Solr已经成为了一个重要的工具,可以帮助企业处理海量数据,实现快速搜索、文档聚类和大数据实时分析等功能。
花落花飞去
2017-12-21
1.3K0
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档