首页
学习
活动
专区
工具
TVP
发布

PPV课数据科学社区

专栏作者
2119
文章
2440837
阅读量
187
订阅数
【观点】最适合数据分析师的数据库为什么不是MySQL?!
数据分析师都想使用数据库作为数据仓库处理并操作数据,那么哪一款数据库最合适分析师呢? 虽然网上已经有很多对各种数据库进行比较的文章,但其着眼点一般都是架构、成本、可伸缩性和性能,很少考虑另一个关键因素:分析师在这些数据库上编写查询的难易程度。最近,Mode的首席分析师Benn Stancil发布了一篇文章,从另一个角度阐释了哪一款数据库最适合数据分析师。 Benn Stancil认为数据分析工作不可能一蹴而就,分析师在使用数据库的过程中阻碍他们速度的往往不是宏观上的性能,而是编写查询语句时的细节。例如,在
小莹莹
2018-04-25
2.9K0
MySQL 处理海量数据时的一些优化查询速度方法
在参与实际项目中,当 MySQL 表的数据量达到百万级时,普通的 SQL 查询效率呈直线下降,而且如果 where 中的查询条件较多时,其查询速度无法容忍。想想可知,假如我们查询淘宝的一个订单详情,如果查询时间高达几十秒,这么高的查询延时,任何用户都会抓狂。因此如何提高 SQL 语句查询效率,显得十分重要。 查询速度慢的原因 1、没有索引或者没有用到索引(这是查询慢最常见的问题,是程序设计的缺陷) 2、I/O 吞吐量小,形成了瓶颈效应。 3、没有创建计算列导致查询不优化。 4、内存不足 5、网络速度慢
小莹莹
2018-04-24
2.2K0
【学习笔记】MySQL的常用操作命令整理
缘由:初次接触命令行操作MySQL数据库,使用还不熟练,故整理之,方便日后查阅。 备注: 用户登录MySQL后,对数据库操作的命令基本都以”;” 或 “g”结尾。 一. MySQL服务操作: 启动MySQL服务: net start mysql 停止MySQL服务: net stop mysql 进入MySQL数据库: mysql -h 主机地址 -u用户名 -p用户密码 退出MySQL操作: quit; 刷新数据库: flush privileges; 创建数据库用户: 一次可以创建多个数据库用户,如:
小莹莹
2018-04-24
9470
HBase在腾讯大数据的应用实践
前言 随着腾讯产品与技术的发展,几乎任何一个与用户相关的在线业务的数据量都在亿级别,每日系统调用次数从亿到百亿,对海量数据的高效插入和快速读取变得越来越重要。而传统关系型数据库模式固定、强调参照完整性、数据的逻辑与物理形式相对独立等,比较适用于中小规模的数据,但对于数据的规模和并发读写方面进行大规模扩展时,RDBMS性能会大大降低,分布式更为困难。 为什么会选择HBase? 高可靠性。HBase是运行在Hadoop上的NoSQL数据库,它的数据由HDFS做了数据冗余,具有高可靠性。同时TDW(腾讯分布式数据
小莹莹
2018-04-24
9690
大数据分析需要把hbase、mysql等数据导入hive吗?
看做什么,如果不需要对数据进行实时处理,那么大部分情况下都需要把数据从hbase/mysql(数据库)“导入”到hive(数据仓库)中进行分析。“导入”的过程中会做一些元数据转换等操作。 相关知识如下 数据仓库的几个概念 http://www.ppvke.com/Blog/archives/27862 什么是OLTP? 联 机事务处理系统(OLTP),也称为面向交易的处理系统,其基本特征是顾客的原始数据可以立即传送到计算中心进行处理,并在很短的时间内给出处理结果。也 称为实时系统(Real time S
小莹莹
2018-04-23
1.6K0
【学习】什么数据库最适合数据分析师
有奖转发活动 回复“抽奖”参与《2015年数据分析/数据挖掘工具大调查》有奖活动。 文 | 孙镜涛 来源 | InfoQ 数据分析师都想使用数据库作为数据仓库处理并操作数据,那么哪一款数据库最合适分析师呢?虽然网上已经有很多对各种数据库进行比较的文章,但其着眼点一般都是架构、成本、可伸缩性和性能,很少考虑另一个关键因素:分析师在这些数据库上编写查询的难易程度。最近,Mode的首席分析师Benn Stancil发布了一篇文章,从另一个角度阐释了哪一款数据库最适合数据分析师。 Benn Stancil认为数据分
小莹莹
2018-04-23
1.1K0
【学习】MySQL入门书籍和方法分享
作者:卢钧轶 出处:CENALULU’S TECH BLOG 本文罗列了一些适用于MySQL及运维入门和进阶使用的书籍。 背景:各大论坛上总是有很多同学咨询想学习数据库,或者是为入行DBA做些准备。几年来作为一个MySQL DBA的成长过程有一些积累和感悟,特此拿出来和大家分享。 ---- SQL 入门 在准备成为MySQL DBA之前,能熟练的编写SQL是一个必要条件。exists 和 join之间的等价转换;基本的行列转换;SQL 循环等的熟练掌握对之后的运维和调优工作都有很大的帮助。 推荐书籍: 《S
小莹莹
2018-04-23
1.1K0
工具 | 大数据系列(5)——Hadoop集群MYSQL的安装
文|指尖流淌 前言 有一段时间没写文章了,最近事情挺多的,现在咱们回归正题,经过前面四篇文章的介绍,已经通过VMware安装了Hadoop的集群环境,相关的两款软件VSFTP和SecureCRT也已经正常安装了。 本篇主要介绍在大数据应用中比较常用的一款软件Mysql,我相信这款软件不紧紧在大数据分析的时候会用到,现在作为开源系统中的比较优秀的一款关系型开源数据库已经被很多互联网公司所使用,而且现在正慢慢的壮大中。 在大数据分析的系统中作为离线分析计算中比较普遍的两种处理思路就是:1、写程序利用mapp
小莹莹
2018-04-23
1.2K0
【学习】百万级别数据,数据库Mysql,Mongodb,Hbase如何选择?
情况说明: 现在需要做一个数据存储,500w左右的数据,日后每天大约产生5w条左右的数据。想把这些数据存储起来,供日后的数据分析用?使用上面说的三种数据库中的哪中比较好?是否有必要建立集群? 个人看法是:从长远角度看,由于单台机器的性能瓶颈,后期肯定要做集群,单纯的做复制最终也无法缓解单台master上读的负担。因此,使用mysql的话会使用cluser。但是了解到mysql的cluser要用好的化还要做负载均衡,而mysql的均衡器是第三方的,无法很好的与mysql整合。使用mongodb的自动分片集
小莹莹
2018-04-23
1.9K0
你用了吗?DBA必备的15款MySQL管理工具
如今,Web应用程序的响应速度是成功的关键法宝之一。它与用户互动,用户对网站的看法,甚至谷歌网站排名情况都有着密不可分的关系。数据库性能是响应速度最重要的因素之一,一旦出错,所有程序都将会宕机。 工欲善其事,必先利其器。几乎每一个Web开发人员都有一个最钟爱的MySQL管理工具,它帮助开发人员在许多方面支持包括PostgreSQL,MySQL,SQLite,Redis,MongoDB等在内的多种数据库;提供各种最新的特性,包括触发器、事件、视图、存储过程和外键;此外,它还支持导入、数据备份、MySQL对象结
小莹莹
2018-04-23
4.8K0
知名SQL和NoSQL数据库相关特性,你能否全部答对?
本排名根据DB Engines的排行榜得来,该排行榜从人气上分析了市场上200个不同的数据库,这里一览Top 10。 无可争议的Top 3 Oracle、MySQL及Microsoft SQLServer一直以绝对的优势霸占着排行榜的前三名,以独特的优势瓜分了市场上最多的用户。 1. Oracle11g 首次发行:1980年 许可机制:Proprietary 是否SQL:是 · Oracle是重要商业项目的首选,同时也是市场上最古老的主流数据库产品 · Oracle有4个不同的版本可用:Enterpris
小莹莹
2018-04-20
8050
没有更多了
社区活动
RAG七天入门训练营
鹅厂大牛手把手带你上手实战
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档