首页
学习
活动
专区
工具
TVP
发布

PPV课数据科学社区

专栏作者
2119
文章
2427794
阅读量
187
订阅数
一个资深数据人对数据挖掘解读
在银行做了两年的数据分析和挖掘工作,较少接触互联网的应用场景,因此,一直都在思考一个问题,“互联网和金融,在数据挖掘上,究竟存在什么样的区别”。在对这个问题的摸索和理解过程中,发现数据挖掘本身包含很多
小莹莹
2018-04-25
6340
【一文打尽】SQL 数据分析常用语句.....收藏
• 1 基础查询 • 2 字符串\数字\日期时间 • 3 聚合数据查询 • 4 子查询 • 5 联接\组合查询 • 6 高级查询 • 7 更新数据 阅读提醒:点击图片放大可看清晰的 1 基础查询 2 字符串\数字\日期时间 3 聚合数据查询 4 子查询 5 联接\组合查询 6 高级查询 7 更新数据 参考资料 《SQL Server 应用与开发 范例宝典》 http://blog.csdn.net/sky_666/article/details/8627127
小莹莹
2018-04-24
6830
如何从一开始就设计好数据分析的基本框架
关于数据分析,避免6个错误 1.走得太快,没空回头看路 初创公司里的人们仿佛一直在被人念着紧箍咒:“要么快要么死,要么快要么死。”他们是如此着急于产品开发,以至于他们常常没有空想用户对产品的具体使用细节,产品在哪些场景怎么被使用,产品的哪些部分被使用,以及用户回头二次使用产品的原因主要有哪些。而这些问题如果没有数据难以回答。 2.你没有记录足够的数据 光给你的团队看呈现总结出来的数据是没有用的。如果没有精确到日乃至小时的变化明细,你无法分析出来数据变化背后看不见的手。如果只是粗放的,断续的统计,没有人可以解
小莹莹
2018-04-24
5560
【聚焦】后Hadoop时代的大数据架构
提到大数据分析平台,不得不说Hadoop系统,Hadoop到现在也超过10年的历史了,很多东西发生了变化,版本也从0.x进化到目前的2.6版本。我把2012年后定义成后Hadoop平台时代,这不是说不用Hadoop,而是像NoSQL (Not Only SQL)那样,有其他的选型补充。我在知乎上也写过Hadoop的一些入门文章 如何学习Hadoop - 董飞的回答,为了给大家有个铺垫,简单讲一些相关开源组件。 背景篇 Hadoop: 开源的数据分析平台,解决了大数据(大到一台计算机无法进行存储,一台计算机无
小莹莹
2018-04-23
8640
【数据科学】R语言连接数据库
数据是关系数据库系统中存储的统一化格式。 因此,实施我们需要非常先进和复杂的SQL查询统计计算。但是R能够轻松地连接到诸如MySql, Oracle, Sql server等多种关系数据库并且可以从它们的记录转为R中的数据帧。一旦数据是在R环境中可用,就变成了正常R数据集,并可以被操纵或使用所有强大包和函数来进行分析。 在本教程中,我们将使用 MySQL 作为参考数据库,用于连接到 R 中。 RMySQL 软件包 R有一个名为“RMySQL”它提供了与 MySQL 数据库之间的本地连接的内置软件包。可以使用
小莹莹
2018-04-23
1.4K0
【翻译】数据科学的多语言协作编程方式:Python + R + SQL
在这篇文章中,我将试图使用一种新的方法来介绍数据科学编程。 R vs. Python question中集中谈论了数据科学编程的问题,每个人都有自己关于编程的看点,包括受人尊敬的自然杂志(Programming – Pick up Python)。 在这里,我试图让我们跳出R vs. Python类型的争论,转而尝试同时教授R, Python and SQL。为了做到这一点,我们需要首先看看数据科学的第一个大命题(数据科学中我们正在解决的问题),然后看看这些问题是怎么通过不同的
小莹莹
2018-04-23
1.1K0
学习攻略 | 数据分析师学习路线图
数据分析师Data analyst:指熟悉相关业务,熟练搭建数据分析框架,掌握和使用相关的分析常用工具和基本的分析方法,进行数据搜集、整理、分析,针对数据分析结论给管理销售运营提供指导意义的分析意见。 数据分析师职位要求 1. 计算机、统计学、数学等相关专业本科及以上学历; 2. 具有深厚的统计学、数据挖掘知识,熟悉数据仓库和数据挖掘的相关技术,能够熟练地使用SQL; 3. 三年以上具有海量数据挖掘、分析相关项目实施的工作经验,参与过较完整的数据采集、整理、分析和建模工作; 4. 对商业和业务逻辑敏感,
小莹莹
2018-04-23
4.3K0
数据仓库Hive 基础知识(Hadoop)
Hive是基于Hadoop的数据仓库工具,可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理,提供了类似于SQL语言的查询语言–HiveQL,可通过HQL语句实现简单的MR统计,Hive将HQL语句转换成MR任务进行执行。 一、概述 1-1 数据仓库概念 数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反应历史变化(Time Variant)的数据集合,用于支持管理决策
小莹莹
2018-04-23
1.9K0
大数据主流工具,你知道几个?
业内有这样一种说法,SQL虽然在大数据分析领域久经考验,但是无奈长江后浪推前浪,和炙手可热的Hadoop相比,SQL已经过时了。这个说法有点言过其实,现在很多的项目都是将Hadoop作为数据存储,然后利用SQL进行前端查询。这说明Hadoop需要一种高级查询语言的支持。 Hadoop MapReduce虽然能够进行数据分析,但是太复杂了。于是,开发人员开发出了类似SQL的Pig和Hive。   大数据时代,我们有很多的查询工具可以选择。虽然SQL占据着绝对优势,但是随着大数据的持续升温,也给了Apache
小莹莹
2018-04-23
6320
你用了吗?DBA必备的15款MySQL管理工具
如今,Web应用程序的响应速度是成功的关键法宝之一。它与用户互动,用户对网站的看法,甚至谷歌网站排名情况都有着密不可分的关系。数据库性能是响应速度最重要的因素之一,一旦出错,所有程序都将会宕机。 工欲善其事,必先利其器。几乎每一个Web开发人员都有一个最钟爱的MySQL管理工具,它帮助开发人员在许多方面支持包括PostgreSQL,MySQL,SQLite,Redis,MongoDB等在内的多种数据库;提供各种最新的特性,包括触发器、事件、视图、存储过程和外键;此外,它还支持导入、数据备份、MySQL对象结
小莹莹
2018-04-23
4.8K0
笑喷了!20条关于数学及数据分析的冷笑话【爆笑星期天】
1、“我是搞数据分析的, 学会了如何从DW中用SQL对数据ETL并建立了Cube。然后算啊算啊算,得出结论:今年2月份营业收入远远小于其它月份。我试图用spss、sas中 的数据挖掘模型找出原因但至今无果。扫地阿姨弱弱的说"2月份是春节,几乎所有的公司半个月无人上班…"我勒个去…..! 2、一朋友是IT程序员,单身,过年被家人安排去相亲,几经交谈后还是觉得不合适。后来家人问为什么不适合,那哥们随口答了一句:目测这妹纸没C++ 3、晚上去朋友公司随便在楼道抽烟,结果走过来一位阿姨说:你们是做互
小莹莹
2018-04-20
1.5K0
怎样判断一个人是否适合做数据分析?
部门要找几个人做数据分析。现几个人原来是在不同的岗位上的,以前没有做过数据分析,怎么样才能看看出他们是不是适合做数据分析呢,在进行竞聘时使用什么样的题目会比较合适有效呢? 大家有何妙招没? 《网站分析实战》作者joegh支招: 我觉得无论什么工作兴趣最重要,要做数据分析师最基本的就是不讨厌数字,如果你跟他讲那个指标是通过怎么样的乘除加减得到的,他会觉得不耐烦,那么显然他不适合做数据分析;如果对数据较敏感,能够一眼发现异常值,数据分布情况,当然是最好的。 再则就是逻辑性,可以让他试试爱因斯坦的那道经典的逻辑题
小莹莹
2018-04-20
9980
【干货】数据控使用Hadoop的三种最常用方式
Apache Hadoop 2.0正式发布,这是Hadoop领域巨大的里程碑,因为它开启了史无前例的数据存储方式革命。Hadoop保留它典型的“大数据”基础技术,但它是否适合当下数据库及数据仓 库的使用方式?又是否有一种通用模式可以切实降低固有的使用复杂性呢? Hadoop使用的一般模式 Hadoop最初的构想是为像Yahoo、Google、Facebook等这样的公司以非常低的成本来解决大量数据的存储问题。现在,它正被越来 越多地引入企业环境中处理新不同数据类型。机器生成的数据、传感器数据、社交数据、网络
小莹莹
2018-04-20
5820
Android数据库高手秘籍(二)——创建表和LitePal的基本用法
上一篇文章中我们学习了一些Android数据库相关的基础知识,和几个颇为有用的SQLite命令,都是直接在命令行操作的。但是我们都知道,数据库是要和程序结合在一起使用的,单独对一个数据库去进行増删改查操作并没有什么意义,因此今天我们就来学习一下如何在Android程序当中去操作SQLite数据库,还没看过前一篇文章的朋友可以先去参考 Android数据库高手秘籍(一)——SQLite命令 。 操作数据库的第一步当然是创建表了,传统创建表的方法相信大多数人都知道,那么今天我除了会展示传统的建表方法之外,还
小莹莹
2018-04-20
8910
知名SQL和NoSQL数据库相关特性,你能否全部答对?
本排名根据DB Engines的排行榜得来,该排行榜从人气上分析了市场上200个不同的数据库,这里一览Top 10。 无可争议的Top 3 Oracle、MySQL及Microsoft SQLServer一直以绝对的优势霸占着排行榜的前三名,以独特的优势瓜分了市场上最多的用户。 1. Oracle11g 首次发行:1980年 许可机制:Proprietary 是否SQL:是 · Oracle是重要商业项目的首选,同时也是市场上最古老的主流数据库产品 · Oracle有4个不同的版本可用:Enterpris
小莹莹
2018-04-20
8010
【了解】Spark和Hadoop是友,非敌
Spark 在 6 月份取得了激动人心的成绩。在圣何塞举办的 Hadoop 峰会上,Spark 成了人们经常提及的话题和许多演讲的主题。IBM 还在 6 月 15 号宣布,将对 Spark 相关的技术进行巨额投资。 这一声明帮助推动了旧金山 Spark 峰会 的召开。在这里,人们会看到有越来越多的工程师在学习 Spark,也有越来越多的公司在试验和采用 Spark。 对 Spark 的投资和采用形成了一个正向循环,迅速推动这一重要技术的成熟和发展,让整个大数据社区受益。然而,人们对 Spark 的日益关注让
小莹莹
2018-04-20
7350
Android数据库高手秘籍(一)——SQLite命令
要想熟练地操作任何一个数据库,最最基本的要求就是要懂SQL语言,这也是每个程序员都应该掌握的技能。虽说SQL博大精深,要想精通确实很难,但最基本的一些建表命令,增删改查,大家还是必须要学会的。 SQL(Structured Query Language)是一种标准的数据库查询语言,即所有的关系型数据库都会支持它,只不过每种数据库对SQL语言的支持与标准存在着细微的不同。我们无须关心其它数据库对SQL语言的支持情况,这里我们只要把重点放在SQLite上就可以了。下面我将使用模拟器来对SQLite支持的各种
小莹莹
2018-04-19
1.5K0
数据科学家、数据分析师、数据挖掘工程师、数据工程师,你分的清楚吗?
数据科学家(Data scientist)的叫法来自国外,广义上它是对从事数据分析和数据挖掘从业人员的一个泛称,它只是一个头衔,并不是一个职位。狭义上,数据科学家一般是指行业里面的领军人物和顶尖科学人才,如百度前首席数据科学家吴恩达。 在人才市场上我们通常可以看到的是后三个职位(数据分析师、数据挖掘工程师、数据工程师),接下里我们就区分一下这几个职位的相同点和不同点。首先看下企业对这三个职位的要求和描述。 职位和能力 下面是阿里对这3个职位的要求和描述: 数据分析师 岗位描述: 1、独立负责业务数
小莹莹
2018-04-19
1.7K0
【学习】一文读懂大数据(下)
NoSQL 一种称为NoSQL的新形式的数据库(Not Only SQL)已经出现,像Hadoop一样,可以处理大量的多结构化数据。但是,如果说Hadoop擅长支持大规模、批量式的历史分析,在大多数情况下(虽然也有一些例外),NoSQL 数据库的目的是为最终用户和自动化的大数据应用程序提供大量存储在多结构化数据中的离散数据。这种能力是关系型数据库欠缺的,它根本无法在大数据规模维持基本的性能水平。 在某些情况下,NoSQL和Hadoop协同工作。例如,HBase是流行的NoSQL数据库,它仿照谷歌的Big
小莹莹
2018-04-18
5660
【求职】做数据分析师也有三重境界
最近,“大数据”成了媒体解读两会的“利器”。活泼的数据图表一出现,枯燥的政府报告、政策解读都变得有趣和易懂了。   将大数据当作金矿的话,那数据分析师就是掘金人——作为这一新兴产业的弄潮人,他们在人才市场上也是独领风骚哦!普通数据专员月薪3000元以上,高级数据专员年薪可达40万元到50万元。   而最重要的是,通过数据参与企业管理和市场营销,数据分析师成长为企业高层也充满各种可能。   数据分析员究竟工作内容是什么?他们如何工作?进入这行要具备哪些职业素养?本期行当版为你一一解答。   高级数据分析师不好
小莹莹
2018-04-18
1K0
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档