最近几天推送频率之所以下降了,不是因为偷懒,是在攻克一个难题~ 还记得前一篇推送,关于山东省财政数据可视化那一篇,因为没有精准、最新的山东省县级市边界地图素材数据,花了好多冤枉功夫,搜地图素材各种碰壁,最后的得到的地图数据并不尽如人意。 现在shp的素材相比json整体都不太流行了,无论是制作成本上还是占用内存上以及与实际行政区划的更新速度上,json地图素材轻便、时效、易获取,很多网站都提供这种轻量级的数据文件。 可是json文件遵循的JS语法,导入R中之后,全部被强制转化为各种嵌套的list、data.
list是R语言中包容性最强的数据对象,几乎可以容乃所有的其他数据类型。 但是包容性最强也也意味着他对于内部子对象的类型限制最少,甚至内部可以存在递归结构,这样给我们提取数据带来了很大的困难。 如果你对R语言的list结构非常熟悉,又熟练控制流等函数的操作,自然可以通过构建循环来完成目标数据的提取。但是在数据量大、结构及其复杂的情形下,自建循环无论是性能还是代码量上都很不经济。 好在确实有开发者在针对list数据结构进行操作上的优化,任坤老师的大作——rlist就是一个强大的list解析神器,它可以让我们像
本文介绍了基于R语言的SparkR和基于Python的Spark-Python两个大数据平台的交互方式。主要内容包括:1.基于R语言的SparkR,支持R语言的所有统计函数和绘图功能;2.基于Python的Spark-Python,支持Python的多种数据处理和机器学习库;3.通过SparkR和Spark-Python交互,实现大数据的交互式分析。
目录: windows命令行中执行R dataframe 常用函数、变量 1、windows命令行中执行R 前提:已经把R的命令目录加入了系统路径中。 在windows中,命令行执行R可以用以下两种方式: (1)RCMD BATCH xxx.r 这种方式也可以写成”r cmd BATCH“、”rcmd BATCH“、”R CMD BATCH“,这几个命令都是一样的,随便你用哪个 这种方式的输出结果不是直接显示在命令行中,而是会在r文件相同路径下,自动创建一个xxx.r.Rout文本文件,输出的内容在这个文
DataFrame DataFrame 是一个表格或者类似二维数组的结构,它的各行表示一个实例,各列表示一个变量。 一. DataFrame数据流编程 二. 数据读取 readr/httr/DBI 1
5.3 增加新一列 e.p df1$p.value <- c(0.01,0.02,0.07,0.05)
之前曾经写过一篇关于知乎live课程信息爬取的短文,那个直接遍历的知乎live主页上展示的部分课程,仅仅是很小的一部分。 今日这一篇将是该小项目的升级版,直接对live主页的课程按照模块进行二级页面的遍历,这样可以抓取更加丰富的课程信息,本次一共获取课程数目将近800+ 对于课程页抓包分析详情,这里不再赘述,想要了解的可以看这一篇旧文,本篇内容仅对二级页面的遍历思路进行整理。 R语言爬虫实战——知乎live课程数据爬取实战 因为课程数相对较多,这里使用cookie直接登录,需要获取cookie值。 lib
旭日图是饼图的一种扩展,每一层都展示一组分类的比例。sunburstR可绘制交互式旭日图
list是R中非常重要的一个基本数据结构,它可以任意嵌套其他的任意数据结构,所以很多数据结构的核心也是由list来完成的。
今天在使用连接操作时发现:虽然都是合并操作函数,dplyr 包里的 *_join() 和基础包里面的 merge() 存在差异,不同的数据结构,结果也会存在偏差。
1、merge(a,b),纯粹地把两个数据集合在一起,没有沟通a、b数据集的by,这样出现的数据很多,相当于a*b条数据;
设计目的:进行地理文件的加载、数据转换及基础处理,将地理信息数据与业务数据的融合(sp与sf数据模型),添加地理标签,应用地理坐标轴,最终完成一个地理空间可视化的小demo。
在真实的数据科学世界里,我们会有两个极端,一个是业务,一个是工程。偏向业务的数据科学被称为数据分析(Data Analysis),也就是A型数据科学。偏向工程的数据科学被称为数据构建(Data Building),也就是B型数据科学。 从工具上来看,按由业务到工程的顺序,这个两条是:EXCEL >> R >> Python >> Scala 在实际工作中,对于小数据集的简单分析来说,使用EXCEL绝对是最佳选择。当我们需要更多复杂的统计分析和数据处理时,我们就需要转移到 Python和R上。在确定工程实施和大数据集操作时,我们就需要依赖Scala 的静态类型等工程方法构建完整的数据分析系统。 Scala和Excel是两个极端,对于大多数创业公司而言,我们没有足够多的人手来实现专业化的分工,更多情况下,我们会在Python和R上花费更多的时间同时完成数据分析(A型)和数据构建(B型)的工作。而许多人也对 Python和R的交叉使用存在疑惑,所以本文将从实践角度对Python和R中做了一个详细的比较。
上篇我们了解了Python中pandas内封装的关于数据框的常用操作方法,而作为专为数据科学而生的一门语言,R在数据框的操作上则更为丰富精彩,本篇就R处理数据框的常用方法进行总结: 1.数据框的生成 利用data.frame()函数来创建数据框,其常用参数如下: ...:数据框的构成向量的变量名,顺序即为生成的数据框列的顺序 row.names:对每一行命名的向量 stringAsFactors:是否将数据框中字符型数据类型转换为因子型,默认为FALSE > a <- 1:10 > b <- 10:1 >
1、R中的数据结构-Array #一维数组 x1 <- 1:5; x2 <- c(1,3,5,7,9) x3 <- array(c(2, 4, 6, 8, 10)) #多维数组 xs <- array(1:24, dim=c(3,4,2)) #访问 x1[3] x2[c(1,3,5)] x3[3:5] xs[2, 2, 2] xs[2, 2, 1] #增加 x1[6] <- 6 x2[c(7, 9, 11)] <- c(11, 13, 15) #动态增加 x1[length(x1) + 1] <
本文介绍了笑哭的15种样式,包括emoji格式、字符串格式、图片格式、函数格式等。这些样式可以用于微信和朋友圈的分享,也可以用于写论文、写报告等场景。
apply函数族是R语言中数据处理的一组核心函数,通过使用apply函数,我们可以实现对数据的循环、分组、过滤、类型控制等操作。但是,由于在R语言中apply函数与其他语言循环体的处理思路是完全不一样的,所以apply函数族一直是使用者玩不转一类核心函数。
对于data.frame大家应该很熟悉,它可以存储不同数据类型的向量数据。今天给大家介绍一个升级版的data.frame,其不仅可以存储不同数据类型还可以进行多列的并行运算。包的安装我们就不再赘述了(install.packages(“data.table”))。
tibble 是一种简单数据框,它对传统数据框的功能进行了一些修改,其所提供的简单数据框更易于在 tidyverse 中使用。
数据的下载和之前的教程一样【14-TCGA数据库下载整理】。只不过这里选择的是STAR-Counts了。加入购物车后下载下面的文件。
前面我们讲了R批量下载B细胞和T细胞受体VDJ序列文件,那么如何将这些fasta序列读到R里面,方便后面处理呢?今天小编就给大家演示一下如何利用R将fasta序列转成data.frame。我们就用上次下载到的BCR的VDJ序列为例,7个fasta文件存放在BCR_seq文件夹中。
这天,接到了生信技能树创始人jimmy老师的一个任务,要重复一篇CELL文章中的一个图示:
Data Frame一般被翻译为数据框,感觉就像是R中的表,由行和列组成,与Matrix不同的是,每个列可以是不同的数据类型,而Matrix是必须相同的。
1.创建数据集/矩阵【data.frame数据框、matrix矩阵、array数组】
R语言data.table包是自带包data.frame的升级版,用于数据框格式数据的处理,最大的特点快。包括两个方面,一方面是写的快,代码简洁,只要一行命令就可以完成诸多任务,另一方面是处理快,内部处理的步骤进行了程序上的优化,使用多线程,甚至很多函数是使用C写的,大大加快数据运行速度。因此,在对大数据处理上,使用data.table无疑具有极高的效率。这里我们主要讲的是它对数据框结构的快捷处理。
大家好,我是飞哥,很多时候,我们需要对Excel进行批量处理,毕竟,没有批量二字,就彰显不出程序员的气质。
本文作者:任坤,厦门大学王亚南经济研究院金融硕士生,研究兴趣为计算统计和金融量化交易,pipeR,learnR,rlist等项目的作者。
比如 Horticulture Research 中的论文 Comparative analysis of long noncoding RNAs in angiosperms and characterization of long noncoding RNAs in response to heat stress in Chinese cabbage 方法部分写道
本文作者蒋刘一琦,自嘲是一个有艺术追求的生信狗,毕业于浙江大学生物信息学专业,目前在复旦大学就读研究生,研究方向为宏基因组。
net<-graph_from_data_frame(d=links,vertices=nodes,directed = T)
geom_smooth()函数不需要指定任何参数,自己直接就添加的是二次方程的拟合曲线,当然以上结果是因为自己的数据非常标准,是直接用二次方程来生成的
R语言中计算交集、并集、并集、差集,这些数学概念,这里汇总一下。包括向量的操作和数据框的操作。可以说是非常全面了。
交集、并集、补集、差集,这些在R语言中如何实现呢,这篇博客介绍一下。 首先,模拟一下数据:a为1-10的数,b为5-15的数。 这里,推荐dplyr中的函数, library(dplyr) a = 1:10 b = 5:15 a b 📷 1. 向量 1. 1 交集(intersect) R中的函数为:intersect「示例图:黄色线的区域,就是目标区域」 📷 # 交集 intersect(a,b) 📷 1.2 交集(union) R中的函数为:union「示例图:黄色线的区域,就是目标区域」 📷 在
在数据分析中,往往会遇到各种复杂的数据处理操作:分组、排序、过滤、转置、填充、移动、合并、分裂、去重、找重、填充等操作。这时候R语言就是一个很好的选择:R可以高效地、优雅地解决数据处理操作。(本章节为R语言入门第二部分总结篇:数据操作)
今天延续Day2讲完了全部的几个重要数据类型,都是后续生信分析非常重要的知识点以及小Tips,同时深深感受到代码思维的重要性。要写能换个环境和场景依然可运行的代码,而不是一次性的玩意儿
R语言究竟能不能处理大数据,其实这个问题的答案取决于你怎样定义所需处理的大数据。R是一种语言,同时也是一种工具,并且是运行在电脑上的,运行的结果也受到电脑的性能影响。那么既然要处理大数据,关键在于如何提高使用R语言处理分析数据的效率。 简单说,有三点: 1)使用运行速度更快的电脑; 2)学习使用各种高效的package; 3)使用Revolution R代替原生的R程序。 第一点暂不讨论,从第二点说起吧。 1. 适合处理大数据的R package 众所周知,R语言的主要优势在于各种包,有的包可以极大的提高工
今天试着重复的图片对应着的是论文附件中的Figure8c,基因结构图,论文中文字部分对图的描述是 Gene structure of Lsat_6X11620. Closed bars represent exons, and open bars represent untranslated regions and introns. The positions of the SNPs in the promoter region are indicated by black triangles. An highly associated SNP, A-to-G transition at Chr. 6:15,542,968 is represented by a red triangle.
参考:https://www.math.pku.edu.cn/teachers/lidf/docs/Rbook/html/_Rbook/prog-prof.html
each和times的区别是times输出的是abcdabcdabcd,each输出的是aaabbbcccddd
自带学习R语言以来,从来没用把这些技能用在自己的专业方向上,说好的学以致用呢~ 最近看到的一篇微信公众号推文,内容是关于山东省各县(细化到137个县级行政区)2016年的GDP规模、公共预算收入规模及其增速指标,数据质量还不错,是山东省发改委公布的。 http://mp.weixin.qq.com/s/Sk4fIh3-ykcNK8uP0gZryw 感觉自己终于离专业方向近了一些(本人学财政的),数据就在眼前,这次机会一定要抓住了。 数据虽然质量不错,但是苦于手头没有最新的山东省县级地图素材(之前练习用的SH
数据结构的塑造是数据可视化前重要的一环,虽说本公众号重心在于数据可视化,可是涉及到一些至关重要的数据整合技巧,还是有必要跟大家分享一下的。 在可视化前的数据处理技巧中,导入导出、长宽转换已经跟大家详细的介绍过了。 今天跟大大家分享数据集的合并与追加,并且这里根据所依赖函数的处理效率,给出诺干套解决方案。 数据合并操作涉及以下几个问题: 横向合并; 1. 是否需要匹配字段 1.1 匹配字段合并 1.1.1 主字段同名 1.1.2 主字段不同名 1.2 无需匹配字段合并 纵向合并:(情况比较简单,列
最近赖江山老师发布了一个R包: 原创R包:rdaenvpart(层次分割获取RDA和CCA单解释变量的贡献) http://wap.sciencenet.cn/home.php?mod=space&
特殊符号常用,但不好搜索,收藏起来做个备用,欢迎大家继续补充。 (): 通常用于函数的调用,例如ggplot(data); 或者调整优先级,如1:3+1返回2 3 4,而1:(3+1)返回1 2 3 4。 []: 用于索引向量、列表、数据框。 [[]]: 用于索引获得列表、数据框的具体值。 $: 用于数据框索引某一列。三者的区别,具体见下面例子演示。 aVector <- 1:3+1 aVector[1] ## [1] 2 aList <- list(a=aVector, b=1:(3+1)) aLis
通常是使用Cytoscape、igraph包等来可视化网络,虽然能够创建美观的网络图,但它们只是静态的。对于创建交互式网络可视化,可以使用R中的特定包—visNetwork,有许多参数来创建个性化网络。
生信技能树练习题大全:http://www.biotrainee.com/thread-1754-1-1.html by Jimmy老师
Tidyverse中包含一个purrr程序包,之前在看数据处理分析时候,一直看到别人的code中,涵盖purrr,map函数,但是一直不知道这个是干什么的,现在发现purrr真的是极大的加速了数据处理流程,减少了code的编写。
本文作者:姜晓东,博士毕业于上海交通大学,目前任教于湖南师范大学医学院,专业神经毒理学。 流行病学的数据讲究“三间分布”,即人群分布、时间分布和空间分布。其中的“空间分布”最好是在地图上展示,才比较清楚。R软件集统计分析与高级绘图于大成,是最适合做这项工作了。关于地图的绘制过程,谢益辉、邱怡轩和陈丽云等人都早有文章讲述,开R地图中文教程之先河。由于目前指导毕业论文用到,因此研究了一下。本来因为网上教程很多,曾打消了写些文字的计划,但怡轩版主鼓励说“教程者众,整合者鲜”,所以才战胜拖延症,提起拙笔综述整合一
领取专属 10元无门槛券
手把手带您无忧上云