没有特别系统的学习 tidy evaluation 这方面的高级操作，最近有空准备补一补，学习下这方面的知识。
dplyr包在数据变换方面非常的好用，它有很多易用性的体现：比如书写数据内的变量名时不需要引号包裹，也不需要绝对引用，而这在多数baseR函数中都不是这样的，比如：
【画图】与SARS-CoV-2病毒结合ACE2基因表达相关的那些事——如何批量展现相关性的细节？
在R中，library函数的表现有点特殊，传给它的参数变量不是类似于常规R表达式的即时执行，而是像是被‘冻结’了一样。
mutate(test, new = Sepal.Length * Sepal.Width)
mpg hp wt
在分析之前，先将数据集 birthwt 中的分类变量 low、race、smoke、ht 和 ui 转换成因子。
这么久以来，这是我最喜欢的一个R脚本，解决了我一直以来函数编写的问题，以前都是使用eval(parse(text=“代码字符串”))来实现自定义函数的传递功能，另外R for data science，这本书贵不贵？，想买一本看看。
rlang v0.4.0引入了新的非标准计算操作符 {{。这大大方便了dplyr重编程。
R语言data.table包是自带包data.frame的升级版，用于数据框格式数据的处理，最大的特点快。包括两个方面，一方面是写的快，代码简洁，只要一行命令就可以完成诸多任务，另一方面是处理快，内部处理的步骤进行了程序上的优化，使用多线程，甚至很多函数是使用C写的，大大加快数据运行速度。因此，在对大数据处理上，使用data.table无疑具有极高的效率。这里主要介绍在基因组数据分析中可能会用到的函数。
一个在线的Go编译器 如果还没来得及安装Go环境，想体验一下Go语言，可以在Go在线编译器 上运行Go程序。 格式化 让所有人都遵循一样的编码风格是一种理想，现在Go语言通过gofmt程序，让机器来处理大部分的格式化问题。gofmt程序是go标准库提供的一段程序，可以尝试运行它，它会按照标准风格缩进，对齐，保留注释，它默认使用制表符进行缩进。Go标准库的所有代码都经过gofmt程序格式化的。 注释 Go注释支持C风格的块注释/* */和C++风格的行注释//。块注释主要用作包的注释。Go官方提倡每个包都应包
本文利用Iris数据集训练了多组机器学习模型，并通过预测大量的拟合数据绘制出了每个模型的决策边界。
写在前面：公众号又被我搁置好久，闲来无事，写写近期学的R语言吧，主要分为两个部分写，一主要为数据处理，二为ggplot作图。这两个部分将生信分析的绝大多数常用命令都讲到了，作为R语言入门是够用的，但是学海无涯，以此只是作为一个引子，想要进步还是要自己多学多练，举一反三才行。
恰好被隔壁Y叔看到了，所以立马给出来了解决方案，在听说你用的函数又撞名了？ 可以看到conflicted包超级好用，专门盯着你，让你报错！
本来我这个段位，就不应该为安装包发愁了，毕竟统计学不会可以理解，编程学不好忍忍就过去了，但是说安装包出错，是可忍孰不可忍？
其实之前读了李东风老师的内容，感觉收获颇丰；但因为自己的业务逻辑过于简单，渐渐又荒废掉了。
假设遇到这样一个问题：一个网站有 20 亿 url 存在一个黑名单中，这个黑名单要怎么存？若此时随便输入一个 url，你如何快速判断该 url 是否在这个黑名单中？并且需在给定内存空间（比如：500M）内快速判断出。
可能很多人首先想到的会是使用 HashSet，因为 HashSet基于 HashMap，理论上时间复杂度为：O(1)。达到了快速的目的，但是空间复杂度呢？URL字符串通过Hash得到一个Integer的值，Integer占4个字节，那20亿个URL理论上需要：
在数据处理和分析过程中，可能会涉及到数据的聚合操作（可理解为统计汇总），如计算门店每天的营业总额、计算各地区的二手房的平均价格、统计每个消费者在近半年内最后一笔交易时间等。如果基于数据库SQL的语法来解决这些问题，将会显得非常简便，如果没有数据库环境该如何实现类似聚合问题的解决呢？
using函数是我写在$HOME/.Rprofile中的函数，因此每次打开R就能使用。
df$A可以索引数据框df中列名为A的列的所有值。那么假如列名是一个R对象怎么做？
https://seananderson.ca/2013/10/19/reshape/
本文由知乎著名答主黄宝臣原创，CDA数据分析师已获得授权 学R主要在于5点三阶段： 第一阶段有一点：基础的文件操作(read.*,write.*)、数据结构知识，认识什么是数据框(data.frame)、列表(list)、矩阵(matrix)、向量(vector)，如何提取(包括which, []等)、置换(t, matrix等)、删除(-, which等)、运算(+, -, *, / , %%, %/%等)、转换(as.*)、修改(edit, fix等)数据（包括单个数、行、列、表、变量），安装包、调用
本文翻译自外文博客，原文链接：https://seananderson.ca/2013/10/19/reshape/
语句（statement）是一条单独的R语句或一组复合语句（包含在花括号{ } 中的一组R语
豆花寄语：学生信，R语言必学的原因是丰富的图表和Biocductor上面的各种生信分析R包。
参见：https://mp.weixin.qq.com/s/oxElKitqQjwtD8HkpKk_JQ
大家看下这幅图，用户可能进行了一次条件错误的查询，这时候 redis 是不存在的，按照常规流程就是去数据库找了，可是这是一次错误的条件查询，数据库当然也不会存在，也不会往 redis 里面写值，返回给用户一个空，这样的操作一次两次还好，可是次数多了还了得，我放 redis 本来就是为了挡一挡，减轻数据库的压力，现在 redis 变成了形同虚设，每次还是去数据库查找了，这个就叫做缓存穿透，相当于 redis 不存在了，被击穿了，对于这种情况很好解决，我们可以在 redis 缓存一个空字符串或者特殊字符串，比如 &&，下次我们去 redis 中查询的时候，当取到的值是空或者 &&，我们就知道这个值在数据库中是没有的，就不会在去数据库中查询。
不知道从什么时候开始，本来默默无闻的布隆过滤器一下子名声大燥，在面试中面试官问到怎么避免缓存穿透，你的第一反应可能就是布隆过滤器，缓存穿透=布隆过滤器成了标配，但具体什么是布隆过滤器，怎么使用布隆过滤器不是很清楚，那今天我们就来把他说清楚，讲明白。。
硬着头皮看完了S3。以我浅薄的认知来说，S3 挺没必要学的，大概了解下，会用就行了QAQ。
本篇描述了如何计算R中的数据框并将其添加到数据框中。一般使用dplyr R包中以下R函数：
没有明显的错误出现，但是却有跟rlang相关的字符，这多半是tidyverse版本的问题，此时重新安装tidyverse即可
在R语言的广泛包中，大部分可以直接install.packages()直接命令安装，但是有些包安装过程比较复杂，例如'lightgbm,ggplot2所依赖的‘rlang’包，devtools所依赖的‘pkgload’,这三个包是我目前经常遇到的需要编译的包，安装过程比较复杂且慢。
Bloom Filter布隆过滤器 算法背景 如果想判断一个元素是不是在一个集合里，一般想到的是将集合中所有元素保存起来，然后通过比较确定。链表、树、散列表（又叫哈希 表，Hash table）等等数据结构都是这种思路，存储位置要么是磁盘，要么是内存。很多时候要么是以时间换空间，要么是以空间换时 间。 在响应时间要求比较严格的情况下，如果我们存在内里，那么随着集合中元素的增加，我们需要的存储空间越来越大，以及检索的时间越 来越长，导致内存开销太大、时间效率变低。 此时需要考虑解决的问题就是，在数据量比较大的情况下，既满足时间要求，又满足空间的要求。即我们需要一个时间和空间消耗都比较 小的数据结构和算法。Bloom Filter就是一种解决方案。 Bloom Filter 概念 布隆过滤器（英语：Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以 用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删除困难。 Bloom Filter（BF）是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。 它是一个判断元素是否存在集合的快速的概率算法。Bloom Filter有可能会出现错误判断，但不会漏掉判断。也就是Bloom Filter判断元 素不再集合，那肯定不在。如果判断元素存在集合中，有一定的概率判断错误。因此，Bloom Filter”不适合那些“零错误的应用场合。 而在能容忍低错误率的应用场合下，Bloom Filter比其他常见的算法（如hash，折半查找）极大节省了空间。 Bloom Filter 原理 布隆过滤器的原理是，当一个元素被加入集合时，通过K个散列函数将这个元素映射成一个位数组中的K个点，把它们置为1。检索时，我 们只要看看这些点是不是都是1就（大约）知道集合中有没有它了：如果这些点有任何一个0，则被检元素一定不在；如果都是1，则被检 元素很可能在。这就是布隆过滤器的基本思想。 Bloom Filter跟单哈希函数Bit-Map不同之处在于：Bloom Filter使用了k个哈希函数，每个字符串跟k个bit对应。从而降低了冲突的概 率。
读书会是一种在于拓展视野、宏观思维、知识交流、提升生活的活动。PPV课R语言读书会以“学习、分享、进步”为宗旨，通过成员协作完成R语言专业书籍的精读和分享，达到学习和研究R语言的目的。读书会由辅导老师或者读书会成员推荐书籍，经过讨论确定要读的书，每个月读一本书且要精读，大家一起分享。 第七章 基本统计 本章概要 1 描述统计 2 频次和相依表 3 相关系数和协方差 4 t-检验 5 非参数统计 本章所介绍内容概括如下。 一旦数据合理组织后，首先，基于数据可视化探索数据，接下来，我们要探索某个变量的分布
使用 JDK 自带的 Set 集合来进行 URL 去重，看上去效果不错，但是这种做法有一个致命了缺陷，就是随着采集的 URL 增多，你需要的内存越来越大，最终会导致你的内存崩溃。那我们在不使用数据库的情况下有没有解决办法呢？布隆过滤器！它就可以完美解决这个问题，布隆过滤器有什么特殊的地方呢？接下来就一起来学习一下布隆过滤器。
在真实的数据科学世界里，我们会有两个极端，一个是业务，一个是工程。偏向业务的数据科学被称为数据分析（Data Analysis），也就是A型数据科学。偏向工程的数据科学被称为数据构建(Data Building)，也就是B型数据科学。 从工具上来看，按由业务到工程的顺序，这个两条是：EXCEL >> R >> Python >> Scala 在实际工作中，对于小数据集的简单分析来说，使用EXCEL绝对是最佳选择。当我们需要更多复杂的统计分析和数据处理时，我们就需要转移到 Python和R上。在确定工程实施和大数据集操作时，我们就需要依赖Scala 的静态类型等工程方法构建完整的数据分析系统。 Scala和Excel是两个极端，对于大多数创业公司而言，我们没有足够多的人手来实现专业化的分工，更多情况下，我们会在Python和R上花费更多的时间同时完成数据分析（A型）和数据构建（B型）的工作。而许多人也对 Python和R的交叉使用存在疑惑，所以本文将从实践角度对Python和R中做了一个详细的比较。
大型数据集通常是高度结构化的，结构使得我们可以按不同的方式分组，有时候我们需要关注单个组的数据片断，有时需要聚合不同组内的信息，并相互比较。
攻击过程如下： 1. 攻击者通过MIM（比如arp欺骗等）劫持server与客户端浏览器之间的http包； 2. 攻击者生成一对伪造的RSA密钥： fake public key/fake private key； 3. 攻击者将js文件中的public key替换为fake public key，并传输给客户端浏览器； 4. 客户端浏览器用 fake public key加密敏感数据，比如密码，并将加密后的数据传输给攻击者； 5. 攻击者用fake private key解密，获得明文密码等；
长期更新列表： 视频讲解-R爬取生信软件列表到思维导图 生信技巧第二课-使用markdown记录和分享笔记 本期视频，学会R语言，方便你我他~~~ 为什么需要学习R语言呢？ 可能是想画一个热图 或
id.vars中指定相应变量；variable.name和value.name分别对variable和value列重命名
使用Google Guava库来实现基于布隆过滤器的海量字符串去重是一个很好的选择。布隆过滤器是一种空间效率极高的概率型数据结构，它利用位数组表示集合，并使用哈希函数将元素映射到位数组的某些位置。布隆过滤器可以高效地检查一个元素是否可能属于某个集合，但有一定的误报率。
布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删除困难。
整理数据的本质可以归纳为：对数据进行分割（Split），然后应用（Apply）某些处理函数，最后将结果重新组合（Combine）成所需的格式返回，简单描述为：Split - Apply - Combine。plyr包是Hadley Wickham为解决split – apply – combine问题而写的一个包。使用plyr包可以针对不同的数据类型，在一个函数内同时完成split – apply – combine三个步骤。plyr包的主函数是**ply形式的，函数名的第一个字符代表输入数据的类型，第二个字符代表输出数据的类型，其中第一个字符可以是(d、l、a)，第二个字母可以是(d、l、a、_ )，不同的字母表示不同的数据格式，d表示数据框格式，l表示列表，a表示数组，_则表示没有输出。
布隆过滤器(BloomFilter)是一种大家在学校没怎么学过，但在计算机很多领域非常常用的数据结构，它可以用来高效判断某个key是否属于一个集合，有极高的插入和查询效率(O(1))，也非常省存储空间。当然它也不是完美无缺，它也有自己的缺点，接下来跟随我一起详细了解下BloomFilter的实现原理，以及它优缺点、应用场景，最后再看下Google guava包中BloomFilter的实现，并对比下它和HashSet在不同数据量下内存空间的使用情况。 学过数据结构的人都知道，在计算机领域我们经常通过牺牲空间换时间，或者牺牲时间换空间，BloomFilter给了我们一种新的思路——牺牲准确率换空间。是的，BloomFilter不是100%准确的，它是有可能有误判，但绝对不会有漏判断，说通俗点就是，BloomFilter有可能错杀好人，但不会放过任何一个坏人。BloomFilter最大的优点就是省空间，缺点就是不是100%准确，这点当然和它的实现原理有关。
在前面两篇文章R语言入门系列之一与R语言入门系列之二中，我分别介绍了R语言中的对象与结构、数据的输入输出及可视化。基于前面的基础，今天我介绍一下R语言中基础的程序结构，来帮助我们完成更复杂的数据处理任务。此外，如果你有大批量数据处理、可视化任务，需要着重学习R脚本在命令行的调用方式以及命令行参数的使用方法。
领取专属 10元无门槛券
手把手带您无忧上云
