周末看了「凹凸玩数据」交流群内Huang Supreme的分享，有一篇写到了日常拆表操作挺有意思的。
R语言 控制流：for、while、ifelse和自定义函数function|第5讲
但是有同学提问，它的单细胞表达量矩阵是五万到十万个细胞，并不想预先拆分成为单细胞亚群分组，所以没办法使用AverageExpression得到一个简单的表达量矩阵，想直接对全部的单细胞矩阵进行gsva，但是矩阵每次都会内存溢出，大家也可以尝试下面的代码：
「多元线性回归模型」非常常见，是大多数人入门机器学习的第一个案例，尽管如此，里面还是有许多值得学习和注意的地方。其中多元共线性这个问题将贯穿所有的机器学习模型，所以本文会「将原理知识穿插于代码段中」，争取以不一样的视角来叙述和讲解「如何更好的构建和优化多元线性回归模型」。主要将分为两个部分：
当数据项存储在诸如列表的集合中时，我们说它们具有线性或顺序关系。每个数据项都存储在相对与其他数据项的位置。在Python列表中，这些相对位置是单个项的索引值。由于这些索引值是有序的，我们可以按顺序访问它们。这个过产生了顺序查找。
前面的几节中，我们介绍了GCTA计算G矩阵，和单性状遗传力的计算，它本质上就是GBLUP的估计，但是速度快很多。本节我们介绍，两性状遗传力和遗传相关的计算。
特征工程对于模型的执行非常重要，即使是具有强大功能的简单模型也可以胜过复杂的算法。实际上，特征工程被认为是决定预测模型成功或失败的最重要因素。特征工程真正归结为机器学习中的人为因素。通过人类的直觉和创造力，您对数据的了解程度可以带来不同。
在数据分析中，往往会遇到各种复杂的数据处理操作：分组、排序、过滤、转置、填充、移动、合并、分裂、去重、找重、填充等操作。这时候R语言就是一个很好的选择：R可以高效地、优雅地解决数据处理操作。（本章节为R语言入门第二部分总结篇：数据操作）
作者：Yimou Li, DaviD TurkingTon, anD aLireza YazDani
NDV全称为Number Of Distinct Values，即非重复值的个数。
PLS回归主要的客户来自于化学、药品、食品和塑料行业。在本文中，我们将使用此类背景下的示例（点击文末“阅读原文”获取完整代码数据）。
i ：代称，比如第一次循环则代表in后面向量的第一个元素；第二次则为第二个元素，直到完成in后面向量里所有元素的循环为止。如in后面的向量有8个元素，则8次循环。
由于 X-squared=118.1，p-value<0.001，所以 拒绝原假设 H_0，接受 H_1，认为因素A和因素B不独立，
协同过滤算法（CF）是构建推荐系统时最常用的技术之一。它可以基于收集到的其他用户的偏好信息（协同）来自动地预测当前用户的兴趣点。协同过滤算法主要分为两种：基于记忆（memory-based）的协同过滤算法和基于模型（model-based）的协同过滤算法。一般来说，将两者融合可以获得预测准确度上的提升。
转自:http://www.cnblogs.com/anding/p/5281558.html
MDR多因子降维法是逻辑回归的一种补充，可以有效进行基因和基因，基因和环境因素之间的相互作用分析，核心算法如下
这篇论文介绍了在多环境测试（MET）中效率较高的试验设计方案：部分重复设计（p-rep design），如果需要有一定的对照重复，可以使用增广p-rep试验（augmented p-pre）。
DMU是一个数量遗传学工具包，主要功能包括估计方差组分和固定效应，预测育种值。DMU的开发历史可以追溯到25年前，大部分功能基于数量遗传学研究的需求而开发。在丹麦动物育种研究中，DMU是一个主要的统计研究工具（估计和预测）。此外，DMU也应用于丹麦牛，羊，貂和马等常规遗传评估研究。因此，DMU不但在一些特定的项目中具备高性能优势，也适用于常规数量遗传学研究。“DMU”名称最初来自于程序包中用来进行初始化的过程名字缩写。这些过程利用约束最大似然法（REML），通过Derivative-free方式执行MUltivariate analysis，因此得名DMU。但是，在当前的DMU版本中，并不包括DF-REML模块，现在D仅代表DJF（丹麦农业科学学院的缩写）。
本文利用信息论中的信息瓶颈（这边可以理解为互信息，文中用到的都是互信息）理论结合因果推断中的因果图，来对推荐系统进行纠偏。纠偏的背景就不过多介绍了，简而言之就是，反馈和推荐之间关系，以及热门和冷门item对推荐的影响。具体案例可以看前几篇纠偏相关文章。
R中缺失值以NA表示，判断数据是否存在缺失值的函数有两个，最基本的函数是is.na()它可以应用于向量、数据框等多种对象，返回逻辑值。
变量可归结为名义型、有序型或连续型变量。名义型变量是没有顺序之分的类别变量。类别（名义型）变量和有序类别（有序型）变量在R中称为因子（factor）。因子在R中非常重要，因为它决定了数据的分析方式以及如何进行视觉呈现。因子（factor)是R语言中比较特殊的一个数据类型， 它是一个用于存储类别的类型，举个例子，从性别上，可以把人分为：男人和女人，从年龄上划分，又可以把人分为：未成年人（<18岁），成年人（>=18）。R把表示分类的数据称为因子，因子的行为有时像字符串，有时像整数。因子是一个向量，通常情况下，每个元素都是字符类型，也有其他数据类型的元素。因子具有因子水平（Levels），用于限制因子的元素的取值范围，R强制：因子水平是字符类型，因子的元素只能从因子水平中取值，这意味着，因子的每个元素要么是因子水平中的字符（或转换为其他数据类型），要么是缺失值，这是因子的约束，是语法上的规则。
svd是现在比较常见的算法之一，也是数据挖掘工程师、算法工程师必备的技能之一，这边就来看一下svd的思想，svd的重写，svd的应用。 这边着重的看一下推荐算法中的使用，其实在图片压缩，特征压缩的工程中，svd也有着非常不凡的作用。
本文内容涉及到基本SQL语法，数据的基本存储原理，数据库一些概念、数据优化等。抱砖引玉，权当一个综合复习！
给你一根长度为 n 的绳子，请把绳子剪成整数长度的 m 段（m、n都是整数，n>1并且m>1），每段绳子的长度记为 k[0],k[1]...k[m] 。请问 k[0]*k[1]*...*k[m] 可能的最大乘积是多少？例如，当绳子的长度是8时，我们把它剪成长度分别为2、3、3的三段，此时得到的最大乘积是18。
因子（Factors）在R语言中通过将变量转换成因子就可以使之成为R里的名义变量，关于名义变量的概念大家可以自行百度，这里就不赘述。对于因子的理解，我们可以将其简单地看成一种建立了映射关系的分类变量，举个简单的例子，比如性别简单地可以分为两类（‘男性’和‘女性’），如果将性别这个变量转换成因子，那么在R中‘男’就可以变成2，‘女’就变成1，同时建立了一个1à‘男’和2à‘女‘这样的映射关系，这样的好处是可以使R的运行更加高效。
StoreFile：每一个region由一个或多个store组成，至少是一个store，hbase为每个列族建一个store，如果有几个列族，也就有几个Store。
>>>> 一、问题 什么是异常值？如何检测异常值？请伙伴们思考或者留言讨论。 >>>> 二、解决方法 1. 单变量异常值检测 2. 使用局部异常因子进行异常值检测 3. 通过聚类的方法检验异常值 4. 检验时间序列数据里面的异常值 >>>> 三、R代码实现 1、单变量异常值检测 这一节主要讲单变量异常值检测，并演示如何将它应用到多元（多个自变量）数据中。使用函数boxplot.stats()实现单变量检测，该函数根据返回的统计数据生成箱线图。在上述函数的返回结果中，有一个参数out，它是由异常值组成的列
4.安装R包的代码是install.packages（"xxx"）和BiocManager::install("GEOquery")。
在MyBatis GeneratorXML Configuration File中添加你需要用到的<plugin>元素：
gmt文件可能对于很多人来说比较陌生，但是对于使用GSEA（https://www.gsea-msigdb.org/）做过基因富集分析的人应该并不陌生。
R是一种语法非常简单的表达式语言(expression language),大小写敏感。 可以在R 环境下使用的命名字符集依赖于R 所运行的系统和国家(系统的locale 设置),允许数字,字母,“.”,“_”
个人理解，向量是有方向的，由大于等于2个元素构成的数据类型。也就是说，向量的所有元素必须属于同种模式（mode），或数据类型（见1.2），比如数值型，字符型等。其类型可以用typeof()查看。 标量只含有一个元素，在R中没有0维度或标量类型。单独的数字或字符串本质是一元向量。
如何进行用例设计，如何让设计好的用例覆盖全面，将代码存在的问题在上线前更早发现是每一个测试工程师必备的技能。那么如何达到这些指标呢？如何将用例设计既快又全面呢？今天小编就告诉大家常用设计用例的方法，以及每个方法的适用范围，便于大家更快的选择出最优的方法。
逻辑向量（若想要把true和false写全，输入逻辑字符时就必须全部大写”TRUE”,”FALSE”）：
主成分分析（Principal Component Analysis，PCA）， 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。
这一节话不多说，这一期直接进入主题，开始介绍R中的数据结构。这是学习R语言强大的统计分析功能的基础。R中自带了大量的数据集供大家在学习中联系。在开始介绍数据结构之前，先简单介绍以下如何查看及使用这些数据集，之后在介绍数据结构时，也会大量使用到这些数据集。
在《从零开始学Python【37】--朴素贝叶斯模型（理论部分）》中我们详细介绍了朴素贝叶斯算法的基本概念和理论知识，在这一期我们继续介绍该算法的实战案例。将会对高斯贝叶斯、多项式贝叶斯和伯努利贝叶斯三种分类器案例的做实战讲解。希望通过这部分内容的讲解，能够使读者对贝叶斯算法有一个较深的理解（文末有数据和源代码的下载链接）。
导读：图像是由若干个像素组成的，因此，图像处理可以看作计算机对像素的处理。在面向Python的OpenCV中，可以通过位置索引的方式对图像内的像素进行访问和处理。
写在前面：公众号又被我搁置好久，闲来无事，写写近期学的R语言吧，主要分为两个部分写，一主要为数据处理，二为ggplot作图。这两个部分将生信分析的绝大多数常用命令都讲到了，作为R语言入门是够用的，但是学海无涯，以此只是作为一个引子，想要进步还是要自己多学多练，举一反三才行。
在前面的博文里，我已经介绍了 前言 Hive 中 table 可以继续拆分成Partition table（分区表） 和 桶（BUCKET）表，桶操作是通过 Partition 的 CLUSTERED BY 实现的，BUCKET 中的数据可以通过 SORT BY 排序。 BUCKET 主要作用如下： 1) 数据 sampling； 2) 提升某些查询操作效率，例如 Map Side Join。 需要特别主要的是，CLUSTERED BY 和 SORT BY 不会影响数据的导入，这意味着，用户必须
是https://cloud.tencent.com/developer/article/2353511 数据整理的上一步
得益于Doug Lea老爷子的操刀，让HashMap成为使用和面试最频繁的API，没办法设计的太优秀了！
F1,F2,F3...为前m个因子包含数据总量（累计贡献率）不低于80%。可取前m各因子来反映原评价
根据数学统计分析，73%的缺陷（单因子是35%，双因子是38%）是由单因子或2个因子相互作用产生的。19%的缺陷是由3个因子相互作用产生的。也就是说，大多数的bug都是条件的两两组合造成的。
tidyverse就是Hadley Wickham将自己所写的包整理成了一整套数据处理的方法，包括ggplot2、dplyr、tidyr、readr、purrr、tibble、stringr、forcats。出版有《R for Data Science》（中文版《R数据科学》），这本书详细介绍了tidyverse的使用方法。
https://hbctraining.github.io/Intro-to-R/lessons/04_introR-data-wrangling.html
什么是URL 统一资源定位符是对可以从互联网得到的资源的位置和访问方法的一种简介的表示，是互联网上标准资源的地址。互联网上的每一个文件都有一个唯一的URL，它包含的信息指出文件的位置以及浏览器应该怎样处理它。
R的数据结构是数据类型的封装方式，就是怎么把各种数据类型的数据组合起来，储存相同类型的数据的（同质的），储存不同类型的数据的（异质的），
在Excel中，我们经常会遇到要将文本拆分。Excel中的文本拆分为列，可以使用公式、“分列”功能或Power Query来实现。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
