TFRecord 是谷歌推荐的一种二进制文件格式，理论上它可以保存任何格式的信息。TFRecord的核心内容在于内部有一系列的Example，Example是Protocol Buffer协议下的消息体。（Protobuf是Google开源的一款类似于Json，XML数据交换格式，其内部数据是纯二进制格式，不依赖于语言和平台，具有简单，数据量小，快速等优点。
在搞数据库时，发现有这样的一个字段，类型是NUMBER(38)，查看了一下里面的数据，都是这样的，
最初开发 ANNOVAR 时，几乎所有 call 突变的软件都有自己的一套输出格式（SamTools，SOAPSNP，SOLiD BioScope，Illumina CASAVA，CG ASM-var，CG ASM-masterVAR 等），因此 ANNOVAR 就决定采用一种最简单的格式（仅包含 chr, start, end, ref, alt 以及 optional fields）作为输入。现将其称为 avinput 文件。我们也在 ANNOVAR 软件包中提供了 convert2annovar.pl 程序，以方便进行格式转换。
Weka是怀卡托智能分析环境(Waikato Environment for Knowledge Analysis)的英文字首缩写，新西兰怀卡托大学用Java开发的数据挖掘著名开源软件。功能有数据处理、特征选择、分类、回归、可视化等，支持多种数据文件格式，如arff、xrff、csv等，主流的数据格式是csv和arff。
数据的归一化是数据预处理中重要的的一步，很多种方法都可以被称作数据的归一化，例如简单的去除小数位，而更高级归一化技术才能对我们训练有所帮助，例如 z-score 归一化。
来源：DeepHub IMBA本文约1500字，建议阅读5分钟本文总结了 7 种常见的数据标准化(归一化)的方法。 数据的归一化是数据预处理中重要的的一步，很多种方法都可以被称作数据的归一化，例如简单的去除小数位，而更高级归一化技术才能对我们训练有所帮助，例如 z-score 归一化。 所以本文总结了 7 种常见的数据标准化(归一化)的方法。 Decimal place normalization Data type normalization Formatting normalization (date
Tensorflow通过tf.gfile.FastGFile(filename,’rb’).read()读取的图像，是图像的原始数据，还需要经过解码，才能获取图像的数据，数据的格式为RGB(三通道图像)，这一点是与Opencv不同。 Tensorflow提供了对jpeg和png格式图片的解码函数，例如“decode_jpeg”对jpeg格式的图片进行解码，使用encode_jpeg编码，将图像保存到本地。 图片都是存储为rgb格式。由于tf.gfile.FastGFile直接从img_path读取
FFM最初的概念来自Yu-Chin Juan与其比赛队员，是他们借鉴了来自Michael Jahrer的论文中的field概念提出了FM的升级版模型。通过引入field的概念，FFM把相同性质的特征归于同一个field。 FFM 模型不同于常见的DataFrame格式文件，需要将数据格式转换成如下所示的格式：
http://blog.csdn.net/zbc1090549839/article/details/44103801
所谓特征工程即模型搭建之前进行的数据预处理和特征提取。有时人们常常好高骛远，数据都没处理好就开始折腾各种算法，从第一开始就有问题，那岂不是还没开始就已经结束了。所以说啊，不积跬步无以至千里，生活中的每个细节，都可能创造人生的辉煌。
pytorch读取图像数据转成opencv格式方法：先转成numpy通用的格式，再将其转换成opencv格式。
min 为数据最小值，max 为数据最大值，x 为原始数据值，X 为归一化后的值。
随着深度学习技术的快速发展，越来越多的应用场景受益于其强大的能力。然而，构建一个高效且准确的深度学习模型并不容易。在训练深度神经网络时，研究人员和工程师们需要面对许多挑战，如训练效率低下、过拟合问题等。本文将介绍一些深度学习模型优化的技巧，旨在提高训练效率和模型精度。
X = x − m i n m a x − m i n X = \frac{x-min}{max-min } X=max−minx−min
可以类比，10bit YUV 就是每个 Y、U、V 分量分别占用 10 个 bit ，但是实际处理中，我们是以字节为单位进行存储和处理的，所以最终处理的数据是以 2 个字节来存储 10bit 的有效数据。
OSSIM Agent的主要职责是收集网络上存在的各种设备发送的所有数据，然后按照一种标准方式有序发给OSSIM Server，Agent收集到数据后在发送给Server之前要对这些数据进行归一化处理，本文主要就如何有序发送数据与如何完成归一化进行讨论。 OSSIM传感器在通过GET框架实现OSSIM代理和OSSIM服务器之间通信协议和数据格式的之间转换。下面我们先简要看一下ossim-agent脚本：
miRNA靶基因预测是研究miRNA功能机制必经的一个环节，现有的相关软件和数据库非常多，然而不同软件的算法各有优劣，在不同数据库之间的交叉检索费时费力，所以需要一个整合多个数据库和软件资源的集成型数据库，mirDIP就是在这样的驱动下产生，集成了30个来源数据库中human相关的靶基因信息，网址如下
本文适合有编程经验的程序员，是一篇机器学习的”Hello world！”，没什么理论知识，在意理论准确性的人请绕道。
数据挖掘工作流程： 一、收集数据 收集数据一般是补充外部数据，包括采用爬虫和接口，获取，补充目前数据不足部分。Python scrapy,requests是很好的工具。 二、准备数据 主要包括数据清洗，预处理，错值纠正，缺失值填补。连续值离散化，去掉异常值，以及数据归一化的过程。同时需要根据准备采用的挖掘工具准备恰当的数据格式。 三、分析数据 通过初步统计、分析以及可视化，或者是探索性数据分析工具，得到初步的数据概况。分析数据的分布，质量，可靠程度，实际作用域，以确定下一步的算法选择。 R的ggplot,p
Lua语言的标准库提供了两个用于操作日期和时间的函数，这两个函数在C语言标准库中也存在，提供的是同样的功能。虽然这两个函数看上去很简单，但依旧可以基于这些简单的功能完成很多复杂的工作。
将特征缩放至特定区间 将特征缩放到给定的最小值和最大值之间，或者也可以将每个特征的最大绝对值转换至单位大小。这种方法是对原始数据的线性变换，将数据归一到[0,1]中间。转换函数为:
aCGH芯片是一种双色芯片，通过红绿两种荧光的比值，通常称之为log2 ratio, 来反应测试样本相对对照样本的DNA拷贝数变化。aCGH芯片的分析，通常包含以下三个步骤
对于机器学习，选择一个好的算法是非常有用的，另外对测试集和训练集的数据进行处理也是非常重要的。通常情况下是为了消除量纲的影响。譬如一个百分制的变量与一个5分值的变量在一起怎么比较？只有通过数据标准化，都把它们标准到同一个标准时才具有可比性，一般标准化采用的是Z标准化，即均值为0，方差为1。当然也有其他标准化，比如0——1标准化等，可根据自己的数据分布情况和模型来选择。
编者按：本文作者李松峰，资深技术图书译者，翻译出版过40余部技术及交互设计专著，现任360奇舞团Web前端开发资深专家，360前端技术委员会委员、W3C AC代表。
我们在有关词干的文章中讨论了文本归一化。但是，词干并不是文本归一化中最重要（甚至使用）的任务。我们还进行了其他一些归一化技术的研究，例如Tokenization，Sentencizing和Lemmatization。但是，还有其他一些用于执行此重要预处理步骤的小方法，将在本文中进行讨论。
---- 概述 AI不断的火起来了，作为工程化的码农，也得奔向国际化轨道了。至于机器学习是什么，不知道找百科。现在大多数机器学习都是采用监督学习形式。我们学习一下KNN算法。 KNN KNN(K近邻)算法属于监督学习的分类问题，采用不同feature之间的距离方法进行分类。 1.优点:精度高、对异常值不敏感、无数据输入规定，不需要训练算法。 2.缺点:计算复杂度和空间复杂度高。 3.原理:依据训练样本集中的每个数据对应一个标签，每个数据集中每一个数据与分类一一对应关系，输入没有标签的数据后KNN算法将新数据
摘自：《机器学习实战》，用python编写的（需要matplotlib和numpy库） 海伦一直使用在线约会网站寻找合适自己的约会对象。尽管约会网站会推荐不同的人选，但她没有从中找到喜欢的人。经过一番总结，她发现曾交往过三种类型的人： 1.不喜欢的人（ 以下简称1 ）； 2.魅力一般的人（ 以下简称2 ）； 3.极具魅力的人（以下简称3 ） 尽管发现了上述规律，但海伦依然无法将约会网站推荐的匹配对象归入恰当的分类。她觉得可以在周一到周五约会哪些魅力一般的人，而周末则更喜欢与那些极具魅力
MNIST数据集，是一组由美国高中生和人口调查局员工手写的70000个数字的图片。每张图像都用其代表的数字标记。这个数据集被广为使用，因此也被称作是机器学习领域的“Hello World”。
模板匹配任务需要将模板在图像中搜索，以确定模板所在位置的一种技术，Python OpenCV 中封装的函数为 cv2.matchTemplate
文档信息抽取技术是一种将非结构化文本转化为结构化信息的技术。这种技术可以从各类文档中自动提取出如实体、关系和其他重要信息，并将它们转化为方便计算机进一步处理和分析的格式。
今天将分享电子显微镜图像神经元3d分割完整实现版本，为了方便大家学习理解整个流程，将整个流程步骤进行了整理，并给出详细的步骤结果。感兴趣的朋友赶紧动手试一试吧。
选自towardsdatascience 作者：Agnis Liukis 机器之心编译 编辑：杨阳 如果你要构建你的第一个模型，请注意并避免这些问题。 数据科学和机器学习正变得越来越流行，这个领域的人数每天都在增长。这意味着有很多数据科学家在构建他们的第一个机器学习模型时没有丰富的经验，而这也是错误可能会发生的地方。 近日，软件架构师、数据科学家、Kaggle 大师 Agnis Liukis 撰写了一篇文章，他在文中谈了谈在机器学习中最常见的一些初学者错误的解决方案，以确保初学者了解并避免它们。 Agni
CNN 的引入 在人工的全连接神经网络中，每相邻两层之间的每个神经元之间都是有边相连的。当输入层的特征维度变得很高时，这时全连接网络需要训练的参数就会增大很多，计算速度就会变得很慢，例如一张黑白的 2
大模型的训练和微调对显存要求很高，优化器状态是显存主要开销之一。近日，清华大学朱军、陈键飞团队提出了用于神经网络训练的 4 比特优化器，节省了模型训练的内存开销，同时能达到与全精度优化器相当的准确率。
在FPGA系统中有两个基本准则非常重要，分别为：数字表示法和代数运算的实现。本博文主要介绍数字表示。 参考文献：数字信号处理的FPGA实现(第3版)中文版 && 基于FPGA的数字信号处理 [高亚军 编著] 2015年版 可以购买相关书籍进行研读。
transforms属于torchvision模块的方法，它是常见的图像预处理的方法 在这里贴上别人整理的transforms运行机制：
我们从小就被教导说0.1+0.2=0.3，但是在奇妙的计算机编程世界里面，事情变得不一样了。
请编写一个字符串归一化程序，统计字符串中相同字符出现的次数，并按字典序输出字符及其出现次数。
点击上方↑↑↑“OpenCV学堂”关注我来源：公众号 机器之心 授权 如果你要构建你的第一个模型，请注意并避免这些问题。 数据科学和机器学习正变得越来越流行，这个领域的人数每天都在增长。这意味着有很多数据科学家在构建他们的第一个机器学习模型时没有丰富的经验，而这也是错误可能会发生的地方。 近日，软件架构师、数据科学家、Kaggle 大师 Agnis Liukis 撰写了一篇文章，他在文中谈了谈在机器学习中最常见的一些初学者错误的解决方案，以确保初学者了解并避免它们。 Agnis Liukis 拥有超过 1
将原始数据转换为更好地代表预测模型的潜在问题的特征的过程，从而提高了对位置数据的预测准确性
Face book AI research（FAIR）吴育昕-何恺明联合推出重磅新作Group Normalization（GN），提出使用Group Normalization 替代深度学习里程碑式的工作Batch normalization，本文将从以下三个方面为读者详细解读此篇文章：
一句话概括，GroupNormbalization（GN）是一种新的深度学习归一化方式，可以替代BN。
从定义上来讲，归一化是指把数据转化为长度为1或者原点附近的小区间，而标准化是指将数据转化为均值为0，标准差为1的数据。。归一化与标准化实质上都是某种数据变化，无论是线性变化还是非线性变化，其都不会改变原始数据中的数值排序，它们都能将特征值转换到同一量纲下。由于归一化是将数据映射到某一特定区间内，因此其缩放范围仅由数据中的极值决定，而标准化是将源数据转化为均值为0，方差为1的分布，其涉及计算数据的均值和标准差，每个样本点都会对标准化过程产生影响。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_25737169/article/details/79713886
上次直播Seurat对象内部结构解析,给大家分享一下step1—— 单细胞数据不同格式，数据读取方法创建Seurat对象，以及seurat对象内容结构简介。
那么什么是量纲，又为什么需要将有量纲转化为无量纲呢？具体举一个例子。当我们在做对房价的预测时，收集到的数据中，如房屋的面积、房间的数量、到地铁站的距离、住宅附近的空气质量等，都是量纲，而他们对应的量纲单位分别为平方米、个数、米、AQI等。这些量纲单位的不同，导致数据之间不具有可比性。同时，对于不同的量纲，数据的数量级大小也是不同的，比如房屋到地铁站的距离可以是上千米，而房屋的房间数量一般只有几个。经过归一化处理后，不仅可以消除量纲的影响，也可将各数据归一化至同一量级，从而解决数据间的可比性问题。
在人工的全连接神经网络中，每相邻两层之间的每个神经元之间都是有边相连的。当输入层的特征维度变得很高时，这时全连接网络需要训练的参数就会增大很多，计算速度就会变得很慢，例如一张黑白的 28×28 28×28 的手写数字图片，输入层的神经元就有784个，如下图所示：
pandas.get_dummies（）时，发现其实它OneHotEncoder封装
很多人开始学习OpenCV之后，接触前面几个API就包括imwrite函数，而且很快知道了如何去保存Mat对象为图像，常规代码如下：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
