前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >数据分析中常见的存储方式

数据分析中常见的存储方式

作者头像
木野归郎
发布2022-02-25 10:11:44
2.3K0
发布2022-02-25 10:11:44
举报
文章被收录于专栏:share ai happinessshare ai happiness

大家好,我是小轩

这两天整理了在数据分析中常见的5种存储格式

内容比较多,只是简要整理,仅供大家学习和选择

后面会对使用到的数据存储方式进行详细介绍

目录

  • csv / txt / json
  • hdf
  • npy / npz / memmap
  • joblib
  • sequenceFile
  • Avro
  • Parquet
  • Orc

csv / txt / json

TXT文本储存:

方便,但不利于检索

CSV(逗号分隔值)是一种纯文本文件格式,用于存储表格数据(例如电子表格或数据库)

文件的每一行都称为记录。

JSON文件储存:

结构化程度非常高

对象和数组:

一切都是对象

对象:

代码语言:javascript
复制
使用{}包裹起来的内容,
{key1:value1, key2:value2, …} 
类似于python中的字典

数组:

代码语言:javascript
复制
使用[]包裹起来的内容
 [“java”, “javascript”, “vb”, …]

hdf

HDF 是用于存储和分发科学数据的一种自我描述、多对象文件格式。

为什么创建HDF?

在不同的机器上生成和处理数据文件,各式各样的软件包被用来多种处理文件,同时也与其他使用不同机器和软件的人共享数据文件,这些文件也许包含不同类型的信息,这些文件也许概念上有关但在实质上却不同。HDF就是为了解决这些问题诞生的。

npy / npz / memmap

说到这三个,就必须了解NumPy

什么是NumPy呢?

NumPy是一个功能强大的Python库,可以帮助程序员轻松地进行数值计算。

numpy专用的二进制类型:npy和npz

如果将特征和数据处理为Numpy格式,则可以考虑存储为Numpy中的npy或npz格式。

存储类型:矩阵

读取速度:较快

使用场景:文件存储

npy文件:

以二进制的方式存储文件,在二进制文件第一行以文本形式保存了数据的元信息(ndim,dtype,shape等),可以用二进制工具查看内容。

np.load()和np.save()是读写磁盘数组数据的两个重要函数。使用时数组会以未压缩的原始二进制格式保存在扩展名为.npy的文件中。

代码语言:javascript
复制
import numpy as np

arr=np.arange(6)
np.save('wzx',arr)

print(np.load('wzx.npy'))

npz文件:

以压缩打包的方式存储文件,可以用压缩软件解压。

使用np.savez()函数可以将多个数组保存到同一个文件中。读取.npz文件时使用np.load()函数,返回的是一个类似于字典的对象,因此可以通过数组名作为关键字对多个数组进行访问。

代码语言:javascript
复制
import numpy as np

a = np.arange(5)
b = np.arange(6)
c = np.arange(7)
np.savez('wzx', a, b, c_array=c)  # c_array是数组c的命名

data = np.load('wzx.npz')

print('arr_0 : ', data['arr_0'])
print('arr_1 : ', data['arr_1'])
print('c_array : ', data['c_array'])

memmap

NumPy实现了一个类似于ndarray的memmap对象,它允许将大文件分成小段进行读写,而不是一次性将整个数组读入内存。

memmap也拥有跟普通数组一样的方法,因此,基本上只要是能用于ndarray的算法就也能用于memmap。

存储类型:矩阵

读取速度:适中

使用场景:大文件存储

代码语言:javascript
复制
import numpy as np
a = np.random.randint(0, 10, (3, 4), dtype=np.int32)
print(a)
a.tofile("haha.bin")
b = np.memmap("haha.bin", dtype=np.int32, shape=(3, 4))
print(b)
b[0, 0] = 100
del b  # 关闭文件,自动调用数组的finalize函数
b = np.memmap("haha.bin", dtype=np.int32, shape=(3, 4))
print(b)

joblib

Joblib是一组用于在Python中提供轻量级流水线的工具。

在训练模型后将模型保存的方法,以免下次重复训练。可以使用sklearn内部的joblib

joblib更适合大数据量的模型,且只能往硬盘存储,不能往字符串存储

代码语言:javascript
复制
from sklearn.externals import joblib
joblib.dump(clf,'filename.pkl')
clf=joblib.load('filename.pkl')
补充,也可以使用pickle
import pickle 
s=pickle.dumps(model) 
f=open("model.pkl",'w') 
f.write(s) 
f.close() 
f=open("model.pkl",'r') 
model=pickle.loads(f.read()) 
model.predict(X)

sequenceFile

什么是sequenceFile?

sequenceFile文件是Hadoop用来存储二进制形式的[Key,Value]对而设计的一种平面文件(Flat File)。

可以把SequenceFile当做是一个容器,把所有的文件打包到SequenceFile类中可以高效的对小文件进行存储和处理。

SequenceFile文件并不按照其存储的Key进行排序存储,SequenceFile的内部类Writer提供了append功能。

SequenceFile中的Key和Value可以是任意类型Writable或者是自定义Writable。

相比于text格式的文件,SequenceFile可以存储key-value格式的消息,方便mapreduce引擎处理数据

支持record级别的压缩和block级别的压缩

文件是分块的,因此是可分割的。支持mapreduce的split输入

Avro

Avro的模式主要由JSON对象来表示,它可能会有一些特定的属性,用来描述某种类型(Type)的不同形式。

Avro支持八种基本类型(Primitive Type)和六种混合类型(Complex Type)。基本类型可以由JSON字符串来表示。每种不同的混合类型有不同的属性(Attribute)来定义,有些属性是必须的,有些是可选的,如果需要的话,可以用JSON数组来存放多个JSON对象定义。

Avro支持两种序列化编码方式:二进制编码和JSON编码。使用二进制编码会高效序列化,并且序列化后得到的结果会比较小;而JSON一般用于调试系统或是基于WEB的应用。

avro存储格式应用场景很多,比如hive、mongodb等

Parquet

Parquet是一个基于列式存储的文件格式,它将数据按列划分进行存储。Parquet官网上的文件格式介绍图:

parquet应用场景也很多,比如hbase

Parquet 的存储模型主要由行组(Row Group)、列块(Column Chuck)、页(Page)组成。

行组,Row Group:Parquet 在水平方向上将数据划分为行组,默认行组大小与 HDFS Block 块大小对齐,Parquet 保证一个行组会被一个 Mapper 处理。

列块,Column Chunk:行组中每一列保存在一个列块中,一个列块具有相同的数据类型,不同的列块可以使用不同的压缩。

页,Page:Parquet 是页存储方式,每一个列块包含多个页,一个页是最小的编码的单位,同一列块的不同页可以使用不同的编码方式。

Orc

Orc也是一个列式存储格式,产生自Apache Hive,用于降低Hadoop数据存储空间和加速Hive查询速度。

和Parquet的设计类似,也是将行分成多个组,然后组内按列存储,之后再对列进行分割。orc 的 Stripe 对应parquet的 Row Group,row Group 对应的是 parquet的 page

ORC文件是自描述的,它的元数据使用Protocol Buffers序列化

除了基本类型以外,还支持更复杂的数据结构,如LIST、STRUCT、MAP和UNION类型。

Parquet、Avro、ORC格式对比

相同点

1. 基于Hadoop文件系统优化出的存储结构

2. 提供高效的压缩 3. 二进制存储格式 4. 文件可分割,具有很强的伸缩性和并行处理能力 5. 使用schema进行自我描述 6. 属于线上格式,可以在Hadoop节点之间传递数据

不同点 1. 行式存储or列式存储:Parquet和ORC都以列的形式存储数据,而Avro以基于行的格式存储数据。就其本质而言,面向列的数据存储针对读取繁重的分析工作负载进行了优化,而基于行的数据库最适合于大量写入的事务性工作负载。 2. 压缩率:基于列的存储区Parquet和ORC提供的压缩率高于基于行的Avro格式。 3. 可兼容的平台:ORC常用于Hive、Presto;Parquet常用于Impala、Drill、Spark、Arrow;Avro常用于Kafka、Druid。 4. 不同的案例和应用场景选择合适的存储格式,可以提升存储和读取的效率。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2021-11-16,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 OnlyCoding 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
对象存储
对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档