前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >python | 读文件 | csv 、json、pickle、sql等

python | 读文件 | csv 、json、pickle、sql等

作者头像
努力在北京混出人样
发布2019-02-18 17:25:44
1.4K0
发布2019-02-18 17:25:44
举报
文章被收录于专栏:祥子的故事

本次总结来源于pandas的官网,由个人学习总结出来。

来说下pandas用于读取的文件格式有那些吧,这些读取方法获取文件的速度超级快,很实用。

1、pd.read_csv() 、df.to_csv()

读csv和存储为csv格式的文件,这是日常工作和学习中很常见的。不过,它需要设置的参数很多,需要注意下。

2、pd.read_json()、df.to_json()

读取、存储json格式的,在网页中常常使用这种格式来作为存储方式

3、pd.read_html()、df.to_html()

读取网页中的表格

4、pd.read_excel() : 2003 , xlrd: 2007+

代码语言:javascript
复制
  pd.to_excel() : 保存为DataFrame后保存

xlsx = pd.ExcelFile(‘path_to_file.xls’) df = pd.read_excel(xlsx, ‘Sheet1’) 或者

using the ExcelFile class

代码语言:javascript
复制
data = {}
with pd.ExcelFile('path_to_file.xls') as xls:
    data['Sheet1'] = read_excel(xls, 'Sheet1', index_col=None, na_values=['NA'])
    data['Sheet2'] = read_excel(xls, 'Sheet2', index_col=None, na_values=['NA'])

equivalent using the read_excel function

代码语言:javascript
复制
data = read_excel('path_to_file.xls', ['Sheet1', 'Sheet2'], index_col=None, na_values=['NA'])

5、pd.read_pickle() df.to_pickle(“) 保存为文件

文件持久化,能保持文件的长久的不变化。

代码语言:javascript
复制
df.to_pickle('foo.pkl')
pd.read_pickle('foo.pkl') 读取文件
DataFrame.to_pickle()
Series.to_pickle()

6、HDFS

代码语言:javascript
复制
pd.HDFStore("store.h5")
df.to_hdf()
pd.read_hdf()

7、读取mysql中的表

代码语言:javascript
复制
import pymysql
import pandas as pd

conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123456', db='world',charset="utf8")
sql_query = "select * from view_source_1836424"
df = pd.read_sql(sql_query,con=conn)

conn.close()  #使用完后记得关掉

然后,

代码语言:javascript
复制
df.head() # 查看数据集
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2017年08月02日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • using the ExcelFile class
  • equivalent using the read_excel function
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档