Pandas之EXCEL数据读取/保存/文件分割/文件合并

pd.to_excel(self, excel_writer, sheet_name='Sheet1', na_rep='', float_format=None,columns=None, 
header=True, index=True, index_label=None,startrow=0, startcol=0, engine=None, 
merge_cells=True, encoding=None,inf_rep='inf', verbose=True, freeze_panes=None)

index,a_name,b_name
0,1,3
1,2,3
2,3,4
3,5

# -*- coding:utf-8 -*-
import pandas as pd

df = pd.read_csv('test.csv')
print(df)

   index  a_name  b_name
0      0       1     3.0
1      1       2     3.0
2      2       3     4.0
3      3       5     NaN

'''
pd.read_excel(io, sheetname=0, header=0, skiprows=None, skip_footer=0, index_col=None, 
    names=None,parse_cols=None, parse_dates=False, date_parser=None, na_values=None, 
    thousands=None, convert_float=True, has_index_names=None, converters=None, dtype=None, 
    true_values=None, false_values=None, engine=None, squeeze=False, **kwds)
    
该函数主要的参数为io、sheetname、header、names、encoding。
    io:excel文件，可以是文件路径、文件网址、file-like对象、xlrd workbook;
    sheet_name:返回指定的sheet，参数可以是字符串（sheet名）、整型（sheet索引）、
        list（元素为字符串和整型，返回字典{'key':'sheet'}）、None（返回字典，全部sheet）;
    header:指定数据表的表头，参数可以是int、list of ints，即为索引行数为表头;
    names:返回指定name的列，参数为array-like对象。
    encoding:关键字参数，指定以何种编码读取。
该函数返回pandas中的DataFrame或dict of DataFrame对象，利用DataFrame的相关操作即可读取相应的数据。
'''

df = pd.read_excel('excel_output.xls',sheet_name=None)
# print(df.head())  #看看读取的数据，默认为前5行
print(df['2']) #指定sheet

xls_file=pd.ExcelFile('excel_output.xls')

print(xls_file.sheet_names)#显示出读入excel文件中的表名字
sheet1=xls_file.parse('2')
sheet2=xls_file.parse(0)
print('sheet1:',sheet1)
print('sheet2:',sheet2)

'''
pd.to_excel(self, excel_writer, sheet_name='Sheet1', na_rep='', float_format=None,columns=None, 
    header=True, index=True, index_label=None,startrow=0, startcol=0, engine=None, 
    merge_cells=True, encoding=None,inf_rep='inf', verbose=True, freeze_panes=None)

excel_writer:写入的目标excel文件，可以是文件路径、ExcelWriter对象;
sheet_name:表名
na_rep ： 缺失值填充
    如果na_rep设置为bool值，则写入excel时改为0和1；也可以写入字符串或数字
    na_rep=True --> 1
    na_rep=False --> 0
    na_rep=3 --> 3
    na_rep='a' --> 'a'
columns ：选择输出的的列存入
index：默认为True，显示index，当index=False 则不显示行索引（名字）
header :指定作为列名的行，默认0，即取第一行，数据为列名行以下的数据；
    若数据不含列名，则设定 header = None
index_label：设置索引列的列名
encoding:指定写入编码，string类型。
'''
'''一个excel写入1个sheet'''
df.to_excel('excel_output.xls',sheet_name='2',na_rep=True,columns=['index','b_name'],index=False)

'''一个excel写入多个sheet'''
writer = pd.ExcelWriter('output.xlsx')
# df1 = pd.DataFrame(data={'col1':[1,1], 'col2':[2,2]})
df1 = pd.DataFrame(data=[{'col1':1, 'col2':2},{'col1':3, 'col2':4}])
df1.to_excel(writer,sheet_name='Sheet1')
df1.to_excel(writer,sheet_name='2')
writer.save()
writer.close()
#-------------------------------------------------------
df1 = pd.DataFrame({'Data1': [1, 2, 3, 4, 5, 6, 7]})
df2 = pd.DataFrame({'Data2': [8, 9, 10, 11, 12, 13]})
df3 = pd.DataFrame({'Data3': [14, 15, 16, 17, 18]})
with pd.ExcelWriter('output2.xlsx') as writer:
    df1.to_excel(writer, sheet_name='Data1', startcol=0, index=False)
    df2.to_excel(writer, sheet_name='Data1', startcol=1, index=False)
    df3.to_excel(writer, sheet_name='Data3', index=False)

import pandas as pd
data = pd.read_excel('E:\\PythonTestCode\\public opinion.xlsx', sheetname='public opinion')

row_num, column_num = data.shape    #数据共有多少行，多少列
print('the sample number is %s and the column number is %s' % (row_num, column_num))
#这里我们的数据共有210000行，假设要让每个文件1万行数据，即分成21个文件
for i in range(0, 21):
    save_data = data.iloc[i*10000+1:(i+1)*10000+1, :] #每隔1万循环一次
    file_name= 'E:\\PythonTestCode\\public opinion\\public opinion' + str(i) + '.xlsx'
    save_data.to_excel(file_name, sheet_name = 'public opinion', index = False)

import pandas as pd

data0 = pd.read_excel('E:\\PythonTestCode\\public opinion\\public opinion0.xlsx', sheetname='public opinion')
data1 = pd.read_excel('E:\\PythonTestCode\\public opinion\\public opinion1.xlsx', sheetname='public opinion')
data = pd.concat([data0, data1])

for i in range(2, 21):
    file_name = 'E:\\PythonTestCode\\public opinion\\public opinion' + str(i) + '.xlsx'
    data2 = pd.read_excel(file_name)
    data = pd.concat([data, data2])
data.to_excel('E:\\PythonTestCode\\public opinion\\public opinion-concat.xlsx', index = False)

import pymongo
import pandas as pd

client = pymongo.MongoClient('localhost',27017)
db  = client['Lottery']
collection = db['Pk10']

data = pd.DataFrame(list(collection .find()))

#删除mongodb中的_id字段
del data['_id']

#选择需要显示的字段
data = data[['date','num1','num10']]
print(data)