我有不同的数据帧,需要根据日期列将它们合并在一起。如果我只有两个数据帧,我可以使用df1.merge(df2, on='date')
来处理三个数据帧,我使用df1.merge(df2.merge(df3, on='date'), on='date')
,但是使用多个数据帧会变得非常复杂和不可读。
所有数据帧都有一个共同的列-date
,但它们的行数和列数都不相同,我只需要那些每个日期对每个数据帧都相同的行。
因此,我正在尝试编写一个递归函数,它返回一个包含所有数据的数据帧,但它不起作用。那么我应该如何合并多个数据帧呢?
我尝试了不同的方法,得到了像out of range
,keyerror 0/1/2/3
和can not merge DataFrame with instance of type <class 'NoneType'>
这样的错误。
这是我写的脚本:
dfs = [df1, df2, df3] # list of dataframes
def mergefiles(dfs, countfiles, i=0):
if i == (countfiles - 2): # it gets to the second to last and merges it with the last
return
dfm = dfs[i].merge(mergefiles(dfs[i+1], countfiles, i=i+1), on='date')
return dfm
print(mergefiles(dfs, len(dfs)))
例如: df_1:
May 19, 2017;1,200.00;0.1%
May 18, 2017;1,100.00;0.1%
May 17, 2017;1,000.00;0.1%
May 15, 2017;1,901.00;0.1%
df_2:
May 20, 2017;2,200.00;1000000;0.2%
May 18, 2017;2,100.00;1590000;0.2%
May 16, 2017;2,000.00;1230000;0.2%
May 15, 2017;2,902.00;1000000;0.2%
df_3:
May 21, 2017;3,200.00;2000000;0.3%
May 17, 2017;3,100.00;2590000;0.3%
May 16, 2017;3,000.00;2230000;0.3%
May 15, 2017;3,903.00;2000000;0.3%
预期的合并结果:
May 15, 2017; 1,901.00;0.1%; 2,902.00;1000000;0.2%; 3,903.00;2000000;0.3%
发布于 2017-06-03 06:59:16
看起来数据具有相同的列,因此您可以:
df1 = pd.DataFrame(data1)
df2 = pd.DataFrame(data2)
merged_df = pd.concat([df1, df2])
发布于 2017-06-02 20:14:57
有两种解决方案,但它分别返回所有列:
import functools
dfs = [df1, df2, df3]
df_final = functools.reduce(lambda left,right: pd.merge(left,right,on='date'), dfs)
print (df_final)
date a_x b_x a_y b_y c_x a b c_y
0 May 15,2017 900.00 0.2% 1,900.00 1000000 0.2% 2,900.00 2000000 0.2%
k = np.arange(len(dfs)).astype(str)
df = pd.concat([x.set_index('date') for x in dfs], axis=1, join='inner', keys=k)
df.columns = df.columns.map('_'.join)
print (df)
0_a 0_b 1_a 1_b 1_c 2_a 2_b 2_c
date
May 15,2017 900.00 0.2% 1,900.00 1000000 0.2% 2,900.00 2000000 0.2%
发布于 2017-08-25 04:42:44
@dannyeuu的答案是正确的。如果将axis选项设置为1,pd.concat自然会对索引列执行连接。默认值是外部连接,但您也可以指定内部连接。下面是一个示例:
x = pd.DataFrame({'a': [2,4,3,4,5,2,3,4,2,5], 'b':[2,3,4,1,6,6,5,2,4,2], 'val': [1,4,4,3,6,4,3,6,5,7], 'val2': [2,4,1,6,4,2,8,6,3,9]})
x.set_index(['a','b'], inplace=True)
x.sort_index(inplace=True)
y = x.__deepcopy__()
y.loc[(14,14),:] = [3,1]
y['other']=range(0,11)
y.sort_values('val', inplace=True)
z = x.__deepcopy__()
z.loc[(15,15),:] = [3,4]
z['another']=range(0,22,2)
z.sort_values('val2',inplace=True)
pd.concat([x,y,z],axis=1)
https://stackoverflow.com/questions/44327999
复制相似问题