Python/pandas中组合DataFrame的自动生成
我是熊猫和蟒蛇的新手，我来自生物化学和药物研发的背景。我想要自动化的一项常见任务是将药物治疗和蛋白质的组合列表转换为包含所有这些组合的格式。
例如，如果我有一个包含一组给定组合的DataFrame：https://github.com/colinhiggins/dillydally/blob/master/input.csv，我想将它转换为https://github.com/colinhiggins/dillydally/blob/master/output.csv，以便将每个蛋白质(1、2和3)复制到输出DataFrame中n次，其中行数n是每个蛋白质的药物和药物浓度加1的非药物行。
理想情况下，结合的程度将由其他指示关系的表格决定，例如，如果蛋白质1和2用药物1，2和3治疗，但蛋白质2不用任何药物治疗。
我在想可能需要某种嵌套的loop，但我不能完全理解如何启动它。
回答 3
Stack Overflow用户
发布于 2018-02-02 10:14:05
考虑以下解决方案
from itertools import product
import pandas
protein = ['protein1' , 'protein2' , 'protein3' ]
drug = ['drug1' , 'drug2', 'drug3']
drug_concentration = [100,30,10]
df = pandas.DataFrame.from_records( list( i for i in product(protein, drug, drug_concentration ) ) , columns=['protein' , 'drug' , 'drug_concentration'] )
>>> df
protein drug drug_concentration
0 protein1 drug1 100
1 protein1 drug1 30
2 protein1 drug1 10
3 protein1 drug2 100
4 protein1 drug2 30
5 protein1 drug2 10
6 protein1 drug3 100
7 protein1 drug3 30
8 protein1 drug3 10
9 protein2 drug1 100
10 protein2 drug1 30
11 protein2 drug1 10
12 protein2 drug2 100
13 protein2 drug2 30
14 protein2 drug2 10
15 protein2 drug3 100
16 protein2 drug3 30
17 protein2 drug3 10
18 protein3 drug1 100
19 protein3 drug1 30
20 protein3 drug1 10
21 protein3 drug2 100
22 protein3 drug2 30
23 protein3 drug2 10
24 protein3 drug3 100
25 protein3 drug3 30
26 protein3 drug3 10这基本上是您想要的笛卡尔产品，它是itertools模块中的product函数的功能。无可否认，我很困惑，为什么你想要只列出蛋白质的空行和其他列中的nan。我不确定这是故意的还是偶然的。如果数据类型是统一的和数字的，这就是所谓的meshgrid的类似功能。
Stack Overflow用户
发布于 2013-09-09 01:33:58
我已经在add one row in a pandas.DataFrame的帮助下使用ShikharDua推荐的方法完成了部分工作，即创建一个字典列表，每个字典对应于最终DataFrame中的一行。
代码是：
data = pandas.read_csv('input.csv')
dict1 = {"protein":"","drug":"","drug_concentration":""} #should be able to get this automatically using the dataframe columns, I think
rows_list = []
for unique_protein in data.protein.unique():
dict1 = {"protein":unique_protein,"drug":"","drug_concentration":""}
rows_list.append(dict1)
for unique_drug in data.drug.unique():
for unique_drug_conc in data.drug_concentration.unique():
dict1 = {"protein":unique_protein,"drug":unique_drug,"drug_concentration":unique_drug_conc}
rows_list.append(dict1)
df = pandas.DataFrame(rows_list)
df它不像我希望的那样灵活，因为没有药物的蛋白质的额外行被硬编码到嵌套的for循环中，但至少这是一个开始。我想我可以在每个for循环中添加一些if语句。
Stack Overflow用户
发布于 2013-09-09 08:35:27
我对早期版本进行了改进
- 将其封装在一个函数中，
- 从另一个输入CSV文件中添加了对不会被药物治疗的蛋白质的检查，该文件在A列中包含相同的蛋白质，并且在B列中标记为"treat with drugs"
- Skips null value。我注意到我的示例CSV有相等长度的列，如果NaN行有不相等的CSV字典键，则函数开始处理这些行，这些列是从初始输入CSV中的列设置的，而不是硬编码。
我用一些真实的数据测试了这一点(因此从input.csv到realinput.csv的更改)，它工作得很好。
全功能python文件的代码如下：
import pandas
import os
os.chdir("path_to_directory_containing_realinput_and_boolean_file")
realinput = pandas.read_csv('realinput.csv')
rows_list = []
dict1 = dict.fromkeys(realinput.columns,"")
prot_drug_bool = pandas.read_csv('protein_drug_bool.csv')
prot_drug_bool.index = prot_drug_bool.protein
prot_drug_bool = prot_drug_bool.drop("protein",axis=1)
def null_check(value):
return pandas.isnull(value)
def combinator(input_table):
for unique_protein in input_table.protein.unique():
dict1 = dict.fromkeys(realinput.columns,"")
dict1['protein']=unique_protein
rows_list.append(dict1)
if prot_drug_bool.ix[unique_protein]:
for unique_drug in input_table.drug.unique():
if not null_check(unique_drug):
for unique_drug_conc in input_table.drug_concentration.unique():
if not null_check(unique_drug_conc):
dict1 = dict.fromkeys(realinput.columns,"")
dict1['protein']=unique_protein
dict1['drug']=unique_drug
dict1['drug_concentration']=unique_drug_conc
rows_list.append(dict1)
df = pandas.DataFrame(rows_list)
return df
df2 = combinator(realinput)
df2.to_csv('realoutput.csv')我仍然希望通过摆脱对任何字典键的硬编码，并让用户定义的input.csv列标题来决定输出，从而使其更具通用性。另外，我不想使用已定义的三列设置来处理任意数量的列。
https://stackoverflow.com/questions/18678772
复制相似问题
腾讯云开发者
