熊猫如何将列表列转换为多列？
熊猫如何将列表列转换为多列？
提问于 2019-11-27 13:57:16
我有一个非常大的DataFrame，其中一列(COL)包含一个值的范围(即列表)。我想将这个COL转换成单独的列，如果指定的数字在COL number 0中，则标记为特定的数字，并包含1。
下面是我目前的做法。然而，这是缓慢的，大量的观察和MAX_VALUE。
import pandas as pd
import numpy as np
OBSERVATIONS = 100000 # number of values 600000
MAX_VALUE = 400 # 400
_ = pd.DataFrame({
'a':np.random.randint(2,20,OBSERVATIONS),
'b':np.random.randint(30,MAX_VALUE,OBSERVATIONS)
})
_['res'] = _.apply(lambda x: range(x['a'],x['b']),axis=1)
for i in range(MAX_VALUE):
_[f'{i}'] = _['res'].apply(lambda x: 1 if i in x else 0)回答 1
Stack Overflow用户
回答已采纳
发布于 2019-11-28 05:15:24
您可以尝试在numpy中进行计算，然后将numpy数组插入到dataframe。这个速度大约快了5倍：
import pandas as pd
import numpy as np
import time
OBSERVATIONS = 100_000 # number of values 600000
MAX_VALUE = 400 # 400
_ = pd.DataFrame({
'a':np.random.randint(2,20,OBSERVATIONS),
'b':np.random.randint(30,MAX_VALUE,OBSERVATIONS)
})
_['res'] = _.apply(lambda x: range(x['a'],x['b']),axis=1)
res1 = _.copy()
start = time.time()
for i in range(MAX_VALUE):
res1[f'{i}'] = res1['res'].apply(lambda x: 1 if i in x else 0)
print(f'original: {time.time() - start}')
start = time.time()
z = np.zeros((len(_), MAX_VALUE), dtype=np.int64)
for i,r in enumerate(_.res):
z[i,range(r.start,r.stop)]=1
res2 = pd.concat([_, pd.DataFrame(z)], axis=1)
res2.columns = list(map(str, res2.columns))
print(f'new : {time.time() - start}')
assert res1.equals(res2)输出：
original: 23.649751663208008
new : 4.586429595947266页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/59078982
复制相关文章
相似问题
华硕USB-AC68 68 [0b05:1817]驱动？
Ubuntu 17.04 Z校Zapus中的持久性问题
在16.04安装Z校Zapus (17.04)更新版本的R
Ubuntu 16.04用4.10内核冻结
以某种方式在内核4.10 Ubuntu 16.04上结束
添加站长 进交流群
领取专属 10元无门槛券
AI混元助手 在线答疑
关注 腾讯云开发者公众号
洞察 腾讯核心技术
剖析业界实践案例
腾讯云开发者
