专栏首页凹凸玩数据将不规则的Python多维数组拉平到一维,你学废了吗?

将不规则的Python多维数组拉平到一维,你学废了吗?

之前有群友提出一个需求:

例如有一个列表:

l = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]

希望把它转换成下面这种形式:

[1, 2, 3, 4, 5, 6, 7, 8, 9]

群友们也纷纷热心的给出了自己的见解和方案:

我感觉都非常不错,但其实还有更简单的办法。

另外如果是下面这种不规则的多维列表:

l = [[1, 2], [3, 4], [5, [6, 7, [8, 9]]], 10, [11, [12, 13, [14, 15, [16]]]]]

我们想将它拉平到一维列表:

[1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16]

常规的方法就都会不好使,我会教大家通过递归或栈来实现深度优先遍历策略来解决这个问题。

使用numpy拉平数组

import numpy as np

np.array(l).flatten().tolist()

结果:

[1, 2, 3, 4, 5, 6, 7, 8, 9]

使用python拉平数组

使用numpy数组拉平数组,其实很受限,一旦列表内部每个元素的长度不一致,numpy就不好使了:

l = [[1, 2, 3], [4, 5], [6, 7], [8, 9, 10, 11]]
np.array(l).flatten().tolist()
D:\Anaconda3\lib\site-packages\ipykernel_launcher.py:2: VisibleDeprecationWarning: Creating an ndarray from ragged nested sequences (which is a list-or-tuple of lists-or-tuples-or ndarrays with different lengths or shapes) is deprecated. If you meant to do this, you must specify 'dtype=object' when creating the ndarray

结果:

[[1, 2, 3], [4, 5], [6, 7], [8, 9, 10, 11]]

这时我们可以通过python的itertools库的chain来实现拉平操作:

import itertools

list(itertools.chain(*l))

结果:

[1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11]

当然还有一种更高级的操作方法是直接使用sum函数:

sum(l, [])

结果:

[1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11]

你可能一脸懵逼,为什么sum函数可以实现列表的拉平?下面我翻译一下,这段代码实际做了什么:

result = []
for i in l:
    result += i
result

结果:

[1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11]

sum(l, [])的第一个参数是被迭代的容器,第二个元素是一个初始值,它的工作机制与函数式编程的reduce思想是一样的,用一个初始值不停的迭代操作目标的每个元素累加到初始对象中。

将不规则多维数组拉平到1维

上面的需求似乎很简单,假如我们希望将下面这个复杂的列表,拉平到一维呢?

l = [[1, 2], [3, 4], [5, [6, 7, [8, 9]]], 10, [11, [12, 13, [14, 15, [16]]]]]

这样不规则的列表,上面的方法已经都不好使了,这个时候怎么办呢?

在这个列表不长的时候,我们可以玩点小技巧:

list_str = str(l).replace("[", "").replace("]", "")
eval(f"[{list_str}]")

结果:

[1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16]

原理就是先将这个列表转成普通的字符串,再将所有的[]字符都去掉,再转成单维列表的字符串形式之后,用eval函数进行解析。

上面的字符串替换,使用正则替换会更佳:

import re

eval(re.sub("(?!^)\[|\](?!$)", "", str(l)))

结果:

[1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16]

这个小技巧非常巧妙,但是在这个不规则列表长度足够长,元素足够多的时候,这种方法性能上可能是无法被接受的,因为解析字符串创建对象存在较大的资源开销。

深度优先遍历策略拉平多维数组

下面我介绍一个正常的解决这个问题的办法,那就是使用深度优先遍历策略,如果你对拉平的结果没有顺序的要求还可以使用广度优先遍历的策略。

深度优先遍历策略,最简单直接的思路是使用递归来实现:

def flatten(items, result=[]):
    for item in items:
        if isinstance(item, list):
            flatten(item, result)
        else:
            result.append(item)


result = []
flatten(l, result)
result

结果:

[1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16]

虽然递归可能出现调用栈过多导致性能下降或程序挂掉,但Python可以借助生成器让递归调用变成普通调用:

def flatten(items):
    for item in items:
        if isinstance(item, list):
            yield from flatten(item)
        else:
            yield item


result = [e for e in flatten(l)]
result

结果:

[1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16]

如果我们不想使用递归或生成器来实现深度优先遍历,还可以借助一个栈来实现深度优先遍历。

为了保证结果是原有的顺序,我们把左端作为栈顶,而数组不适合删除左端的数据,所以使用deque来作为栈。

首先,我们需要将原列表转换为deque,下面是处理代码:

from collections import deque

stack = deque(l)
result = []
while len(stack) != 0:
    item = stack.popleft()
    if isinstance(item, list):
        for e in reversed(item):
            stack.appendleft(e)
    else:
        result.append(item)
result

结果:

[1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16]

如果我们将原列表作为一个右端为栈顶的栈,可以通过向结果左端插入数据来保持原有的顺序:

from collections import deque

stack = l.copy()
result = deque()
while len(stack) != 0:
    item = stack.pop()
    if isinstance(item, list):
        for e in item:
            stack.append(e)
    else:
        result.appendleft(item)
result = list(result)
result

结果:

[1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16]

小结

想不到小小的列表拉平还有这么多学问,希望今天的分享能够对让你学有所获。

欢迎你在下方留言或评论,分享你的学习心得和体会。

本文分享自微信公众号 - 凹凸数据(alltodata),作者:小小明

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-01-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 『统计学』最常用的数据分析方法都在这了!Part.2

    主成分分析(Principal Component Analysis,PCA), 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的...

    朱小五
  • 数据运营36计(三):熵权法如何确定指标权重构建评价体系

    信息论基本原理解释信息是系统有序性的度量单位,而熵可以度量系统的无序程度;如果某个指标的信息熵越小,该指标提供的信息量越大,指标变异程度(方差)高,因此在综合评...

    朱小五
  • Python实现数据写入 Excel 的三种模块!

    本文说明如何使用 xlsxwriter、pandas、openpyxl 三个库来实现数据写入 Excel,写入后的格式如下图所示:

    朱小五
  • ‘StringBuilder‘ can be replaced with ‘String‘

    报告StringBuffer,StringBuilder或StringJoiner的所有用法,这些用法可以用单个java.lang.String串联代替。使用S...

    JavaEdge
  • 三国跨界科普丨5G频谱是什么?

    边缘计算
  • 3分钟短文 | Laravel 内3种数据校验的写法,你喜欢哪一个?

    web应用程序公开访问几乎没有不带用户交互的,难免要接收用户输入的奇奇怪怪的东西。对于后端程序,必须对输入的内容进行有效性过滤。

    程序员小助手
  • 用nodejs xml2js读取xml文件

    读取这个配置文件的JavaScript代码,使用了nodejs里的xml2js模块:

    Jerry Wang
  • 堆和栈的区别

    用户1941540
  • 深入解析PHP中array_merge函数的用法

    沈唁
  • Django 2.1.7 上传图片 - Admin后台管理

    Django 2.1.7 Admin管理后台 - 注册模型、自定义显示列表字段 Django 2.1.7 Admin - 列表页选项 Django 2.1....

    Devops海洋的渔夫

扫码关注云+社区

领取腾讯云代金券

,,