【思维模式】拥抱复杂性（第 2 部分数据）

首席架构师智库

发布于 2022-06-02 17:59:50

1.2K0

发布于 2022-06-02 17:59:50

文章被收录于专栏：超级架构师超级架构师

如何通过三个简单（ish）步骤将您的组织网络化……从数据开始

您的信息不想被困在一个盒子里

在本文的第一部分中，我们确定了工业时代将复杂性组织成漂亮、整洁的线性盒子，尽管这是一种高效的机器制造方式，但这种方法已不再足以满足现代组织的需求。信息时代的全球网络。

不管我们喜不喜欢，“网络化”的过程正在进行中，任何组织都无法阻止它；唯一现实的选择是加入并在内部反映网络结构。如第一部分所述，信息时代的三个主要驱动力（数据、云和人工智能）可以统一为一个“网络化”过程，因此本文的其余部分分为三个相应的部分：

数据：组织如何将他们的数据从单独的盒形表格中移出，并进入像拼图一样组合在一起的网络形碎片，以及这些组织中的人员如何将他们的知识和概念理解作为这些网络的一部分——形状的碎片。
云：组织如何将数据保存在原处并将其“从源头”集成，而不是将其移动到中央位置以由小型中央团队进行工业化清理和集成，以及这种分散式架构如何使数据集成过程民主化一个组织。
人工智能：组织如何能够停止追赶，而是通过致力于一种新型的尖端人工智能算法来领先一步，这些算法旨在与网络形数据和纵横交错的路径一起工作。

为了保持真实，每个部分都将以实用工具的顶级介绍结束。这个想法是将这三个工具结合在一起将形成一个统一的工具集，该工具集足够复杂，可以处理您组织的真正复杂性。（为了让这篇文章更容易理解，这篇文章将只涵盖数据，而后续部分将涵盖云和人工智能）

数据

好吧，让我们从数据开始。如第一部分所述，计算机网络和神经网络已经自然是网络状的，但大多数组织数据仍然是盒状的。数据是奇数，因此，它既是薄弱环节，也是释放其他两者全部力量的关键。对于互联网原生公司来说，这个问题并不像他们的商业模式从一开始就基于从网络中提取大部分数据那样糟糕，当然，网络是一个巨大的网络。例如，谷歌有一个网页之间的链接网络，而 Facebook 有关于你社交网络中朋友之间链接的数据。在很大程度上是无意识的，这有利地迫使科技巨头以一种不那么线性的方式思考他们的数据。

但是对于大多数组织来说，我们的线性思维反映在我们创建的盒形数据结构中，让我们明确一点，这是阻碍大多数组织从技术阶段过渡的最大因素。

当您检查组织的数据时，您可能会发现它目前分散在一组独立的表格中，包括 Excel 电子表格和各种数据库。因此，例如，如果我们正在捕获有关人员及其订购的产品的信息，那么我们需要创建三个单独的表：一个用于人员，另一个用于订单，另一个用于产品。Excel 电子表格是一个简单而熟悉的数据表示例。

现在，Excel 表格既简单又灵活，但您无法在 Excel 上运行组织（尽管许多人一直在尝试）。为什么不能在 Excel 上运行组织？好吧，这些表中的每一个单独使用都是有限的，需要连接到其他表才能更有用。将表连接在一起的“工业化”答案是关系数据库。所有关系数据库在每一行中都包含唯一的 ID，它可以用来代表和表示该行中的所有信息，就像购物项目上的条形码可以用来代表有关该产品的所有信息一样。然后使用这个唯一键来连接表。

请注意，一旦我们引入了连通性，事情就变得更加复杂了，这只是为了强调复杂性随着连通性而增加的观点。

为了帮助澄清这种情况，让我们看一下在一组示例关系表中捕获有关人员和他们订购的产品的数据的示例，每个关系表都有其唯一的 id：

如果您觉得这个例子难以理解，请不要担心，它有点难以理解的事实只能证明线性思维使已经很复杂的情况变得极其复杂。

现在想象一下每个表中有数千行，每个数据库中有数百个表，并且每个组织中通常有数千个数据库，您将直观地了解我们在这里试图解决的非常实际的问题。

在 IT 部门中，像这样的盒式思维是如此根深蒂固，以至于当我们将数据打包到这些单独的表格中时，我们甚至都没有注意到。甚至关于各种列和表含义的元信息也必须打包到它们自己单独的、通常是专有的“模式”表中，并与其他数据分开。从表面上看，表格很简单，但没有错，以这种方式保存我们的数据存在非常真实的隐藏集成成本。每次我们创建一个新表，或者更糟糕的是，一个全新的数据库，我们都只是增加了组织的整体碎片。将所有数据重新链接到一个系统的过程变得更加复杂。随着时间的推移，这些分数加起来。就像《圣诞颂歌》中马利的鬼魂一样，每张桌子都像另一条沉重的锁链挂在组织周围。因此，添加一个新列可能会使大型组织花费数百万美元，这并非闻所未闻。

这里有两个基本问题在起作用：

表格从孤立部分的位置开始，仅在事后才添加部分之间的连接。使用 ID 在表之间链接既笨重又笨拙，当您想要连接到另一个数据库中保存的信息时，它会完全崩溃（因为每个数据库通常都会创建自己的隔离 ID）。
允许我们在摘要中谈论人或产品的信息不表示为普通数据，因此我无法轻松找到更一般和概念性的信息，例如“产品表中的库存列实际上是什么意思？”或“订单与产品有何关联？”。我所拥有的只是原始的、扁平的数据。

受够了厄运和忧郁。以下是网络形状如何用作寻找出路的“北极星”。关系数据库基于称为集合论的数学分支，您将集合视为不超过部分的总和，但网络基于图论，它考虑了部分之间的连接。从这里开始，我将交替使用术语“图形”和“网络”，因为它们指的是同一事物。

需要注意的一点是，将部件之间的连接视为一等公民是开始利用复杂性的方法，因为复杂性与连接性有关。让我们获取单独表的行和列中保存的信息，其中我们说“Person 表中的第 1111 行链接到表 Orders 中的第 2222 行”，看看我们是否可以通过说类似“本命令伴娘”。在信息方面，这就像从两部分编码（行和列）转移到三部分编码（项目、关系、对象）。

好的，让我们看看实际情况，我们将通过磨床运行所有示例表，将所有信息切碎成简单的三部分语句：

这张表看起来仍然很难以理解，但通过使用三部分编码，我们发挥了一点魔力；我们已经从多个集合转移到将关系合并为一等公民的单个图，因此我们已经从一组单独的 2D 表转移到了一个 3D 网络。因此，现在最好将这些信息直接可视化为网络：

在许多方面，这是一种更自然的思考数据的方式，因为它更接近于大脑的工作方式。也许是第一次，您可以开始清楚地看到我们的订购过程示例如何连接到一个完整的系统中。如果是这样，那么欢迎用曲线来思考。更重要的是，将抽象概念包含在网络中意味着我们可以缩小单个数据项的杂乱细节，并在更高的概念级别上查看所有内容如何组合在一起。

最后，通过嵌入在这个概念模型中的知识查看原始数据，我们可以获得关于系统如何运作和流动的潜在有用的见解。例如，假设我们将人们分组到家庭中，按订购的电影类别计算家庭的订单数量，并且当我们随着时间的推移这样做时，我们注意到一个平衡的反馈循环（还记得吗？）订购的动作片数量和订购的浪漫电影数量之间。

当我们分析这个循环时，也许我们会发现浪漫喜剧和动作电影的振荡方式与自然界中捕食者和猎物的数量相同。

如果你能弄清楚这个循环背后的故事，那么欢迎进行循环思考，或者更正式地称为系统思考。说所有这些都可以用表格完成，这没有抓住重点。图表是为这项工作制作的，它们让我们看到森林而不仅仅是树木。网络向我们展示了数据如何通过部分之间的连接流动，正是这种连接将部分变成了一个整体。换句话说，网络使我们能够将我们的组织视为一个系统，这反过来又使我们能够系统地思考和计划。通过转向三部分编码，我们创建了一个更具表现力和复杂性的结构，同时在某种程度上更易于理解。为了让系统能够思考，我们采用了相同的表格数据，但我们从一开始就建立了连接性，这改变了一些重要的事情，所以让我们花点时间把它们全部分解：

单独的表和数据库现在已经合并到一个结构中（我们可以称之为一个复杂的系统）
部件之间的连接现在是明确的，因此我们可以无缝地跟踪系统中从任何部件到另一个部件的路径，并查看它们是如何连接的
模型（即列名和表名）现在作为数据的一部分明确包含，并且可以通过这种方式制作这个概念模型，以便在数据旁边捕获抽象知识
我们的数据结构可以对反馈循环进行本地建模

在工业时代，为了实现广泛使用和提高效率，我们标准化了电力供应。出于类似的原因，在信息时代，这适用于数据；每个数据源都必须提供一个标准的网络形“数据插座”，并且任何想要使用和查询该数据的应用程序现在都可以使用标准的网络形“数据插头”。

要创建数据插件，我们必须将两部分数据转换为明确建模关系的三部分数据。这不是火箭科学，任何称职的开发人员都可以遍历数据库中的表，并将它们转换为三部分的语句，这些语句组合起来形成一个网络。通过这个简单的步骤，我们孤立的盒子变成了更大网络的连接片段。关于云的下一部分将说明如何将这些片段链接到其他团队生成的片段，但现在重要的是我们面前有什么：一种生成网络的简单方法。您可以将这些网络加载到图形数据库、图形可视化工具甚至图形机器学习算法中。对于那些希望在循环和曲线中思考的人来说，这里有很多乐趣。简而言之，我们有了第一个实用工具：图形适配器。