Power Query 系列 (12) - Power Query 结构化列应用案例
原创Power Query 系列 (12) - Power Query 结构化列应用案例
原创
本篇数据处理来自一个实际处理数据的简化。下图中，假设左边是一个直观的 BOM 结构展示，数据在 Excel 中存储格式如中间部分所示：第一列为物料编码的级别，第二列为物料编码。数据处理任务：需要在 Excel 中增加一列输出物料编码上一级的物料编码(目标为黄色部分)。
Excel 处理这种没有明显规律的数据，借助 VBA 比较方便。我的方法是这样的：从第二行开始循环，如果 Level = 1，初始化一个数组 BomMaterials, 如果不等于 1，则根据 level 刷新该级别的物料编码，并且将上级物料的编码写入到 Parent 列。下面的 VBA 代码显示了处理过程。
Public Sub populate_parent()
Dim currSheet As Worksheet
Set currSheet = Sheet3
Dim i As Long
Dim BomMaterials() As String
Dim level As Integer
For i = 2 To 367 ' 数据开始和结束行
level = Range("B" & i).Value
If Range("B" & i).Value = 1 Then
ReDim BomMaterials(1 To 8)
BomMaterials(level) = Range("C" & i).Value
Else
BomMaterials(level) = Range("C" & i).Value
Range("D" & i).Value = BomMaterials(level - 1)
End If
Next
End Sub现在需要在 Power Query (PQ) 中做相同的处理。将 Excel 工作表的 BOM 数据通过 Ctrl + T 变成 Excel 的 Table，加载到 Power Query 查询编辑器（操作过程可以参考我之前的博客），此时界面如下。为了处理方便，步骤名称我改为了英文。
对 BOM查询，添加一个新的条件列，找出每一行物料编码所属的第一级物料编码：
点击确定按钮，回到查询编辑器，此时界面如下。除了第 1 级，其他级别物料编码为 null。
选中 Level1 列，切换到【转换】选项卡，打开【填充】下拉框，选择向下填充。或者在选中这一列后，右键菜单，也有【填充】菜单项。向下填充后，所有 null 值都被自动填充为上一行的值，直到遇到非空值。
选中左边 BOM 查询，右键菜单【复制】，将 BOM 复制为一个新的查询，将新查询名改为 BOMGrouped。目前 BOMGrouped 查询和 BOM 查询完全相同。
选择 BOMGrouped 查询，选中 Level1 这一列，通过【主页】或者右键菜单中的【分组依据】，打开下面的对话框：
注意这里选择：所有行（要点）。
通过这种分组的方式，除第一级物料编码之外的所有数据，全部变成一列。Grouped 这一列中的每个单元格，不是一个单值数据，而是 Table 类型的数据，所以将其称为结构化列。我们后面可以对结构化列进行展开 (expand)，获得我们想要的数据，这种数据处理方法跟 Excel 有着天壤之别，后面我们还将通过其它示例，领会和掌握结构化列的使用方法。结构化列不仅仅是 Table 类型，如果某一列是 Table、Record 或者 List，则都是结构化列。
完成本步骤，BOMGrouped 查询的 M语言脚本如下：
let
Source = Excel.CurrentWorkbook(){[Name="BOM"]}[Content],
ChangedTypes = Table.TransformColumnTypes(Source,
{{"IDX", Int64.Type}, {"Level", Int64.Type}, {"MaterialCode", type text}}),
AddedLevel1 = Table.AddColumn(ChangedTypes, "Level1", each if [Level] = 1 then [MaterialCode] else null),
FilledDown = Table.FillDown(AddedLevel1,{"Level1"}),
GroupedByLevel1 = Table.Group(FilledDown, {"Level1"},
{{"Grouped", each _, type table [IDX=number, Level=number, MaterialCode=text, Level1=text]}})
in
GroupedByLevel1接下来，选中 BOM 查询，与刚才加工好的 BOMGrouped 查询做一个合并查询 (操作方法可以参考本系列第 9 和第 10 篇 ）：
完成本步骤后界面如下：
需要对 BOMGrouped 列进行展开操作，展开时只保留 Grouped 字段：
完成操作后，点击 Grouped 字段，下面已经可以看到 BOM 信息，是 Table 类型的结构化数据：
目前这个子表 (sub-table) 包含所有数据，我们需要对其进行筛选。为了方便处理，我们添加一列，值与 Grouped 一样：
完成刚才的步骤，高级编辑器中的 M 代码为：
let
Source = Excel.CurrentWorkbook(){[Name="BOM"]}[Content],
ChangedTypes = Table.TransformColumnTypes(Source,{{"IDX", Int64.Type}, {"Level", Int64.Type}, {"MaterialCode", type text}}),
AddedLevel1 = Table.AddColumn(ChangedTypes, "Level1", each if [Level] = 1 then [MaterialCode] else null),
FilledDown = Table.FillDown(AddedLevel1,{"Level1"}),
MergedWithBOMGrouped = Table.NestedJoin(FilledDown, {"Level1"}, BOMGrouped, {"Level1"}, "BOMGrouped", JoinKind.LeftOuter),
ExpandedBOMGrouped = Table.ExpandTableColumn(MergedWithBOMGrouped, "BOMGrouped", {"Grouped"}, {"Grouped"}),
AddedSelectedMaterialCol = Table.AddColumn(ExpandedBOMGrouped, "SelectedMaterial", each [Grouped])
in
AddedSelectedMaterialCol为了对 Grouped 列包含的字表数据进行筛选，需要用到两个标准款函数：Table.SelectRows 和 Table.Last。
Table.SelectRows(table as table, condition as function) as tableTable.SelectRows 函数根据条件筛选出表中符合条件的记录，返回值是 table
Table.Last(table as table, optional default as any) as anyTable.Last 函数获取 table 中的最后一行，返回值一般是 record。
使用上面两个函数，对最后一个步骤的代码进行变更，变更之前：
AddedSelectedMaterialCol = Table.AddColumn(ExpandedBOMGrouped, "SelectedMaterial", each [Grouped])首先对 subtable 进行筛选，筛选出 IDX 比主表 IDX 小，物料的 Level 比本 Level 小 1 的所有记录：
AddedSelectedMaterialCol = Table.AddColumn(ExpandedBOMGrouped, "SelectedMaterial",
each Table.SelectRows([Grouped], (x) => x[IDX] <= [IDX] and x[Level] = [Level]-1))回到查询编辑器界面，子表的筛选条件已经起作用了：
然后再对最后一个步骤的代码用 Table.Last 函数，将符合条件的记录从 Table 变成 Record，经这一处理，字表只剩下最后一行符合条件的记录，单元格的数据类型是 Record：
AddedSelectedMaterialCol = Table.AddColumn(ExpandedBOMGrouped, "SelectedMaterial",
each Table.Last(
Table.SelectRows([Grouped],
(x) => x[IDX] <= [IDX] and x[Level] = [Level]-1)))完成这一个步骤，界面如下：
M 语言脚本如下：
let
Source = Excel.CurrentWorkbook(){[Name="BOM"]}[Content],
ChangedTypes = Table.TransformColumnTypes(Source,{{"IDX", Int64.Type}, {"Level", Int64.Type}, {"MaterialCode", type text}}),
AddedLevel1 = Table.AddColumn(ChangedTypes, "Level1", each if [Level] = 1 then [MaterialCode] else null),
FilledDown = Table.FillDown(AddedLevel1,{"Level1"}),
MergedWithBOMGrouped = Table.NestedJoin(FilledDown, {"Level1"}, BOMGrouped, {"Level1"}, "BOMGrouped", JoinKind.LeftOuter),
ExpandedBOMGrouped = Table.ExpandTableColumn(MergedWithBOMGrouped, "BOMGrouped", {"Grouped"}, {"Grouped"}),
AddedSelectedMaterialCol = Table.AddColumn(ExpandedBOMGrouped, "SelectedMaterial",
each Table.Last(Table.SelectRows([Grouped], (x) => x[IDX] <= [IDX] and x[Level] = [Level]-1)))
in
AddedSelectedMaterialCol读者也可将 M 语言的脚本拷贝到高级编辑器，直接看效果，并且可以进入每一步骤查看数据的变化过程。最后，对 SelectedMaterial 结构化列展开，只保留 MaterialCode 这一列。
将列名改为 Parent，并删除不需要的辅助列。完成后的 M 语言脚本：
let
Source = Excel.CurrentWorkbook(){[Name="BOM"]}[Content],
ChangedTypes = Table.TransformColumnTypes(Source,{{"IDX", Int64.Type}, {"Level", Int64.Type}, {"MaterialCode", type text}}),
AddedLevel1 = Table.AddColumn(ChangedTypes, "Level1", each if [Level] = 1 then [MaterialCode] else null),
FilledDown = Table.FillDown(AddedLevel1,{"Level1"}),
MergedWithBOMGrouped = Table.NestedJoin(FilledDown, {"Level1"}, BOMGrouped, {"Level1"}, "BOMGrouped", JoinKind.LeftOuter),
ExpandedBOMGrouped = Table.ExpandTableColumn(MergedWithBOMGrouped, "BOMGrouped", {"Grouped"}, {"Grouped"}),
AddedSelectedMaterialCol = Table.AddColumn(ExpandedBOMGrouped, "SelectedMaterial",
each Table.Last(Table.SelectRows([Grouped], (x) => x[IDX] <= [IDX] and x[Level] = [Level]-1))),
ExpandedMaterialCol = Table.ExpandRecordColumn(AddedSelectedMaterialCol, "SelectedMaterial", {"MaterialCode"}, {"Parent"}),
DeletedCols = Table.RemoveColumns(ExpandedMaterialCol,{"Level1", "Grouped"})
in
DeletedCols通过【主页】上关闭并上载，将结果数据加载到 Excel 工作表：
示例数据已经放到 github - BOMSample.xlsx，方便大家学习。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。