关联规则

最近更新时间:2019-08-22 20:30:19

[2.0]FPGrowth

FPGrowth 是关联规则的一种实现方式,该算法将大规模的频繁集构建成 FPTree ,提高了提取频繁集的效率。平台提供的 FPGrowth 是 Li et al.,PFP: Parallel FP-growth for query recommendation 论文的并行实现,支持大规模的频繁集挖掘和关联规则的生成。

输入

  • 输入数据路径:输入文件所在路径。
  • 输入文件类型:格式包括以下两种:
    • csv:csv 文件。
      • 输入数据包含 header 信息。
      • 输入数据分割符:主要包括逗号、空格、分号、星号等分割符。
    • parquet:列式存储格式 parquet。

输出

  • 输出数据路径:输出文件所在路径。
    • 输出数据格式:格式包括以下两种:
      • csv:csv 文件。
        • 输出数据包含 header 信息。
        • 输出数据分割符:主要包括逗号、空格、分号、星号等分割符。
      • parquet:列式存储格式 parquet。

        参数

  • 并行数:训练数据的分区数、Spark 的并行数。
  • 抽样率:输入数据的采样率。
  • 支持度:范围:0 - 1.0,频繁集的支持度阈值,item 出现的次数除以整个数据集的样本数。小于该阈值的频繁集将会被过滤。
  • 置信度:范围:0 - 1.0,规则的置信度阈值,算法会过滤掉小于该阈值的规则。

测试节点

输入

  • 输入数据路径:输入文件所在路径。
  • 输入文件类型:格式包括以下两种:
    • csv:csv 文件。
      • 输入数据包含 header 信息。
      • 输入数据分割符:主要包括逗号、空格、分号、星号等分割符。
    • parquet:列式存储格式 parquet。

输出

  • 输出数据路径:输出文件所在路径。
    • 输出数据格式:格式包括以下两种:
      • csv:csv 文件。
        • 输出数据包含 header 信息。
        • 输出数据分割符:主要包括逗号、空格、分号、星号等分割符。
      • parquet:列式存储格式 parquet。

预测方法

首先根据频繁项集生成关联规则。然后对于 itemsCol 中的每个事务,变换方法将其项与每个关联规则的前因进行比较。 如果记录包含特定关联规则的所有前提,则该规则将被视为适用,并且其结果将被添加到预测项中。 预测方法将所有适用规则的结果总结为预测项。

[2.0]Apriori

Apriori 算法是常用的用于挖掘出数据关联规则的算法,它用来找出数据值中频繁出现的数据集合,找出这些集合的模式有助于我们做一些决策。
Apriori 算法使用支持度来作为判断频繁项集的标准。Apriori 算法的目标是找到最大的K项频繁集。这里有两层意思,首先,要找到符合支持度标准的频繁集。但是这样的频繁集可能有很多。第二层意思就是要找到最大个数的频繁集。
Apriori 算法采用了迭代的方法,先搜索出候选1项集及对应的支持度,剪枝去掉低于支持度的1项集,得到频繁1项集。然后对剩下的频繁1项集进行连接,得到候选的频繁2项集,筛选去掉低于支持度的候选频繁2项集,得到真正的频繁二项集,以此类推,迭代下去,直到无法找到频繁k+1项集为止,对应的频繁 k 项集的集合即为算法的输出结果。

输入

  • 输入数据路径:输入文件所在路径。
  • 输入文件类型:格式包括以下两种:
    • csv:csv 文件。
      • 输入数据包含 header 信息。
      • 输入数据分割符:主要包括逗号、空格、分号、星号等分割符。
    • parquet:列式存储格式 parquet。

输出

  • 输出数据路径:输出文件所在路径。
    • 输出数据格式:格式包括以下两种:
      • csv:csv 文件。
        • 输出数据包含 header 信息。
        • 输出数据分割符:主要包括逗号、空格、分号、星号等分割符。
      • parquet:列式存储格式 parquet。
    • 最小支持度:范围:0 - 1.0,频繁集的支持度阈值。
    • 最大支持度:范围:0 - 1.0,频繁集的支持度阈值。
    • 频繁项集最小长度:默认为1。
    • 频繁项集最大长度:默认为10。