大数据，微小目标：基于机器学习的滤膜微塑料检测探索性研究

# ============================================
# 论文：Big Data, Tiny Targets - 微塑料检测探索性研究
# 模块化伪代码框架
# ============================================

# ---------- 模块1：数据预处理 ----------
MODULE DataPreprocessing:
    INPUT: 
        raw_image_dataset,  # 原始滤膜图像
        metadata_csv        # 样本元数据
    OUTPUT: 
        processed_dataset,  # 预处理后数据
        train_val_test_splits
    
    # 步骤1.1：图像标准化
    PROCEDURE standardize_images(images):
        FOR each image IN images:
            - 调整尺寸为 512x512 像素
            - 应用 CLAHE 对比度增强
            - 标准化像素值到 [0,1] 范围
            - 执行背景扣除（暗场校正）
        RETURN standardized_images
    
    # 步骤1.2：微塑料标注处理
    PROCEDURE process_annotations(metadata):
        # 多类别标注：纤维/碎片/颗粒/薄膜
        annotation_map = {
            'fiber': 0,
            'fragment': 1, 
            'bead': 2,
            'film': 3
        }
        # 尺寸标注：<50um, 50-100um, 100-500um, >500um
        size_bins = [0, 50, 100, 500, inf]
        RETURN multi_label_annotations
    
    # 步骤1.3：数据增强
    PROCEDURE augment_dataset(images, labels):
        AUGMENTATION_PIPELINE = [
            RandomRotation(范围=[-15°, 15°]),
            RandomBrightnessContrast(亮度变化=0.2),
            GaussianNoise(方差=0.001),
            ElasticTransform(alpha=30, sigma=5)
        ]
        # 仅对训练集应用增强
        RETURN augmented_train_set
    
    # 步骤1.4：数据集划分
    PROCEDURE split_dataset(dataset):
        # 分层抽样，保持类别分布
        SPLIT_RATIO = 训练集:验证集:测试集 = 70:15:15
        # 确保同一滤膜样本不出现在多个分割中
        RETURN train_set, val_set, test_set

# ---------- 模块2：特征提取 ----------
MODULE FeatureExtraction:
    INPUT: preprocessed_images
    OUTPUT: feature_vectors
    
    # 选项2.1：传统图像特征
    PROCEDURE extract_handcrafted_features(image):
        FEATURES = {
            '形态特征': [
                面积, 周长, 长宽比, 
                圆度, 实心度, 凸包率
            ],
            '纹理特征': [
                Haralick特征(对比度、相关性、能量),
                LBP局部二值模式,
                Gabor滤波响应
            ],
            '颜色特征': [
                RGB直方图(32 bins),
                HSV色彩空间统计量,
                颜色矩(均值、方差、偏度)
            ],
            '尺寸特征': [
                等效直径,
                费雷特直径(最小/最大),
                像素面积与实际尺寸映射
            ]
        }
        RETURN 324维特征向量
    
    # 选项2.2：深度学习特征
    PROCEDURE extract_deep_features(image):
        # 使用预训练CNN作为特征提取器
        BACKBONES = [
            ResNet50(在ImageNet预训练),
            EfficientNet-B4(在ImageNet预训练),
            CustomCNN(自监督预训练)
        ]
        
        # 多尺度特征融合
        特征图 = []
        FOR 尺度 IN [1.0, 0.5, 2.0]:
            缩放图像 = resize(image, 尺度)
            特征 = backbone(缩放图像)
            特征图.append(全局平均池化(特征))
        
        RETURN 拼接后的特征向量

# ---------- 模块3：模型架构 ----------
MODULE ModelArchitecture:
    
    # 选项3.1：集成传统机器学习
    CLASS EnsembleTraditionalModel:
        METHODS:
            初始化():
                self.models = {
                    'rf': RandomForest(n_estimators=200),
                    'svm': SVM(kernel='rbf', C=10),
                    'xgboost': XGBoost(max_depth=6),
                    'mlp': MLP(hidden_layers=[256, 128])
                }
            
            训练(特征, 标签):
                # 堆叠集成学习
                level1_predictions = []
                FOR name, model IN self.models.items():
                    cv_predictions = cross_val_predict(model, 特征, 标签)
                    level1_predictions.append(cv_predictions)
                
                # 元学习器
                self.meta_learner = LogisticRegression()
                self.meta_learner.fit(stack(level1_predictions), 标签)
            
            预测(新样本):
                base_preds = [model.predict(新样本) 
                             FOR model IN self.models.values()]
                RETURN self.meta_learner.predict(stack(base_preds))
    
    # 选项3.2：深度学习模型
    CLASS MicroplasticDetector(nn.Module):
        METHODS:
            初始化():
                # 双分支架构：局部细节 + 全局上下文
                self.local_branch = ResNet18(修改第一层接受1通道)
                self.global_branch = VisionTransformer(patch_size=16)
                
                # 注意力机制
                self.cross_attention = CrossAttention(维度=512)
                
                # 多任务输出头
                self.classifier = nn.Sequential(
                    nn.Linear(1024, 256),
                    nn.ReLU(),
                    nn.Dropout(0.3),
                    nn.Linear(256, 4)  # 4类微塑料
                )
                
                self.size_regressor = nn.Linear(1024, 1)  # 尺寸回归
            
            前向传播(x):
                局部特征 = self.local_branch(x)
                全局特征 = self.global_branch(x)
                
                融合特征, 注意力权重 = self.cross_attention(
                    局部特征, 全局特征
                )
                
                类别预测 = self.classifier(融合特征)
                尺寸预测 = self.size_regressor(融合特征)
                
                RETURN 类别预测, 尺寸预测, 注意力权重

# ---------- 模块4：训练流程 ----------
MODULE TrainingProcedure:
    INPUT: 训练集, 验证集, 模型配置
    OUTPUT: 训练好的模型, 训练历史
    
    # 损失函数配置
    LOSS_FUNCTIONS = {
        '分类损失': FocalLoss(gamma=2, alpha=[0.25, 0.25, 0.25, 0.25]),
        '尺寸损失': HuberLoss(delta=1.0),
        '正则化': L2正则化(lambda=0.0001)
    }
    
    # 训练循环
    PROCEDURE train_epoch(model, dataloader, optimizer):
        FOR batch IN dataloader:
            images, (labels, sizes) = batch
            
            # 前向传播
            pred_labels, pred_sizes, attentions = model(images)
            
            # 多任务损失
            loss_cls = LOSS_FUNCTIONS['分类损失'](pred_labels, labels)
            loss_size = LOSS_FUNCTIONS['尺寸损失'](pred_sizes, sizes)
            loss_reg = LOSS_FUNCTIONS['正则化'](model.parameters())
            
            总损失 = 0.7*loss_cls + 0.3*loss_size + loss_reg
            
            # 反向传播
            optimizer.zero_grad()
            总损失.backward()
            nn.utils.clip_grad_norm_(model.parameters(), 1.0)
            optimizer.step()
        
        RETURN 平均损失
    
    # 学习率调度
    SCHEDULER = ReduceLROnPlateau(
        factor=0.5,
        patience=5,
        mode='max',
        monitor='val_f1_score'
    )
    
    # 早停机制
    EARLY_STOPPING = EarlyStopping(
        patience=15,
        min_delta=0.001
    )

# ---------- 模块5：评估指标 ----------
MODULE EvaluationMetrics:
    INPUT: 预测结果, 真实标签
    OUTPUT: 性能指标字典
    
    PROCEDURE calculate_metrics(y_true, y_pred):
        # 分类指标
        CLASS_METRICS = {
            '加权F1': f1_score(y_true, y_pred, average='weighted'),
            '各类别F1': f1_score(y_true, y_pred, average=None),
            '混淆矩阵': confusion_matrix(y_true, y_pred),
            'AUC-ROC': roc_auc_score(y_true, y_pred_prob, multi_class='ovr'),
            '平衡准确率': balanced_accuracy_score(y_true, y_pred)
        }
        
        # 检测指标（如果使用目标检测）
        DETECTION_METRICS = {
            '平均精度(mAP)': calculate_map(
                预测框, 真实框, 
                iou_thresholds=[0.5, 0.75]
            ),
            '召回率@50': recall_at_iou(0.5),
            '小目标检测率': small_object_recall(阈值=50)  # <50um
        }
        
        # 回归指标（尺寸预测）
        REGRESSION_METRICS = {
            'R²分数': r2_score(真实尺寸, 预测尺寸),
            '平均绝对误差(um)': mae(真实尺寸, 预测尺寸),
            '几何平均误差': geometric_mean_absolute_error(真实尺寸, 预测尺寸)
        }
        
        RETURN 合并的指标字典

# ---------- 模块6：可视化与解释 ----------
MODULE Visualization:
    
    PROCEDURE visualize_results():
        # 图1：训练曲线
        PLOT 训练损失 vs 验证损失
        PLOT 学习率变化曲线
        
        # 图2：混淆矩阵热图
        PLOT 归一化混淆矩阵(annotate=True)
        
        # 图3：注意力可视化
        PLOT 原始图像 WITH 注意力热图叠加
        PLOT Grad-CAM特征重要性图
        
        # 图4：误差分析
        PLOT 预测尺寸 vs 真实尺寸散点图
        PLOT 各类别分类错误率
        
        # 图5：t-SNE特征降维
        PLOT 2D t-SNE投影(按类别着色)

# ---------- 模块7：消融实验 ----------
MODULE AblationStudy:
    
    EXPERIMENT_CONFIGS = [
        {
            '名称': '基线(传统特征+SVM)',
            '特征': 'handcrafted',
            '模型': 'svm',
            '增强': False
        },
        {
            '名称': '+数据增强',
            '特征': 'handcrafted', 
            '模型': 'svm',
            '增强': True
        },
        {
            '名称': '+深度学习特征',
            '特征': 'deep',
            '模型': 'mlp',
            '增强': True
        },
        {
            '名称': '完整模型(双分支)',
            '特征': 'both',
            '模型': 'dual_branch',
            '增强': True,
            '注意力': True
        }
    ]
    
    PROCEDURE run_ablation_studies():
        结果表 = []
        FOR 配置 IN EXPERIMENT_CONFIGS:
            模型 = 构建模型(配置)
            性能 = 训练并评估(模型)
            结果表.append({
                '配置': 配置['名称'],
                'F1分数': 性能['加权F1'],
                '小目标召回': 性能['小目标检测率'],
                '推理时间(ms)': 平均推理时间
            })
        
        # 生成消融研究表
        RETURN pd.DataFrame(结果表)

# ---------- 主执行流程 ----------
PROCEDURE main():
    
    # 阶段1：数据准备
    PRINT "步骤1：加载和预处理数据..."
    dataset = DataPreprocessing(
        raw_data="微塑料图像数据库",
        metadata="标注文件.csv"
    )
    
    # 阶段2：特征工程
    PRINT "步骤2：提取特征..."
    IF 使用传统特征:
        features = FeatureExtraction.extract_handcrafted_features(
            dataset.images
        )
    ELSE IF 使用深度学习:
        features = FeatureExtraction.extract_deep_features(
            dataset.images
        )
    
    # 阶段3：模型训练
    PRINT "步骤3：训练模型..."
    IF 实验模式 == "传统机器学习":
        model = ModelArchitecture.EnsembleTraditionalModel()
        model.train(features.train, dataset.labels.train)
    ELSE:
        model = ModelArchitecture.MicroplasticDetector()
        training_history = TrainingProcedure.train(
            model, 
            dataset.train_loader,
            epochs=100
        )
    
    # 阶段4：评估
    PRINT "步骤4：评估模型..."
    test_predictions = model.predict(dataset.test)
    metrics = EvaluationMetrics.calculate_metrics(
        dataset.labels.test, 
        test_predictions
    )
    
    # 阶段5：分析与可视化
    PRINT "步骤5：生成可视化..."
    Visualization.visualize_results()
    
    # 阶段6：消融实验（可选）
    IF 运行消融实验:
        ablation_results = AblationStudy.run_ablation_studies()
        PRINT "消融实验结果：", ablation_results
    
    # 保存最佳模型
    SAVE_MODEL(model, "best_microplastic_detector.pth")
    SAVE_RESULTS(metrics, "实验结果.json")
    
    PRINT "实验完成！最佳模型F1分数：", metrics['加权F1']

# 执行主程序
IF __name__ == "__main__":
    main()