SGT-UNet: A Manifold-Aware Transformer UNet for High-Fidelity Fashion-MNIST Denoising

Copyright (c) 2026 Chengren Pang. All rights reserved.

1. 项目概述 (Project Overview)

本项目是针对 Big Data Competition #8 开发的深度学习解决方案。该任务旨在解决数字图像处理中的经典逆问题：从受加性高斯白噪声（AWGN）污染的观测值 $y = x + n$ 中恢复原始清晰图像 $x$

SGT-UNet（Spatial-Global Transformer UNet）采用了一种混合架构，将坐标卷积的空间先验、Transformer 的全局约束以及注意力门（AG）的显著性滤波相结合。模型从流形学习的角度出发，利用深层收缩路径将特征投影到低维流形，有效地过滤掉了不符合全局结构的随机噪声

性能表现 (Performance)

• 评估指标：均方误差（Mean Squared Error, MSE）
• 最终成绩：测试集最佳MSE 达到 0.0031362，显著优于传统的空间滤波器及基础 UNet 模型

---

2. 环境配置 (Environment Setup)

本项目建议在 Python 3.11+ 环境下运行

核心依赖项

• 深度学习框架: torch==2.5.1, torchvision==0.20.1
• 科学计算: numpy==1.26.4, pandas==2.2.3, scipy==1.15.2
• 图像处理: scikit-image==0.23.2, opencv-python==4.9.0.80
• 可视化: matplotlib==3.10.6, seaborn

安装命令

pip install -r requirements.txt

---

3. 文件结构 (File Structure)

├── Retest.py                  # 自动化评估与审计脚本 (支持 TTA)
├── DnCNN.py                   # 基准对比模型 DnCNN
├── SGT_UNet.py                # 核心 SGT-UNet，最佳性能权重 (MSE: 0.003136) 
├── Retest.py                  # 自动化评估与审计脚本 (支持 TTA)
├── requirements.txt           # 完整环境依赖清单
└── Report_Chengren.Pang23.pdf # 详细技术研究报告

---

4. 使用说明 (Usage)

项目包含一个完整的评估工作流，支持 测试时增强 (Test-Time Augmentation, TTA) 和 指数移动平均 (EMA) 权重加载

运行评估与可视化

请确保 fashion-mnist_noisy_test.csv 等数据集已放置在指定的 data_root 路径下，然后运行：

python Retest.py

该脚本将自动执行以下操作：

1. 指标审计：输出各类别（如 T-shirt, Trouser 等）的详细 MSE 与 SSIM 指标
2. 生成图表：导出架构对比箱线图、去噪样本网格图及性能矩阵热力图。

---

5. 核心方法论 (Methodology)

• 流形投影视角：利用深层路径通过降维提取稳定流形骨架，滤除离群噪声
• 残差学习策略：模型直接学习噪声分布 $\hat{x} = y - \mathcal{R}(y)$，降低了搜索空间的复杂度
• 全局一致性：在瓶颈层嵌入 Transformer 块，利用多头自注意力（MHSA）捕捉长程依赖，确保重建图像的拓扑完整性
• 跳跃连接优化：引入注意力门（AG）对高维特征进行非线性滤波，防止“噪声泄漏”

---

6. 参考文献 (References)

[1] Zhu, J., et al. (2025). Fast, Accurate Manifold Denoising by Tunneling Riemannian Optimization. ICML .
[2] Li, T., et al. (2024). Residual Manifold Learning for High-Fidelity Image Restoration. NeurIPS .
[3] Chen, X., et al. (2024). Saliency-Guided High-Frequency Restoration in Vision Transformers. CVPR .

---

单位: XJTLU, School of Artificial Intelligence Advanced Computing 成绩: 校级比赛二等奖 日期: 2026年3月19日 作者：Chengren Pang