The archives of L-SY group meeting

2024年春季学期

7.19

• 郑腾鑫陵：Unsupervised Domain Adaptation by Back Propagation & A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts[slide][paper1][paper2]

7.4

• 万文海：Data Augmentation-Based Long-tailed Learning[slide][paper1][paper2]

  介绍了long-tailed learning中关于数据增强的两个工作。第一篇发现class-wise augmentation 可以提高 non-augmented classes 的性能，而 augmented classes 的性能可能不会显著提高，基于这一点，分别计算每个类别的 level-of-learning score，并利用该得分来确定增强强度，第二篇提出一种自适应的动态可选数据增强，以解决固有的数据层面的不平衡和外在的增强层面的不平衡，使每个类别在训练期间可以选择适当的增强方法。

6.20

• 郑金鹏：Out-of-Distribution Detection in Long-Tailed Recognition with Calibrated Outlier Class Learning[slide][paper]

6.13

• 万文海：Online Knowledge Distillation[slide][paper1][paper2]

  介绍了 Online Knowledge Distillation 的两个工作，一篇使用self-attention机制生成target引导学生网络的输出，另一篇提出了四种基于协作学习的target生成方案。此外，讨论了：1）不平衡场景下训练的模型应用于TTA的合理性、可行性；2）将OOD检测应用于长尾多专家的方案尝试

6.6

• 郑宇翔：Loss Decoupling for Task-Agnostic Continual Learning[slide][paper]
• 郑金鹏：Open-Sampling: Exploring Out-of-Distribution Data for Re-balancing Long-tailed Datasets[slide][paper]

  相似论文：采样高斯噪声处理长尾；采样OOD处理噪声，也许可以把OOD样本引入到长尾噪声数据集。

5.30

• 陶子健：General Multi-label Image Classification with Transformers[slide][paper]

  采用了随机掩码策略，将label embedding添加state embedding，包括positive、negative、unknown，将label embedding和feature embedding同时放入transformer中 相似论文：Language-Guided Transformer for Federated Multi-Label Classification， 它将随机掩码替换成将global modal在local model上预测的不自信的label进行掩码，加强对不确定的label的学习。

5.16

• 万文海：Exploring and Utilizing Pattern Imbalance[slide][paper]

相似论文：Subclass-balancing Contrastive Learning for Long-tailed Recognition 共性：从子类角度出发 简介：介绍了用于长尾识别的子类平衡对比学习（SBCL）。它通过子类平衡自适应聚类将头部类分解为多个语义一致的子类，并结合了一种双粒度对比损失，以促进子类和实例的平衡。在多个数据集上的大量实验表明，SBCL在长尾识别的基准数据集上实现了最先进的单模型性能。

5.11

• 赵世佶：Towards Real-World Test-Time Adaptation: Tri-Net Self-Training with Balanced Normalization[slide][paper]

4.25

• 陶子健：No Fear of Classifier Biases: Neural Collapse Inspired Federated Learning with Synthetic and Fixed Classifier[slide][paper]
• 郑金鹏：ProMix: Combating Label Noise via Maximizing Clean Sample Utility[slide][paper]

4.21

• 郑宇祥：Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks[slide][paper]
• 赵世佶：PromptStyler: Prompt-driven Style Generation for Source-free Domain Generalization[slide][paper]

3.22

• 万文海：Long-Tailed Recognition via Weight Balancing[slide][paper]

3.14

• 陶子健：Model-Contrastive Federated Learning [slide][paper]
• 郑金鹏：When Noisy Labels Meet Long Tail Dilemmas: A Representation Calibration Method [slide][paper]