Graph-Based Methods

TOPIC

https://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123640256.pdf

`TOPIC`，即 `TOpology-Preserving knowledge InCrementer` 是一种基于图的增量小样本学习器。作者将每个增量类视为一个新节点，将其插入到已存在的基础分类器嵌入的完全连接图中。它们根据成对关系将信息从基础分类器节点传播到新分类器的节点当中，同时通过分类器嵌入的相似度进行衡量。此外，为了防止图漂移并保留初始图拓扑，作者采用了 anchor loss 形式的度量学习进行正则化。

CEC

https://openaccess.thecvf.com/content/CVPR2021/papers/Zhang_Few-Shot_Incremental_Learning_With_Continually_Evolved_Classifiers_CVPR_2021_paper.pdf

`CEC`，即 `Continually Evolving Classifier`，是建立在 TOPIC 之上的方法，其利用了图注意力网络。其中，初始图随着传入的少量学习任务流不断迭代。作为一项新颖的增量学习任务，本文方法关注已经存在的语义相关类别，以构建分类器权重。最后，通过进一步从基础类别数据生成伪增量学习任务，增强了对新类别的学习能力。然而，CEC 整体的的重心更多地放在新类别的学习上，而不是保持原有类别的表现，这最终会加剧“健忘”。

Clustering-Based Methods

IDL-VQ

https://openreview.net/pdf?id=3SV-ZePhnZM

增量深度学习向量化利用高斯混合将学习类别的视觉特征量化为参考向量质心。随后，任何传入的新类都由它们与现有参考向量的 soft similarity 进行表示。为了减少灾难性遗忘的现象，作者额外存储了每个类别的一个样本并在增量训练的期间进行回放。

SA-KD

https://openaccess.thecvf.com/content/CVPR2021/papers/Cheraghian_Semantic-Aware_Knowledge_Distillation_for_Few-Shot_Class-Incremental_Learning_CVPR_2021_paper.pdf

`SA-KD` 是一种语义感知知识蒸馏的方法，其利用 `K-means` 聚类来构建参考类质心，从而表示新的输入。最后，通过将表示投影到语义词嵌入空间，以进一步促进与基类的关联。

SUB-REG

https://openreview.net/forum?id=boJy41J-tnQ

子空间正则化通过利用 QR 分解将基础分类器的嵌入投影到正交子空间。随后，测量新类输入和子空间向量之间的 soft similarity 以表示新类权重。最后，为了缓解权重漂移，额外引入了 L1 损失进行权重调节。

FACT

https://openaccess.thecvf.com/content/CVPR2022/papers/Ramanujan_Forward_Compatible_Training_for_Large-Scale_Embedding_Retrieval_Systems_CVPR_2022_paper.pdf

`Forward-Compatible Training` 是当前小样本增量学习的 SOTA。论文作者首先展示了 few-shot 学习器的特征空间被预训练（即基础）类完全占据，没有为未来（即few-shot）类留下空间，因此限制了前向兼容性。为此，他们建议同时将输入图像分配给与基类正交的单独集群，从而有效地为新类别保留空间。最后，通过结合混合增强，`FACT` 有效提高了基础类和新类的性能。

Architectural Methods

FSLL

https://ojs.aaai.org/index.php/AAAI/article/view/16334/16141

`Few-shot Lifelong Learning` 的做法是从模型架构中选择一些权重来微调增量学习任务。如此一来，不仅可以限制模型容量同时防止过拟合，还能通过最小化学习任务之间的干扰来防止遗忘。最后，结合 L1 损失，`FSLL` 在多个基准测试中显着优于基于图架构的 `TOPIC` 方法。

C-FSCIL

https://openaccess.thecvf.com/content/CVPR2022/papers/Hersche_Constrained_Few-Shot_Class-Incremental_Learning_CVPR_2022_paper.pdf

`Constrained-FSCIL` 是 CVPR 2022 新提出的一项小样本增量学习技术。作者使用带有传入任务流的新颖分类器嵌入来扩展架构。在这个过程中，通过在学习到的嵌入中施加准正交性，有效地减少了任务之间的干扰，间接缓解了遗忘现象。