模型预训练迁移法

第三种比较常用的方法则是模型预训练迁移法。也就是说，如果已经有一个在源域上训练好的模型 $f_s$，并且目标域本身有一些可供学习的有标签数据，则可以直接将 $f$ 应用于目标域上，再进行微调。此时可以重点关注在微调过程中目标域的情况，而不用额外考虑迁移正则化项（或者一并考虑）。这种预训练 - 微调（Pretrain-finetune）的模式，已被广泛应用于计算机视觉（如 ImageNet 上预训练模型）、自然语言处理（Transformer、BERT）等领域。