元学习
Meta-Learning
「学会学习」——让模型学会如何快速适应新任务。
先用人话理解
普通学习是学一个任务,元学习是学「学习的本事」:看过很多任务后,遇到全新任务时能靠少量样本迅速上手。
为什么重要
元学习是少样本学习与「提示工程」的理论根基之一,也启发了大模型 in-context learning 的解释。
常见误解
元学习就是多任务学习
元学习只用于少样本场景
大模型出现后元学习没有价值
Meta-Learning
「学会学习」——让模型学会如何快速适应新任务。
普通学习是学一个任务,元学习是学「学习的本事」:看过很多任务后,遇到全新任务时能靠少量样本迅速上手。
元学习是少样本学习与「提示工程」的理论根基之一,也启发了大模型 in-context learning 的解释。
元学习就是多任务学习
元学习只用于少样本场景
大模型出现后元学习没有价值