模型蒸馏
Model Distillation
让较小模型学习较大模型的输出或行为,把部分能力压缩到更低成本的模型中。
先用人话理解
它像让学生观察老师大量示范,再把老师的知识和解题方式学到一个更轻量的系统里。
为什么重要
蒸馏让强模型的能力更容易进入本地设备、低成本服务和专用场景。
Model Distillation
让较小模型学习较大模型的输出或行为,把部分能力压缩到更低成本的模型中。
它像让学生观察老师大量示范,再把老师的知识和解题方式学到一个更轻量的系统里。
蒸馏让强模型的能力更容易进入本地设备、低成本服务和专用场景。