在本教程中,我将向你展示如何使用 QLoRA 对用于 AI Agent 的大语言模型进行监督微调。这样,我们就能定制预训练模型,让它按我们想要的方式表现。我们会使用一套轻量级训练流程,只更新模型的一小部分。 我们将使用 Unsloth...
Meta 刚刚发布了一个很棒的小模型 Glimmer。它的架构相当标准,在大多数基准测试上表现也很不错。有趣的是,它保留了 2048 个“保留 Token”。我猜这些是为未来的工具调用等功能准备的。 不过它的大小刚好适合塞进一种新的模...