bitsandbytes 、4-bit quantization 和 QLoRA
原文: Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA
眾所周知，LLM 參數規模龐大，在消費類硬件中運行或訓練它們對於用戶和可訪問性來說是一個巨大的挑戰。我們的 LLM.int8 博客文章 展示瞭如何使用 bitsandbytes 套件將 LLM.int8 論文中的技術集成到 transformer 中。
當我們努力讓模型更容易被任何人使用時，我們決定再次與 bitsandbytes 合作，允許用戶以 4-bit 精度運行模型。這包括任何模態（文本、視覺、多模態等）的絕大多數 HF 模型。用戶還可以利用 Hugging Face 生態系統中的工具在 4bit 模型之上訓練 adapters。這是 Dettmers 等人今天在 QLoRA 論文中介紹的一種新方法。