原文: A guide to prompting Llama 2
宣傳像 Llama 2 這樣的大型語言模型是一門藝術也是一門科學。在這篇文章中，我們將介紹在探索 Llama 2 學到的內容，包括如何格式化聊天提示、何時使用哪種 Llama 變體、何時使用 ChatGPT 而不是 Llama、系統提示如何工作以及一些提示和技巧。
要精通 LLM 的應用還有很多東西需要學習，但是您應該在離開這篇文章時更好地了解如何成為一名擅長與 Llama2 模型互動的人。
下列的相關提示, 建議使用線上免費 a16z-infra/llama-2-13b-chat 的網站服務來練習與驗證。
原文: 8 WAYS TO TRY LLAMA 2 FROM META FOR FREE
Llama2 以其非凡的基準震撼了 LLM 世界，並通過 OpenAI 和 Anthropic 等 AI 平台對現有的頂尖閉源 LLM 提出了直接挑戰。 Llama 模型很好，但 Llama 2 更加強大和準確，甚至可以影響 ChatGPT 用戶。
自從 Meta 宣布發布 Llama 2 之後，人們已經構建了聊天機器人，您可以嘗試一下。大多數聊天機器人都是付費的，但如果您渴望免費嘗試 Llama 2，那麼不用擔心，本文列出了 8 種測試和嘗試 Llama 2 的方法。
要了解 Llama 2 與其他 LLM 相比的功能，只需查看下圖即可。對於一個開源且可供公眾免費使用的模型來說，這些都是非同尋常的。
讓我們首先嘗試了解 Llama 及其工作原理。
原文: Making LLMs lighter with AutoGPTQ and transformers
大語言模型在理解和生成人類水平的文字方面所展現出的非凡能力，正在許多領域帶來應用上的革新。然而，在消費級硬件上訓練和部署大語言模型的需求也變得越來越難以滿足。
🤗 Hugging Face 的核心使命是 讓優秀的機器學習普及化 ，而這正包括了盡可能地讓所有人都能夠使用上大語言模型。本著與 bitsandbytes 合作一樣的精神，我們將 AutoGPTQ 代碼庫集成到了 Transformers 中，讓用戶使用 GPTQ 算法(Frantar et al. 2023) 在 8-bit、4-bit、3-bit，甚至是 2-bit 精度下量化和運行模型成為可能。當使用 4-bit 量化時，精度的下降相當微小，同時在小批量推理上保持著與 fp16 baseline 相當的速度。需要注意的是，GPTQ 方法與 bitsandbytes 提出的訓練後量化方法有所不同：它需要在量化階段提供一個校準數據集(calibration dataset)。
本次整合支持 Nvidia GPU 和基於 RoCm-powered 的 AMD GPU。
原文: Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA
眾所周知，LLM 參數規模龐大，在消費類硬件中運行或訓練它們對於用戶和可訪問性來說是一個巨大的挑戰。我們的 LLM.int8 博客文章 展示瞭如何使用 bitsandbytes 套件將 LLM.int8 論文中的技術集成到 transformer 中。
當我們努力讓模型更容易被任何人使用時，我們決定再次與 bitsandbytes 合作，允許用戶以 4-bit 精度運行模型。這包括任何模態（文本、視覺、多模態等）的絕大多數 HF 模型。用戶還可以利用 Hugging Face 生態系統中的工具在 4bit 模型之上訓練 adapters。這是 Dettmers 等人今天在 QLoRA 論文中介紹的一種新方法。