Facebook 前年改名 Meta 發展元宇宙事業，投入大量資金還未見成果。但近日科技界轉軚，紛紛投資到人工智能生成內容 AIGC，Meta 也要展示他們也在那方面的能力，發表具備 650 億個參數的大語言模型 LLaMA。
Meta 指這個 LLaMA (Large Language Model Meta AI) 是最先進的基礎大語言模型（LLM），旨在幫助研究人員加速他們的工作。
LLM 是使用大量文字數據來訓練的深度學習算法，ChatGPT 背後的 GPT-3.5 就是 LLM 的代表作，而新 Bing 所採用的「Prometheus 普羅米修斯」就是以 OpenAI 模型來開發的下一代 LLM。Meta CEO 朱克伯格表示 LLM 在生成文本、進行對話、總結書面材料和解決數學定理或預測蛋白質結構等複雜方面表現出很好的前景。
不過要運用 GPT-3.5 需要大規模系統，而 Meta 的 LLaMA 就能在較小規模系統上運行的高性能 LLM 模型，讓沒有那種大規模系統的研究人員也能進行 LLM 研究，方便他們測試新方法、驗證他人的工作和探索新的應用，分析交談式機械人有沒有帶有偏見、有害內容或虛假資訊。
LLaMA 有 4 種大小，分別有 70 億、130 億、330 億和最大 650 億個參數。Meta 發表的論文宣稱 130 億參數的版本效能已經超越 OpenAI 的 GPT-3，可以在 NVIDIA Tesla V100 GPU 上運行。而 650 億參數的版本更可以媲美 DeepMind 的 Chinchilla70B 和 Google 的 PaLM 540B。
其實 Meta 過去也發表過 AI 聊天機械人 BlenderBot 3 和 Galactica LLM，不過前者被指回答內容帶歧視性，後者則被專家指它產生錯誤，推出三日後就停止發布。
