Transformers 是什麼?Hugging Face 模型載入、推論與微調入門
認識 Hugging Face Transformers 的 tokenizer、模型載入與 pipeline,並了解版本、硬體、模型存取及授權條件。
想在 Python 裡載入語言模型、建立推論流程,或進一步嘗試微調?Hugging Face Transformers 提供一套常用的模型介面,涵蓋文字、影像、語音與多模態任務。
本文介紹 tokenizer、AutoModel 和 pipeline,示範文字生成的基本寫法,也整理版本、硬體、模型存取與授權限制。
Transformers 的三個常用元件
Hugging Face Transformers 提供文字、影像、語音與多模態模型的載入、推論和訓練工具。不同模型仍可能有各自的輸入格式、授權和硬體需求。
- Tokenizer:將文字轉成模型可處理的 token ID,並依模型設定處理特殊 token。
- AutoModel:依模型設定選擇相容的模型類別;實際支援程度要看架構和版本。
- Pipeline:封裝常見任務的前處理、推論和後處理,例如文字生成、語音辨識或影像分類。
依 Transformers v5 官方說明,新版本以 PyTorch 為核心後端,停止原生 TensorFlow 與 Flax 支援;其他生態整合與個別模型支援,請參照對應專案文件。
與 vLLM、Ollama 有什麼不同?
Transformers 提供模型定義及研究、訓練與推論介面;vLLM 著重推論服務與吞吐;Ollama 則提供執行及管理模型的介面。工具可以搭配使用,速度與資源需求取決於模型、硬體、批次及設定,應以相同條件測試。
用 pipeline 執行文字生成
先依 官方安裝文件建立隔離的 Python 環境,並依硬體安裝相容 PyTorch。以下是示範模型,不需要先複製 Transformers 原始碼:
pip install transformers torch acceleratefrom transformers import pipeline
generator = pipeline("text-generation", model="Qwen/Qwen2.5-1.5B-Instruct", device_map="auto")
messages = [{"role": "user", "content": "用三句話解釋什麼是開源 AI 模型。"}]
result = generator(messages, max_new_tokens=150)
print(result[0]["generated_text"][-1]["content"])首次執行通常需要下載模型與 tokenizer,請預留儲存空間與記憶體;自動分配裝置仍取決於軟體和可用硬體。本例供說明介面,並未在所有作業系統與顯卡實測。執行前查看 模型卡及 pipeline 文件,並留意版本、輸出格式和授權。
微調與部署要注意什麼?
可搭配 PEFT 使用 LoRA 等參數高效率微調方法;TRL 提供部分語言模型訓練流程。LoRA 相較全參數微調可能減少可訓練參數及相關記憶體開銷,但實際節省幅度取決於模型、訓練方式與硬體。
服務部署則要測試延遲、吞吐、記憶體及模型相容性,不能保證某個推論框架在所有工作負載下都比較快。
常見問題
下載模型一定要帳號嗎?
公開模型與受限模型的存取條件不同。部分 gated 模型必須先登入、申請並取得作者核准;程式下載時可能需要登入憑證。請依 官方存取說明和模型頁面辦理,並逐一核對模型授權。
沒有 NVIDIA GPU 可以使用嗎?
可以依相容後端嘗試 CPU 或其他受支援裝置;可載入的模型大小與速度由記憶體、架構和設定決定。先從小模型測試,無法保證所有模型可在同一台機器上執行。
可以直接商用嗎?
函式庫授權、模型權重與資料集授權各自獨立;在下載、微調、部署或商用之前,請檢查具體模型卡及相關條款。
從 tokenizer、模型載入和 pipeline 開始,理解資料如何進出,再依需求選擇微調或部署工具。歡迎免費訂閱 AI 郵報,追蹤更多 AI 實作教學。