快轉到主要內容

Text Generation WebUI:啟動引數

· 民國112年癸卯年
·
切換繁體/簡體 ·
分類 Linux系統 Self-hosting自架

Text Generation WebUI因為整合了許多技術,有時需要設定啟動引數(arguments)才能使用特定硬體計算。

預設模式下,Text Generation WebUI會使用GPU計算,您可以設定引數強迫使用CPU計算。語言模型即使全用CPU跑,產生對話的速度還是可以接受的。

  1. 於終端機按Ctrl+C,終止Text Generation WebUI程式。

  2. text-generation-webui-main資料夾,編輯CMD_FLAGS.txt

  3. 在最後一行填入引數,比如:

--listen --auto-devices
  1. 完整引數請參考開發者的Github,下面我介紹一些常用的。
  • --auto-devices引數自動分配計算任務給CPU和GPU
  • --cpu:強制只用CPU計算
  • --gpu-memory設定最多分配的VRAM,防止記憶體不足之用,數值視您的顯卡VRAM而定
  • --model指定要載入的模型
  • --listen使WebUI的port可從外部網路存取

範例,用GPU跑的引數設定如下:

--listen --auto-devices --gpu-memory 2 --model "模型檔名"

純CPU跑的引數:

--listen --cpu --model "模型檔名"
  1. 儲存CMD_FLAGS.txt,重新啟動WebUI。啟動後程式會自動判別模型種類,選取適合的方法載入。

相關文章


感謝您的閱讀。我寫作是為了誠實表達想法,而不是追逐社群互動與流量。我很樂意傾聽你在仔細閱讀我文章之後的心得。若有內容勘誤 or 技術問題 or 回饋想法,歡迎透過本站「關於」頁面的Email與我聯絡。