GPU | DataAgent

NLP, Python, PyTorch, 資料科學

[PyTorch] 使用 torch.distributed 在單機多 GPU 上進行分散式訓練

2023-01-07 / 0 評論

Finetune 語言模型所需要的 GPU memory 比較多，往往會需要我們能夠利用到多顆 GPU 的資源。今天這篇文章會說明 DataParallel 和 DistributedDataParallel + Dis...

閱讀全文

 JiunYi Yang
資料科學

【技術分享】tensorflow-gpu 安裝紀錄 (Windows Server 2016)

2020-06-24 / 0 評論

系統環境確認 Windows Server 2016 GeForce GTX 1070 Ti Python 3.7 Visual Studio 2019 安裝步驟 1. 創建並啟用虛擬環境 2. 安裝正確版本的 tens...

閱讀全文

 JiunYi Yang