GPU英文名稱(chēng)為Graphic Processing Unit，GPU中文全稱(chēng)為計(jì)算機(jī)圖形處理器，1999年由NVIDIA公司提出。

一、GPU概述

GPU這一概念也是相對(duì)于計(jì)算機(jī)系統(tǒng)中的CPU而言的，由于人們對(duì)圖形的需求越來(lái)越大，尤其是在家用系統(tǒng)和游戲發(fā)燒友，而傳統(tǒng)的CPU不能滿(mǎn)足現(xiàn)狀，因此需要提供一個(gè)專(zhuān)門(mén)處理圖形的核心處理器。

GPU作為硬件顯卡的心臟，地位等同于CPU在計(jì)算機(jī)系統(tǒng)中的作用。同時(shí)GPU也可以用來(lái)作為區(qū)分2D硬件顯卡和3D硬件顯卡的重要依據(jù)。2D硬件顯卡主要通過(guò)使用CPU 來(lái)處理特性和3D 圖像，將其稱(chēng)作軟加速。

3D 硬件顯卡則是把特性和3D 圖像的處理能力集中到硬件顯卡中，也就是硬件加速。目前市場(chǎng)上流行的顯卡多半是由NVIDIA及ATI這兩家公司生產(chǎn)的。

1.1、為什么需要專(zhuān)門(mén)出現(xiàn)GPU來(lái)處理圖形工作，CPU為啥不可以？

GPU是并行編程模型，和CPU的串行編程模型完全不同，導(dǎo)致很多CPU上優(yōu)秀的算法都無(wú)法直接映射到GPU上，并且GPU的結(jié)構(gòu)相當(dāng)于共享存儲(chǔ)式多處理結(jié)構(gòu)，因此在GPU上設(shè)計(jì)的并行程序與CPU上的串行程序具有很大的差異。GPU主要采用立方環(huán)境的材質(zhì)貼圖、硬體T&L、頂點(diǎn)混合、凹凸的映射貼圖和紋理壓縮、雙重紋理四像素256位的渲染引擎等重要技術(shù)。

由于圖形渲染任務(wù)具有高度的并行性，因此GPU可以?xún)H僅通過(guò)增加并行處理單元和存儲(chǔ)器控制單元便可有效的提高處理能力和存儲(chǔ)器帶寬。

GPU設(shè)計(jì)目的和CPU截然不同，CPU是設(shè)計(jì)用來(lái)處理通用任務(wù)，因此具有復(fù)雜的控制單元，而GPU主要用來(lái)處理計(jì)算性強(qiáng)而邏輯性不強(qiáng)的計(jì)算任務(wù)，GPU中可利用的處理單元可以更多的作為執(zhí)行單元。因此，相較于CPU，GPU在具備大量重復(fù)數(shù)據(jù)集運(yùn)算和頻繁內(nèi)存訪(fǎng)問(wèn)等特點(diǎn)的應(yīng)用場(chǎng)景中具有無(wú)可比擬的優(yōu)勢(shì)。

1.2、GPU如何使用？

使用GPU有兩種方式，一種是開(kāi)發(fā)的應(yīng)用程序通過(guò)通用的圖形庫(kù)接口調(diào)用GPU設(shè)備，另一種是GPU自身提供API編程接口，應(yīng)用程序通過(guò)GPU提供的API編程接口直接調(diào)用GPU設(shè)備。

1.2.1、通用圖形庫(kù)

通過(guò)通用的圖形庫(kù)的方式使用GPU，都是通過(guò) OpenGL 或Direct3D這一類(lèi)現(xiàn)有的圖形函數(shù)庫(kù)，以編寫(xiě)渲染語(yǔ)言(Shading Language)的方法控制 GPU 內(nèi)部的渲染器(Shader)來(lái)完成需要的計(jì)算。

目前業(yè)界公認(rèn)的圖形編程接口主要有OpenGL和DirectX這兩種接口。OpenGL是當(dāng)前可用于開(kāi)發(fā)可交互、可移植的2D與3D圖形應(yīng)用程序的首選環(huán)境，也是當(dāng)前圖形應(yīng)用最廣泛的標(biāo)準(zhǔn)。OpenGL是SGI公司開(kāi)發(fā)的計(jì)算機(jī)圖形處理系統(tǒng)，是圖形硬件的軟件接口，GL為圖形庫(kù)(Graphics Library)，OpenGL應(yīng)用程序不需要關(guān)注所在運(yùn)行環(huán)境所處的操作系統(tǒng)與平臺(tái)。

只要在任何一個(gè)遵循OpenGL標(biāo)準(zhǔn)的環(huán)境下都會(huì)產(chǎn)生一樣的可視化效果。與OpenGL類(lèi)似，DirectX (Directe Xtension)也是一種圖形API。它是由Microsoft創(chuàng)建的多媒體編程接口，并已經(jīng)成為微軟視窗的標(biāo)準(zhǔn)。為適應(yīng)GPU應(yīng)用的需求，DirectX則根據(jù)GPU新產(chǎn)品功能的擴(kuò)充與進(jìn)展及時(shí)地定義新的版本，它所提供的功能幾乎與GPU提供的功能同步。

1.2.2、GPU自身編程接口

GPU自身提供的編程接口主要由提供GPU設(shè)備的兩家公司提供，分別是括NVIDIA的CUDA框架和AMD(ATI)公司于2006年提出了CTM(Close To Metal)框架（備注，最初是ATI公司生產(chǎn)GPU設(shè)備，后被AMD收購(gòu)）。AMD的CTM框架現(xiàn)在已不在使用，主要是AMD(ATI)于2007 年推出了ATI Stream SDK架構(gòu)，2008 年AMD(ATI)完全轉(zhuǎn)向了公開(kāi)的OpenCL標(biāo)準(zhǔn)，因此AMD(ATI)公司目前已沒(méi)有獨(dú)立的、私有的通用計(jì)算框架。

2007年NVIDIA公司發(fā)布CUDA (Compute Unified Device Architecture)專(zhuān)用通用計(jì)算框架。使用CUDA 進(jìn)行通用計(jì)算編程不再需要借助圖形學(xué)API，而是使用與C 語(yǔ)言十分類(lèi)似的方式進(jìn)行開(kāi)發(fā)。在CUDA 編程模型中，有一個(gè)被稱(chēng)為主機(jī)(Host)的CPU 和若干個(gè)被稱(chēng)作設(shè)備(Device)或者協(xié)處理器(Co-Processor)的GPU。

在該模型中，CPU和GPU協(xié)同工作，各司其職。CPU負(fù)責(zé)進(jìn)行邏輯性較強(qiáng)的事務(wù)處理和串行計(jì)算，而GPU 則專(zhuān)注于執(zhí)行線(xiàn)程化的并行處理任務(wù)。CPU、GPU 各自擁有相互獨(dú)立的存儲(chǔ)器地址空間主機(jī)端的內(nèi)存和設(shè)備端的顯存。一般采用CUDA 框架自己進(jìn)行編程的都一些大型的應(yīng)用程序，比如石油勘測(cè)、流體力學(xué)模擬、分子動(dòng)力學(xué)仿真、生物計(jì)算、音視頻編解碼、天文計(jì)算等領(lǐng)域。

而我們一般企業(yè)級(jí)的應(yīng)用程序由于開(kāi)發(fā)成本以及兼容性等原因，大多數(shù)都是采用通用的圖形庫(kù)來(lái)進(jìn)行開(kāi)發(fā)調(diào)用GPU設(shè)備。

1.3、GPU如何工作？

GPU 對(duì)于通用計(jì)算和圖形處理的內(nèi)部組件主要有兩部分: 頂點(diǎn)處理器(Vertex Processor)和子素處理器(Fragment Processor)。這種處理器具備流處理機(jī)的模式，即不具有大容量的快存/存儲(chǔ)器可以讀寫(xiě),只是直接在芯片上利用臨時(shí)寄存器進(jìn)行流數(shù)據(jù)的操作。

當(dāng)GPU 用于圖形處理時(shí)，此時(shí)GPU 內(nèi)部的頂點(diǎn)渲染、像素渲染以及幾何渲染操作都可以通過(guò)流處理器完成。從圖中可以看出，此時(shí)GPU 內(nèi)部的所有流處理器相當(dāng)于一個(gè)多核的處理器，數(shù)據(jù)可以很方便的在不同的流處理器之間的輸入和輸出之間移動(dòng)，同時(shí)GPU分派器和控制邏輯可以動(dòng)態(tài)的指派流處理器進(jìn)行相應(yīng)的頂點(diǎn)，像素，幾何等操作，因?yàn)榱魈幚砥鞫际峭ㄓ玫摹?/p>

二、GPU虛擬化

開(kāi)始我們的正題，目前虛擬機(jī)系統(tǒng)中的圖形處理方式有三種：一種是采用虛擬顯卡的方式，另一種是直接采用物理顯卡，最后是采用GPU虛擬化。

2.1、虛擬顯卡

第一種采用虛擬顯卡是現(xiàn)在主流的虛擬化系統(tǒng)的選擇，因?yàn)閷?zhuān)業(yè)的顯卡硬件價(jià)格不菲。目前采用虛擬顯卡的這些技術(shù)包括：

• 虛擬網(wǎng)絡(luò)計(jì)算機(jī)VNC (Virtual Network Computing)

• Xen 虛擬幀緩存

• VMware虛擬圖形顯示處理器GPU (Graphics Processing Unit)

• 獨(dú)立于虛擬機(jī)管理器的圖形加速系統(tǒng)VMGL (VMM-Independent Graphics Acceleration)。

VNC(Virtual Network Computing)基本上是屬于一種顯示系統(tǒng),也就是說(shuō)它能將完整的窗口界面通過(guò)網(wǎng)絡(luò)，傳輸?shù)搅硪慌_(tái)計(jì)算機(jī)的屏幕上。Windows 服務(wù)器中包含的Terminal Server即是屬于這種原理的設(shè)計(jì)。VNC 是由AT&T 實(shí)驗(yàn)室所開(kāi)發(fā)的，其采用GPL(General Public License)授權(quán)條款，任何人都可免費(fèi)取得該軟件。VNC軟件要由兩個(gè)部分組成：VNC server和VNC viewer。用戶(hù)需先將VNC server安裝在被遠(yuǎn)程操控的計(jì)算機(jī)上后，才能在主控端執(zhí)行VNC viewer 進(jìn)行遠(yuǎn)程操控。

XEN虛擬幀緩存是指XEN提供的一個(gè)虛擬的顯示設(shè)備。該虛擬顯示設(shè)備采用特權(quán)域的VNC服務(wù)器，因此該虛擬顯示設(shè)備具有相似的VNC接口�？蛻�(hù)機(jī)在XEN虛擬幀緩存中寫(xiě)入數(shù)據(jù)，然后通過(guò)VNC 協(xié)議來(lái)傳輸已修改的圖片，最后通知前端進(jìn)行相應(yīng)區(qū)域的更新。這個(gè)虛擬幀緩存設(shè)備的源碼是來(lái)自開(kāi)源的Qemu。我們?cè)赬enServer上看見(jiàn)虛擬機(jī)的操作系統(tǒng)桌面界面，即是這種技術(shù)的顯示。

虛擬網(wǎng)絡(luò)計(jì)算機(jī)VNC 和XEN 虛擬幀緩存這兩種模式至今在虛擬機(jī)中仍未提供一定的硬件圖形加速能力。由于目前仍沒(méi)有一個(gè)機(jī)制能使虛擬機(jī)進(jìn)行訪(fǎng)問(wèn)圖形硬件的能力，因此這些虛擬的顯示設(shè)備都是通過(guò)使用CPU以及內(nèi)存的方式對(duì)圖形數(shù)據(jù)進(jìn)行相應(yīng)處理。并沒(méi)有采用物理顯示設(shè)備的功能。

然而VMGL這種模式已經(jīng)實(shí)現(xiàn)了這種機(jī)制，這個(gè)機(jī)制通常被稱(chēng)為前端-后端虛擬化機(jī)制(Front-end virtualization)。VMGL這種模式采用這個(gè)機(jī)制將需要圖形處理的數(shù)據(jù)發(fā)送到一個(gè)擁有硬件圖形加速功能的虛擬監(jiān)控機(jī)上進(jìn)行相應(yīng)的圖形數(shù)據(jù)處理。目前存在的比較主流可用于GPU應(yīng)用程序開(kāi)發(fā)的圖形處理接口有兩類(lèi)：OpenGL和Direct3D。

在這兩類(lèi)圖形處理接口中，OpenGL是唯一一類(lèi)能夠在主流操作系統(tǒng)中跨平臺(tái)操作的圖形API接口。在虛擬機(jī)平臺(tái)中，VMGL是首個(gè)針對(duì)OpenGL API進(jìn)行虛擬化的項(xiàng)目。VMGL的工作原理是，它在客戶(hù)端操作系統(tǒng)中部署了一個(gè)偽庫(kù)(Fake Library)用來(lái)取代標(biāo)準(zhǔn)的OpenGL 庫(kù)，偽庫(kù)(Fake Library)擁有與標(biāo)準(zhǔn)的OpenGL庫(kù)相同的接口，在客戶(hù)端操作系統(tǒng)中的偽庫(kù)也實(shí)現(xiàn)了指向遠(yuǎn)程服務(wù)器的宿主機(jī)操作系統(tǒng)的遠(yuǎn)程調(diào)用。

這樣一來(lái)，所有的本地OPENGL調(diào)用都將被解釋為對(duì)遠(yuǎn)程服務(wù)器的一次服務(wù)請(qǐng)求，遠(yuǎn)程服務(wù)器的宿主機(jī)操作系統(tǒng)擁有真正的OPENGL庫(kù)、顯卡驅(qū)動(dòng)和物理硬件GPU，它負(fù)責(zé)完成OPENGL請(qǐng)求并將執(zhí)行結(jié)果顯示到屏幕上。由于VMGL在整個(gè)過(guò)程操作中都是完全透明的，因此調(diào)用OPENGL的應(yīng)用程序不需要修改源代碼也不需要進(jìn)行二進(jìn)制改寫(xiě)，無(wú)需為虛擬機(jī)平臺(tái)作任何改動(dòng)。

2.2、顯卡直通

顯卡直通也叫做顯卡穿透(Pass-Through)，是指繞過(guò)虛擬機(jī)管理系統(tǒng)，將GPU 單獨(dú)分配給某一虛擬機(jī)，只有該虛擬機(jī)擁有使用GPU的權(quán)限，這種獨(dú)占設(shè)備的方法分配方式保存了GPU的完整性和獨(dú)立性，在性能方面與非虛擬化條件下接近，且可以用來(lái)進(jìn)行通用計(jì)算。但是顯卡直通需要利用顯卡的一些特殊細(xì)節(jié)，同時(shí)兼容性差，僅在部分GPU 中設(shè)備可以使用。

Xen 4.0增加了VGA Passthrough技術(shù)，因此XenServer也擁有了該技術(shù)，XenServer的Passthrough 就是利用英特爾設(shè)備虛擬化(Intel VT-d)技術(shù)將顯示設(shè)備暴露給某一個(gè)客戶(hù)虛擬機(jī)，不僅其它客戶(hù)虛擬機(jī)不能訪(fǎng)問(wèn)，就連宿主虛擬機(jī)也失去了使用該GPU的能力。它在客戶(hù)虛擬機(jī)中實(shí)現(xiàn)了顯卡的一些特殊細(xì)節(jié)，如VGA BIOS、文本模式、IO 端口、內(nèi)存映射、VESA模式等，以支持直接訪(fǎng)問(wèn)。使用Xen Server的 VGA Pass-Through 技術(shù)的GPU執(zhí)行效率高，功能全，但只能被單一系統(tǒng)獨(dú)占使用，失去了設(shè)備復(fù)用的功能。VMware ESXi 中包括一個(gè)VM Direct Path I/O框架，使用該技術(shù)也可以將我們的顯卡設(shè)備直通給某一虛擬機(jī)進(jìn)行使用。

XenServer和VMware使用的是不同的技術(shù)但是實(shí)現(xiàn)的效果都是一樣的，即將物理顯卡設(shè)備直通給其中的某一虛擬機(jī)使用，以達(dá)到虛擬機(jī)進(jìn)行3D顯示和渲染的效果。

由于顯卡直通實(shí)際上是由客戶(hù)操作系統(tǒng)使用原生驅(qū)動(dòng)和硬件，缺少必要的中間層來(lái)跟蹤和維護(hù)GPU 狀態(tài)，它不支持實(shí)時(shí)遷移等虛擬機(jī)高級(jí)特性。如XenServer Passthrough禁止執(zhí)行Save/ Restore/ Migration 等操作。VMware的虛擬機(jī)中，一旦開(kāi)啟VMDirectPath I/O功能，其對(duì)應(yīng)的虛擬機(jī)將失去執(zhí)行掛起/恢復(fù)、實(shí)時(shí)遷移的能力。

2.3、顯卡虛擬化(GPU虛擬化)

顯卡虛擬化就是將顯卡進(jìn)行切片，并將這些顯卡時(shí)間片分配給虛擬機(jī)使用的過(guò)程。由于支持顯卡虛擬化的顯卡一般可以根據(jù)需要切分成不同的規(guī)格的時(shí)間片，因此可以分配給多臺(tái)虛擬機(jī)使用。其實(shí)現(xiàn)原理其實(shí)就是利用應(yīng)用層接口虛擬化(API remoting)，API重定向是指在應(yīng)用層進(jìn)行攔截與GPU相關(guān)的應(yīng)用程序編程接口(API)，通過(guò)重定向（仍然使用GPU）的方式完成相應(yīng)功能，再將執(zhí)行結(jié)果返回應(yīng)用程序。

我們現(xiàn)在使用Citrix的3D桌面虛擬化解決方案中，大部分是使用NVIDIA公司提供的顯卡虛擬化技術(shù)，即是vCUDA (virtual CUDA)技術(shù)，前面我們說(shuō)過(guò)了CUDA框架，再此不在說(shuō)明。vCUDA采用在用戶(hù)層攔截和重定向CUDA API的方法，在虛擬機(jī)中建立物理GPU的邏輯映像——虛擬GPU，實(shí)現(xiàn)GPU資源的細(xì)粒度劃分、重組和再利用，支持多機(jī)并發(fā)、掛起恢復(fù)等虛擬機(jī)高級(jí)特性。

其vCUDA的實(shí)現(xiàn)原理大概包括三個(gè)模塊：CUDA客戶(hù)端、CUDA服務(wù)端和CUDA管理端。以XenServer為例，在物理硬件資源上運(yùn)行著一個(gè)VMM用于向上提供硬件映像，在VMM上運(yùn)行著若干個(gè)虛擬機(jī)。其中一個(gè)虛擬機(jī)為特權(quán)虛擬機(jī)(Host VM)，即為XenServer中的Domain 0，在虛擬機(jī)中運(yùn)行的操作系統(tǒng)稱(chēng)為Host OS。

Host OS能夠直接控制硬件，系統(tǒng)內(nèi)安裝著原生的CUDA庫(kù)以及GPU驅(qū)動(dòng)，使得Host OS可以直接訪(fǎng)問(wèn)GPU和使用CUDA。其它的虛擬機(jī)屬于非特權(quán)虛擬機(jī)(Guest VM)，其上運(yùn)行的操作系統(tǒng)(Guest OS)不能直接操縱GPU。在這里我們將CUDA客戶(hù)端稱(chēng)之為客戶(hù)端驅(qū)動(dòng)，CUDA服務(wù)端稱(chēng)之為宿主機(jī)的驅(qū)動(dòng)，CUDA管理端稱(chēng)之為GPU管理器。

2.3.1、客戶(hù)端

客戶(hù)端驅(qū)動(dòng)其實(shí)質(zhì)就是我們安裝在虛擬機(jī)比如Windows 7上的顯卡驅(qū)動(dòng)程序。主要的功能是在用戶(hù)層提供針對(duì)CUDA API的庫(kù)以及一個(gè)維護(hù)CUDA相關(guān)軟硬件狀態(tài)的虛擬GPU(vGPU)。客戶(hù)端驅(qū)動(dòng)直接面向CUDA應(yīng)用程序，其作用包括：

• 1)攔截應(yīng)用程序中CUDA API調(diào)用；

• 2)選擇通信策略，為虛擬化提供更高層語(yǔ)義的支持；

• 3)對(duì)調(diào)用的接口和參數(shù)進(jìn)行封裝、編碼；

• 4)對(duì)服務(wù)端返回的數(shù)據(jù)進(jìn)行解碼，并返回給應(yīng)用。

此外，客戶(hù)端驅(qū)動(dòng)在第一個(gè)API調(diào)用到來(lái)之前，首先到管理端索取GPU資源。每一個(gè)獨(dú)立的調(diào)用過(guò)程都必須到宿主管理端驅(qū)動(dòng)申請(qǐng)資源，以實(shí)現(xiàn)對(duì)GPU資源和任務(wù)的實(shí)時(shí)調(diào)度。

此外，客戶(hù)端驅(qū)動(dòng)同時(shí)設(shè)置了vGPU用來(lái)維護(hù)與顯卡相關(guān)的軟硬件狀態(tài)。vGPU本身實(shí)質(zhì)上僅僅是一個(gè)鍵值對(duì)的數(shù)據(jù)結(jié)構(gòu)，在其中存儲(chǔ)了當(dāng)前使用的地址空間、顯存對(duì)象、內(nèi)存對(duì)象等，同時(shí)記錄了API的調(diào)用次序。當(dāng)計(jì)算結(jié)果返回時(shí)，客戶(hù)端驅(qū)動(dòng)會(huì)根據(jù)結(jié)果更新vGPU。

2.3.2、服務(wù)器端

服務(wù)端組件位于特權(quán)虛擬機(jī)(XenServer術(shù)語(yǔ)：特權(quán)域)中的應(yīng)用層。特權(quán)虛擬機(jī)可以直接與硬件交互，因此服務(wù)端組件可以直接操縱物理GPU來(lái)完成通用計(jì)算任務(wù)。服務(wù)端面向真實(shí)GPU，其作用包括：

• 1)接收客戶(hù)端的數(shù)據(jù)報(bào)，并解析出調(diào)用和參數(shù)；

• 2)對(duì)調(diào)用和參數(shù)進(jìn)行審核；

• 3)利用CUDA和物理GPU計(jì)算審核通過(guò)的調(diào)用；

• 4)將結(jié)果編碼，并返回給客戶(hù)端；

• 5)對(duì)計(jì)算系統(tǒng)中支持CUDA的GPU進(jìn)行管理。

此外，服務(wù)端運(yùn)行的第一個(gè)任務(wù)是將自身支持CUDA的GPU設(shè)備的信息注冊(cè)到管理端中。服務(wù)端應(yīng)對(duì)客戶(hù)端的請(qǐng)求時(shí)，為每個(gè)應(yīng)用分配獨(dú)立的服務(wù)線(xiàn)程。服務(wù)端統(tǒng)一管理本地GPU資源，按照一定的策略提供GPU資源，并將由于API調(diào)用修改的相關(guān)軟硬件狀態(tài)更新至vGPU。

2.3.3、管理端

管理端組件位于特權(quán)域，在實(shí)現(xiàn)CUDA編程接口虛擬化的基礎(chǔ)上，將GPU強(qiáng)大的計(jì)算能力和計(jì)算資源在更高的邏輯層次上進(jìn)行隔離、劃分、調(diào)度。在CUDA服務(wù)端使用計(jì)算線(xiàn)程和工作線(xiàn)程在一定程度上使同在一個(gè)物理機(jī)上的GPU間負(fù)載均衡，設(shè)置CUDA管理端組件在更高的邏輯層次上進(jìn)行負(fù)載均衡，使在同一個(gè)GPU虛擬集群中的GPU負(fù)載均衡。

管理端組件調(diào)度的原則是盡量使在同一個(gè)物理機(jī)上的GPU需求自給，如果該物理機(jī)上具備滿(mǎn)足條件的GPU資源，在一般情況下，該物理機(jī)上的虛擬機(jī)的GPU需求都重定向到該物理機(jī)的CUDA服務(wù)端。

管理端對(duì)GPU資源進(jìn)行統(tǒng)一管理，采用集中、靈活的機(jī)制，實(shí)現(xiàn)：

• 1)動(dòng)態(tài)調(diào)度：當(dāng)用戶(hù)所占資源空閑時(shí)間超過(guò)一定閾值或者任務(wù)結(jié)束時(shí)，管理端回收該資源，當(dāng)該用戶(hù)再次發(fā)布計(jì)算任務(wù)時(shí)，重新為其任務(wù)分配GPU資源；

• 2)負(fù)載平衡：當(dāng)局部計(jì)算壓力過(guò)大時(shí)，調(diào)整計(jì)算負(fù)載，通過(guò)動(dòng)態(tài)調(diào)度時(shí)選擇合適的GPU資源來(lái)分散計(jì)算負(fù)載；

• 3)故障恢復(fù)：當(dāng)出現(xiàn)故障時(shí)，將任務(wù)轉(zhuǎn)移到新的可用GPU資源上。

本文鏈接：http://51huadong.com/cloundnews/11004294.html