DigitalGlobe的100多PB高分辨率圖像存檔是關(guān)于我們不斷變化的星球的豐富信息源。但要充分探索和挖掘這些財富，需要一種有效的方法來管理和分析所有數(shù)據(jù)。我們著手尋找解決方案。

我們解開DigitalGlobe圖像庫功能的第一步是將數(shù)據(jù)加載到亞馬遜網(wǎng)絡(luò)服務(wù)（AWS），這是一個計算友好型環(huán)境，可高效管理數(shù)據(jù)并實現(xiàn)大規(guī)模分析。我們努力的結(jié)果是推出了稱為GBDX的地理空間大數(shù)據(jù)平臺，GBDX是用于分析衛(wèi)星圖像的水平可擴(kuò)展計算環(huán)境。但即使擁有出色的計算環(huán)境和越來越多的分析方法和算法，真正利用我們的數(shù)據(jù)需要大量的工作。這就是機(jī)器學(xué)習(xí)變得至關(guān)重要的地方 - 分析海量數(shù)據(jù)并快速有效地提取有意義的情報。

協(xié)調(diào)一個強(qiáng)大的機(jī)器學(xué)習(xí)平臺可能會有挑戰(zhàn)性，即使對于像DigitalGlobe這樣以數(shù)據(jù)為中心的公司來說也是如此。這就是為什么我們轉(zhuǎn)向亞馬遜SageMaker，它通過流暢的打包培訓(xùn)數(shù)據(jù)訪問，培訓(xùn)服務(wù)和模型托管服務(wù)提供幫助。憑借與我們的數(shù)據(jù)相同的計算環(huán)境提供的這些強(qiáng)大的服務(wù)，門戶開啟了快速和創(chuàng)新之門。

我們知道通過機(jī)器學(xué)習(xí)計劃成功獲得高質(zhì)量結(jié)果的關(guān)鍵在于需要投入可靠的培訓(xùn)數(shù)據(jù)。

為了提供創(chuàng)建訓(xùn)練數(shù)據(jù)的基礎(chǔ)，GBDX團(tuán)隊為DigitalGlobe圖像構(gòu)建了一種名為RDA（柵格數(shù)據(jù)訪問）的新數(shù)據(jù)訪問模式。衛(wèi)星圖像是沉重的數(shù)據(jù)。分割后的單條圖像可以是20 GB和40 GB。移動可能耗時且昂貴的大塊數(shù)據(jù)。為了使衛(wèi)星圖像數(shù)據(jù)更加易于使用，RDA將這些大帶分成了小圖像和相關(guān)數(shù)據(jù)，這些數(shù)據(jù)的大小可以流式傳輸和更有效地使用。

圖像芯片也是創(chuàng)建訓(xùn)練數(shù)據(jù)的重要基礎(chǔ)。我們可以使用推理算法動態(tài)生成帶有標(biāo)記的GeoJSON向量的小圖像，這些對象是我們想要檢測的對象。下圖強(qiáng)調(diào)了一些衛(wèi)星圖像訓(xùn)練數(shù)據(jù)的例子：停靠的船只（綠色），正在進(jìn)行的船只（藍(lán)色）和飛機(jī)（紅色）。

與標(biāo)準(zhǔn)照片不同，衛(wèi)星圖像需要大量復(fù)雜的后期處理才能在視覺上吸引人并且有助于分析。實施正射校正，平滑掃描和大氣補(bǔ)償?shù)冗b感技術(shù)的需求可能會嚇跑許多潛在的數(shù)據(jù)科學(xué)家。

遙感技術(shù)的例子

RDA動態(tài)執(zhí)行這些處理步驟，以向用戶提供所需的特定圖像產(chǎn)品。我們通過在AWS中交易存儲來進(jìn)行計算。從機(jī)器學(xué)習(xí)的角度來看，這是因為我們可以結(jié)合SageMaker和RDA動態(tài)地將圖像獲取到模型訓(xùn)練環(huán)境中。這意味著我們現(xiàn)在可以訪問更加豐富多彩的數(shù)據(jù)庫來構(gòu)建更好的模型。

我們很高興能夠在動態(tài)培訓(xùn)數(shù)據(jù)環(huán)境中利用SageMaker。這為DigitalGlobe提供了系統(tǒng)地從我們的圖像中提取智能的潛力。我們喜歡在機(jī)器學(xué)習(xí)中看到良性循環(huán)，現(xiàn)在所有這些成分都已到位。

使用SageMaker的培訓(xùn)和模型托管服務(wù)，我們可以以編程方式在我們的圖像中找到感興趣的對象，并使用經(jīng)過驗證和驗證的結(jié)果來增強(qiáng)我們的培訓(xùn)數(shù)據(jù)。這意味著我們推斷下一個衛(wèi)星收集隨著時間的推移會變得更好。我們可以從架構(gòu)的角度來看待這個問題，將過程分解為圖像的探索，培訓(xùn)和模型的編排以及結(jié)果的消耗。

然后，由此產(chǎn)生的經(jīng)過良好調(diào)整的模型可以幫助我們跨越我們的100 PB容量的數(shù)據(jù)存檔來查找有趣的數(shù)據(jù)，并將當(dāng)前結(jié)果放入歷史背景中。我們可以在下面的例子中看到這一點，將SageMaker創(chuàng)建的建筑物檢測模型應(yīng)用于拉斯維加斯當(dāng)前的衛(wèi)星圖像。然后我們復(fù)制7年的分析和300幅圖像，將結(jié)果放在上下文中。

由于托管的SageMaker模型可以流暢地擴(kuò)展，我們可以為希望執(zhí)行各種對象檢測和分割的客戶提供GBDX筆記本的交互式用戶體驗。還有更多的用途我們還沒有發(fā)現(xiàn)。