deep learning 新架構 (3): Intel的回應

作者： -
TPU就某種角度來說, 跨入了Intel的晶片事業,
Intel面臨Nvidia和Google在deep learning上的夾擊,
挑戰其在運算單元的獨霸地位, 他們會如何回應呢?

首先, 他們併購了Altera, 取得FPGA (Field Programmable Gate Arrays) 的技術,
並且嘗試把FPGA和原本的計算架構整合, 提供一套整合的編譯介面,
根據在2016年4月的DEMO, FPGA加上CPU的能源效率可以改善70%,
且相關產品已經出貨, 然而, 我卻找不到其銷售資訊...

相較於TPU的ASIC架構, FPGA提供可動態編譯的硬體環境,
可以根據特殊指令集, 編譯FPGA硬體, 形成對應特殊功能的硬體計算模組,
提供比起ASIC的架構, FPGA的執行速度較慢, 但是能提供更為彈性的應用,
對於異質的deep learning架構而言, FPGA可能提供彈性而快速的服務框架,


另一種可行的作法, 則是直接分開對兩者進行編譯,
並透過QPI (Quick Path Interconnect) 介面互相溝通,
此類作法已有相對應的產品問世(E5-2600 v2, 目前最新版是v4),
然而就需要更多手動的設定,

說實話, 整合FPGA的版本號應該是E5-2600 v4, 時間為2016 Q2,
然而就算在2016Q4的產品中, 亦只看到對於QPI的支援, 而找不到整合的產品,
http://ark.intel.com/zh-TW/products/96901/Intel-Xeon-Processor-E5-2699R-v4-55M-Cache-2_20-GHz

這一部分的資訊有些混亂,
且都未見於Intel官網說明詳細時程,
不太確定目前整合的進度, 以及產品推出的進度,
或許, 這原本就不是一個面向消費者的CPU產品吧...

另一方面, 面對GPU的挑戰,
Intel也提出了Xeon Phi的架構, 簡單來說, 就是一叢 (64-72) 低速CPU核心,
這些CPU核心, 可以進行GPU一樣的計算,
並且提供每一個核心較強的運算能力,

(from Intel)

"因為GPU擅長Stream風格的平行計算方式，接近是SIMD（Single Instruction, Multiple Data，單一指令多重資料）的運算模式，這是指所有運算核心都執行同一個指令，只是作用在不同的資料上。而Xeon Phi則是MIMD架構（Multiple Instruction, Multiple Data，多重指令多重資料）的運算模式，Xeon Phi中的60個核心，每個核心都可以處理不同的指令和不同的資料。正因為如此，每個處理核心彼此需要許多同步和通訊的機制，所以，Xeon Phi處理核心的電路遠比GPU的核心更複雜。" ~洪士灝 教授
http://www.ithome.com.tw/node/77741

為了提供如同Google TensorFlow的資源配置與最佳化模式,
Intel選擇和Linux合作, 建立OpenHPC的框架,
結合Intel最大的資源: x86平台, 提供幾乎不需重新編譯的環境,
(當然, 對平行化的最佳化, 還是要手動進行...)

Xeon Phi的未來發展也讓人困惑,
首先, Intel收購了一家deep learning的公司 (Nervana),
宣稱要把該公司的技術整合進下一代的Xeon Phi中,
而該公司的技術, 基本上相似於Google TPU的架構, 是一種對deep learning特殊應用的設計,
http://www.eettaiwan.com/news/article/20160812NT02-Intel-Acquire-Deep-Learning-Nervana

然而, 在此同時, Xeon Phi卻開始更改架構,
從原本的運算加速卡的形式, 改變成為可以獨立運作的分散式核心,
http://www.ithome.com.tw/news/106628

這些新聞的加總, 讓人懷疑Intel的整體規劃,
宛如多頭馬車一般, 產品部門間缺乏整合,
公司對於deep learning缺乏完整的想法, 而是被動回應這些挑戰,
不過, 對使用者來說, 一個友善的編譯環境,
以及高效率的運算資源最佳化, 應該才是最重要的關鍵.

留言

張貼留言

熱門文章

LTE筆記: RSRP, RSSI and RSRQ

作者： -
圖片
在一般通訊系統中, 我們常用 RSSI (Received Signal Strength Indication) 來表示訊號強度,  其單位為 (dBm), 可以轉換成功率大小 (mW): https://en.wikipedia.org/wiki/DBm [註] dBm 的原意即是: (dB) reference to (m)W, 因此, 1 W = 10*log10(1000mW) = 30dBm. 在 LTE 通訊系統中, 除了 RSSI 之外, 又額外定義了兩個用以標示訊號強度的數值: RSRP 和 RSRQ 以下, 我們將介紹 RSRP, RSRQ 和 RSSI 的不同： Reference Symbol Received Power (RSRP) RSRP 為 UE 量測 Reference Signals (RS) 的平均訊號強度, DRS 為基地台在下行訊號中, 於固定 RB (Resource Block) 上傳送的訊號, 由於這些訊號具有特定的傳送格式, 接收端便可以解出這些控制訊號的強度, 對於不同的相鄰基地台, 甚至是同一基地台不同的天線, 可以透過不同的 RS 配置, 讓使用者得知不同目標的量測數值, 如下圖所示: 紅色為 RS, 不同基地台或天線使用不同的 RS 排列方法, 可分開量測 來自: https://api.semanticscholar.org/CorpusID:22030582 RSRP 的回報由 UE 進行 Measurement Report, 回傳給基地台, 其中, 關於 Measurement Report 的設置定義於 RRC 的規範中, 我們之後有機會再提, RSRP 的量測, 通常在換手 (handover) 時進行量測, 用以指出目標基地台的訊號強度, 其中, UE 所量測的數值, 將藉由下表進行轉換 (訊號強度 (dBm) - (-140)), 並回報給 eNB 作為換手的決策使用: (3GPP Reference: TS 36.133) RSSI (Received Signal Strength Indication)  RSSI 是 UE 接收到的 wide-band 訊號強度, 包含 DRS 以及其他 RB 的訊號強度 (第一張
閱讀完整內容

[WiFi] WiFi 網路的識別: BSS, ESS, SSID, ESSID, BSSID

作者： -
圖片
在 WiFi 網路中, 一個基本的識別方式就是 SSID (Service Set Identifier), 也就是我們口語中的 "WiFi 網路名稱", 然而, 此網路事實上是一個服務集合 (Service Set) 的概念, 而一個服務群集, 也可以對應到一個基本的無線網路, 包含: 一個 WiFi AP 以及多個 WiFi 使用者, 對於剛剛這種簡單的網路架構, 又稱為 BSS (Basic Service Set), 若是多個 BSS 都使用同一個 SSID, 則稱為 ESS (Extend Service Set), 如下圖所示: 來自: https://ppt.cc/fXIvex 對於 ESS 來說, 有兩個假設, 第一, 底下的 BSS 必須是相鄰 (有交疊範圍) 第二, 這些 BSS 有網路連線, (有線或是無線都可以) 這兩個假設是為了完成 ESS 的主要功能, 也就是換手 (handoff), 當裝置在同一個 ESS 下不同 BSS 範圍中移動時, 可不必重新連線就可以繼續傳輸. 這樣的流程事實上是由原本服務的 AP (BSS 1), 把使用者的資料轉傳到換手目標的 AP (BSS 2), 資料流程為: DS -> BSS 1 -> BSS 2 -> Sation, 也因此, 兩個 AP 之間必須連線, 同時切換時間也不能太久 (相鄰條件), 那麼在上述例子中, 如何知道 BSS 1 和 BSS 2 的差別呢? 在 WiFi 網路中, 為了完成這件事情, 所以就有了 ESSID 和 BSSID, ESSID 如上所述, 對應於 ESS 所使用的 SSID, 至於 BSSID (通常是 WiFi AP 的 MAC 位址) 來區分同個 SSID 下的網路. 反過來說, 同一個 WiFi AP 也可以擁有多個 SSID, 此功能稱為 VAP (Virtual AP), 此時, 一個 WiFi AP 會虛擬出多個 BSSID, 通常作法就是從原有的 MAC 位址往上加一, 作為多個不同的 BSSID. 這些 VAP 會對應到 WiFi AP 中的不同 VLAN 中, 因此, 我們可以給他們不同的網路設定, 例如: 流量, 安全性, 頻寬等,
閱讀完整內容

LTE筆記: 波束成型 (beamforming) 和天線陣列

作者： -
圖片
在5G的技術中, 其中一個新被引入的通訊技術就是波束成型 (beamforming), 波束成型技術可以大略的分成兩種: 第一種、藉由量測到的通道係數, 設計傳送參數 (precoder), 最佳化通道 第二種、透過多天線的相位偏移 (phase shifter), 決定電波傳遞強度模 在文章中, 會著重介紹第二種波束成型的架構, 在第二種波束成型的架構中, 所使用的是電磁波干射的物理特性, 簡單來說, 透過電磁波的建設性干涉與破壞性干涉, 我們就可以在某個方向上產生一個較強的訊號, 而在其他方向上減低此訊號的影響. 來自:  https://en.wikipedia.org/wiki/Phased_array 在上圖中, 我們可以發現這種波束成型架構的兩個需求: 1. 必須有多根天線服務同一筆傳輸訊號 2. 每個天線都必須要有一個相位調節器 (phase shifter)
閱讀完整內容