hadoop介紹

作者： -
hadoop為一個雲端運算框架.

在雲端的分類中,hadoop屬於PaaS(Platform as a Service), 也就是說hadoop在雲端上提供一個運算的框架,提供使用者計算模型與資料儲存, 方便使用者直接存取大量分散式的虛擬機資源.

hadoop一共提供兩種服務, 一個是分散式的資料儲存(HDFS, hadoop distributed file system), 另一種則是基於HDFS的平行運算架構,MapReduce. 在接下來的文章中, 我們將非常簡短的介紹一下HDFS和MapReduce.

hadoop以主從式(master-slave)的分散式存取架構提供一個叢集的管理. 所謂主從式架構, 就是指在叢集中, 有一個主要節點(master)和多個從屬節點(slave)進行叢集的運算. 主要節點通常負責叢集的管理, 而次要節點則負責叢集的運算. 對於主從式架構而言, 好處是架構清晰容易設計資料交換的方法, 壞處則是當主要節點出問題時, 將導致叢集的失效.

以資料儲存而言, 在HDFS的架構下, 每一筆資料都有多個備份(預設為3份), 分散儲存於各節點.
當新的HDFS資料產生後, 由主控節點(Name Node)要求資料節點(Data Node)備份原有資料, 自動產生備份檔隨機存取於其他資料節點並遣維護在各從屬節點上的備份, 在資料損毀時, 主控節點也提供自動重新備份的服務, 以確保雲端上資料的安全性.



為了減輕主控節點的負擔, 在hadoop中, 主控節點只負責目錄(Metadata)資料的儲存. 當使用者向HDFS要求一份資料時, 主控節點告訴使用者資料在哪一個資料節點, 而後續的資料查詢和傳輸,則由使用者和資料節點直接溝通.

MapReduce則是為了這樣特殊hadoop的儲存架構所設計的程式框架. 考慮到hadoop伊開始設計時希望服務TeraByte, 甚至是PetaByte的資料量, 搬移資料變成沉重的負擔, 因此, MapReduce搬移程式到資料節點上, 進行運算(Map), 並把各節點上的運算結果集結(Reduce), 而得到最終的運運結果.


MapReduce的系統架構(來自Dean和Ghemawat的論文)

在MapReduce中, 最為知名的範例為Word Count, 就是利用分散式的架構, 平行處理每個文件片段的字數統計, 並把結果統合而得到最終文件的字數統計資料. MapReduce的程式架構可以分成兩個部分, 一部分是Mapper, 另外一部分是Reduder.

Mapper主要的功用是把已經由Hadoop分散式文件系統拆成許多小塊的資料, 經由索引值(Key)的分類, 進行平行而且相同的處理. Mapper的輸出經過重新排程的動作之後產生新的索引值, 並據此傳給不同的Reducer. 每個Recuder把收集到的資料做處理之後結合在一起, 最後輸出整體結果.

MapReduce運算架構的優點是, 在找到演算法中的獨立處理項次後, 我們藉由簡單的資料分割以及傳送, 就可以在Hadoop平台上完成平行化的進程. 然而, 由於MapReduce是一種始於硬碟, 終於硬碟的運算架構, 並不適合進行迭代的運算, 同時, MapReduce過程中, 將對於整個叢集進行操作, 以計算框架而言, 缺乏彈性, 難以擴展到多樣的演算法需求.

留言

張貼留言

熱門文章

LTE筆記: RSRP, RSSI and RSRQ

作者： -
圖片
在一般通訊系統中, 我們常用 RSSI (Received Signal Strength Indication) 來表示訊號強度,  其單位為 (dBm), 可以轉換成功率大小 (mW): https://en.wikipedia.org/wiki/DBm [註] dBm 的原意即是: (dB) reference to (m)W, 因此, 1 W = 10*log10(1000mW) = 30dBm. 在 LTE 通訊系統中, 除了 RSSI 之外, 又額外定義了兩個用以標示訊號強度的數值: RSRP 和 RSRQ 以下, 我們將介紹 RSRP, RSRQ 和 RSSI 的不同： Reference Symbol Received Power (RSRP) RSRP 為 UE 量測 Reference Signals (RS) 的平均訊號強度, DRS 為基地台在下行訊號中, 於固定 RB (Resource Block) 上傳送的訊號, 由於這些訊號具有特定的傳送格式, 接收端便可以解出這些控制訊號的強度, 對於不同的相鄰基地台, 甚至是同一基地台不同的天線, 可以透過不同的 RS 配置, 讓使用者得知不同目標的量測數值, 如下圖所示: 紅色為 RS, 不同基地台或天線使用不同的 RS 排列方法, 可分開量測 來自: https://api.semanticscholar.org/CorpusID:22030582 RSRP 的回報由 UE 進行 Measurement Report, 回傳給基地台, 其中, 關於 Measurement Report 的設置定義於 RRC 的規範中, 我們之後有機會再提, RSRP 的量測, 通常在換手 (handover) 時進行量測, 用以指出目標基地台的訊號強度, 其中, UE 所量測的數值, 將藉由下表進行轉換 (訊號強度 (dBm) - (-140)), 並回報給 eNB 作為換手的決策使用: (3GPP Reference: TS 36.133) RSSI (Received Signal Strength Indication)  RSSI 是 UE 接收到的 wide-band 訊號強度, 包含 DRS 以及其他 RB 的訊號強度 (第一張
閱讀完整內容

[WiFi] WiFi 網路的識別: BSS, ESS, SSID, ESSID, BSSID

作者： -
圖片
在 WiFi 網路中, 一個基本的識別方式就是 SSID (Service Set Identifier), 也就是我們口語中的 "WiFi 網路名稱", 然而, 此網路事實上是一個服務集合 (Service Set) 的概念, 而一個服務群集, 也可以對應到一個基本的無線網路, 包含: 一個 WiFi AP 以及多個 WiFi 使用者, 對於剛剛這種簡單的網路架構, 又稱為 BSS (Basic Service Set), 若是多個 BSS 都使用同一個 SSID, 則稱為 ESS (Extend Service Set), 如下圖所示: 來自: https://ppt.cc/fXIvex 對於 ESS 來說, 有兩個假設, 第一, 底下的 BSS 必須是相鄰 (有交疊範圍) 第二, 這些 BSS 有網路連線, (有線或是無線都可以) 這兩個假設是為了完成 ESS 的主要功能, 也就是換手 (handoff), 當裝置在同一個 ESS 下不同 BSS 範圍中移動時, 可不必重新連線就可以繼續傳輸. 這樣的流程事實上是由原本服務的 AP (BSS 1), 把使用者的資料轉傳到換手目標的 AP (BSS 2), 資料流程為: DS -> BSS 1 -> BSS 2 -> Sation, 也因此, 兩個 AP 之間必須連線, 同時切換時間也不能太久 (相鄰條件), 那麼在上述例子中, 如何知道 BSS 1 和 BSS 2 的差別呢? 在 WiFi 網路中, 為了完成這件事情, 所以就有了 ESSID 和 BSSID, ESSID 如上所述, 對應於 ESS 所使用的 SSID, 至於 BSSID (通常是 WiFi AP 的 MAC 位址) 來區分同個 SSID 下的網路. 反過來說, 同一個 WiFi AP 也可以擁有多個 SSID, 此功能稱為 VAP (Virtual AP), 此時, 一個 WiFi AP 會虛擬出多個 BSSID, 通常作法就是從原有的 MAC 位址往上加一, 作為多個不同的 BSSID. 這些 VAP 會對應到 WiFi AP 中的不同 VLAN 中, 因此, 我們可以給他們不同的網路設定, 例如: 流量, 安全性, 頻寬等,
閱讀完整內容

LTE筆記: 波束成型 (beamforming) 和天線陣列

作者： -
圖片
在5G的技術中, 其中一個新被引入的通訊技術就是波束成型 (beamforming), 波束成型技術可以大略的分成兩種: 第一種、藉由量測到的通道係數, 設計傳送參數 (precoder), 最佳化通道 第二種、透過多天線的相位偏移 (phase shifter), 決定電波傳遞強度模 在文章中, 會著重介紹第二種波束成型的架構, 在第二種波束成型的架構中, 所使用的是電磁波干射的物理特性, 簡單來說, 透過電磁波的建設性干涉與破壞性干涉, 我們就可以在某個方向上產生一個較強的訊號, 而在其他方向上減低此訊號的影響. 來自:  https://en.wikipedia.org/wiki/Phased_array 在上圖中, 我們可以發現這種波束成型架構的兩個需求: 1. 必須有多根天線服務同一筆傳輸訊號 2. 每個天線都必須要有一個相位調節器 (phase shifter)
閱讀完整內容