Castle on a Cloud

在trace  org.apache.hadoop.hbase.util.Merge 時, 我們看到了這個merge的工具使用HRegion.merge()的方式, 把兩個Region合併成一個, 為了更進一步了解merge的流程, 我們繼續trace HRegion.merge()的程式碼, 並把HRegion程式碼中, 和merge相關的地方找出來, HRegion.merge()是一個兩個變數的函式, 輸出為合併後的Region, HRegion.merge()輸入和輸出都是 HRegion 的格式, 使用方法如下: HRegion merged = null; HRegion r1 = HRegion.openHRegion(info1, htd, utils.getLog(info1), getConf()); HRegion r2 = HRegion.openHRegion(info2, htd, utils.getLog(info2), getConf()); merged = HRegion.merge(r1, r2);

org.apache.hadoop.hbase.util.Merge, 是在hbase 0.94版本中用來實現Region合併的工具, 使用方式如下: $ ./bin/hbase org.apache.hadoop.hbase.util.Merge Usage: bin/hbase merge <table-name> <region-1> <region-2>

在hbase中, compaction指的是將較小的StoreFile, 也就是被刷到硬碟的MenStore, 合併成較大的StoreFile, 以保證保證查詢效率, 這個過程就稱之為compaction.

(問題)  對於hbase的架構而言, 怎樣的表格是好的表格呢? (方法) 在hbase中,表格由row-key和column-family組成, 對於一個好的row-key設計, 最重要的就是: 對於表格的存取, 必須是平均分配, 而不集中於部分區塊.

hadoop為一個雲端運算框架. 在雲端的分類中,hadoop屬於PaaS(Platform as a Service), 也就是說hadoop在雲端上提供一個運算的框架,提供使用者計算模型與資料儲存, 方便使用者直接存取大量分散式的虛擬機資源. hadoop一共提供兩種服務, 一個是分散式的資料儲存(HDFS, hadoop distributed file system), 另一種則是基於HDFS的平行運算架構,MapReduce. 在接下來的文章中, 我們將非常簡短的介紹一下HDFS和MapReduce.

(問題) hbase是如何執行load balancing的呢? (方法) 在 上一篇文章 中, 我們介紹了hbase 0.94的load balancing技術, 接著,在這一篇文章中, 我們將介紹load balancing在0.96版本中的改變,

(問題) hbase是如何執行load balancing的呢? (方法) 在介紹hbase 0.96的load balancing機制前, 先簡略的提及一下hbase 0.94的load balancing機制.