不管大數(shù)據(jù)時(shí)代是否真的來臨了，大數(shù)據(jù)這個(gè)概念確實(shí)實(shí)實(shí)在在的頗受關(guān)注，IT廠商也紛紛布局大數(shù)據(jù)，推出各自的大數(shù)據(jù)解決方案，本文中，筆者將對(duì)英特爾的大數(shù)據(jù)解決方案英特爾Hadoop發(fā)行版進(jìn)行簡單分析，但求拋磚引玉。
英特爾提供的Hadoop發(fā)行版包含Hadoop分布式文件系統(tǒng)HDFS、分布式數(shù)據(jù)庫HBase、分布式計(jì)算框架MapReduce、數(shù)據(jù)倉庫Hive、數(shù)據(jù)處理Pig、機(jī)器學(xué)習(xí)Mahout商業(yè)套件。
其中，Hadoop 分布式文件系統(tǒng)（HDFS）是運(yùn)行在通用硬件上的分布式文件系統(tǒng)。HDFS提供了一個(gè)高度容錯(cuò)性和高吞吐量的海量數(shù)據(jù)存儲(chǔ)解決方案。它具備：
1）高吞吐量訪問，HDFS 的每個(gè)數(shù)據(jù)塊分布在不同機(jī)架的一組服務(wù)器之上，在用戶訪問時(shí)，HDFS將會(huì)計(jì)算使用網(wǎng)絡(luò)最近的和訪問量最小的服務(wù)器給用戶提供訪問，這大大增加了服務(wù)器的數(shù)據(jù)吞吐量。
2）無縫容量擴(kuò)充，HDFS 將文件的數(shù)據(jù)塊分配信息存放在NameNode服務(wù)器之上，文件數(shù)據(jù)塊的信息分布地存放在DataNode 服務(wù)器上。當(dāng)整個(gè)系統(tǒng)容量需要擴(kuò)充時(shí)，只需要增加DataNode 的數(shù)量，系統(tǒng)會(huì)自動(dòng)地實(shí)時(shí)將 新的服務(wù)器匹配進(jìn)整體陣列之中。
3）高度容錯(cuò)，數(shù)據(jù)在寫入時(shí)被復(fù)制多份，并且可以通過用戶自定義的復(fù)制策略分布到物理位置不同的服務(wù)器上；數(shù)據(jù)在讀寫時(shí)將自動(dòng)進(jìn)行數(shù)據(jù)的校驗(yàn)，一旦發(fā)現(xiàn)數(shù)據(jù)校驗(yàn)錯(cuò)誤將重新進(jìn)行復(fù)制。
HBase是一個(gè)面向列的實(shí)時(shí)分布式數(shù)據(jù)庫。HBase不是一個(gè)關(guān)系型數(shù)據(jù)庫，其設(shè)計(jì)目標(biāo)是用來解決關(guān)系型數(shù)據(jù)庫在處理海量數(shù)據(jù)時(shí)的理論和實(shí)現(xiàn)上的局限性。HBase從一開始就是為Terabyte到Petabyte級(jí)別的海量數(shù)據(jù)存儲(chǔ)和高速讀寫而設(shè)計(jì)，這些數(shù)據(jù)要求能夠被分布在數(shù)千臺(tái)普通服務(wù)器上，并且能夠被大量并發(fā)用戶高速訪問。HBase具備三大特點(diǎn)：
1）高可擴(kuò)展性，讓企業(yè)在擴(kuò)大系統(tǒng)容量時(shí)而無需停機(jī)，只需簡單的增加服務(wù)器。
2）高性能，數(shù)據(jù)被分散存儲(chǔ)，訪問請(qǐng)求也分散在不同的服務(wù)器，增強(qiáng)了總體訪問能力。
3）高可用性，HDFS上的數(shù)據(jù)和日志支持HBase的數(shù)據(jù)自動(dòng)恢復(fù)。
MapReduce是一個(gè)高性能的批處理分布式計(jì)算框架，用于對(duì)海量數(shù)據(jù)進(jìn)行并行分析和處理。MapReduce適合處理各種類型的數(shù)據(jù)，包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。
MapReduce對(duì)于復(fù)雜的數(shù)據(jù)（例如：多媒體數(shù)據(jù)、圖像數(shù)據(jù)、文本數(shù) 據(jù)、 實(shí)時(shí)數(shù)據(jù)、傳感器數(shù)據(jù)等）、超大規(guī)模數(shù)據(jù)運(yùn)用新的算法（例如，自然語言分析、模式識(shí)別）分析。
Hive是一種建立在Hadoop之上的數(shù)據(jù)倉庫架構(gòu)。它采用HDFS進(jìn)行數(shù)據(jù)存儲(chǔ)并利用MapReduce 框架進(jìn)行數(shù)據(jù)操作。所以從本質(zhì)上來說，Hive就是個(gè)編譯器，它把用戶的操作（查詢或者ETL）變換成MapReduce任務(wù)，利 用MapReduce框架執(zhí)行這些任務(wù)以對(duì)HDFS上的海量數(shù)據(jù)進(jìn)行處理。它具備針對(duì)海量數(shù)據(jù)的高性能查詢和分析系統(tǒng)和類SQL的查詢語言HiveQL.
Pig是一個(gè)基于Hadoop并運(yùn)用MapReduce和HDFS 實(shí)現(xiàn)大規(guī)模數(shù)據(jù)分析的平臺(tái)。它為海量數(shù)據(jù)的并行處理提供了操作以及編程實(shí)現(xiàn)的接口。
Pig的編程語言為Pig Latin,該語言有如下特點(diǎn)：
1）易于編程：既具有類似SQL的靈活可變性，又有過程式語言的數(shù)據(jù)流特點(diǎn)。
2）優(yōu)化策略：系統(tǒng)具備自動(dòng)優(yōu)化執(zhí)行過程的能力，使得用戶更加關(guān)注于語義。
3）可擴(kuò)展性：用戶可以自行設(shè)計(jì)函數(shù)來實(shí)現(xiàn)特定功能。
Mahout是一套具有可擴(kuò)充能力的機(jī)器學(xué)習(xí)類庫。它提供機(jī)器學(xué)習(xí)框架的同時(shí)，還實(shí)現(xiàn)了一些可擴(kuò)展的機(jī)器學(xué)習(xí)領(lǐng)域經(jīng)典算法的實(shí)現(xiàn)，可以幫助開發(fā)人員更加方便快捷地創(chuàng)建智能應(yīng)用程序。通過和Apache Hadoop分布式框架相結(jié)合，Mahout可以有效地使用分布式系統(tǒng)來實(shí)現(xiàn)高性能計(jì)算。
Mahout提供了推薦引擎算法、聚類算法、分類算法、相關(guān)物品分析算法4種使用場景的算法。
- 人民日?qǐng)?bào)對(duì)話任正非：國家越開放，會(huì)促使我們更加進(jìn)步
- 五大領(lǐng)域，六大亮點(diǎn)！全國首個(gè)新域新質(zhì)創(chuàng)新大賽落地青島
- 2025新域新質(zhì)創(chuàng)新大賽新聞通氣會(huì)?在青島召開
- 華為ICT大賽2024-2025全球總決賽收官：AI賦能教育轉(zhuǎn)型，助力ICT人才培養(yǎng)
- 從無線再進(jìn)化到數(shù)據(jù)完整性：解碼Qorvo如何定義下一代智能設(shè)備
- 發(fā)力5G-A揚(yáng)帆，山東領(lǐng)航萬兆時(shí)代：助推新型工業(yè)化崛起
- 萬智互聯(lián) 加速邁向智能世界——華為亮相第八屆數(shù)字中國建設(shè)峰會(huì)
- 聯(lián)想車計(jì)算上海車展亮劍：以智算AI，驅(qū)動(dòng)汽車“智慧”加速
- 馬斯克旗下腦機(jī)接口公司計(jì)劃融資5億美元 商業(yè)落地面臨三大挑戰(zhàn)
- 2025中國移動(dòng)云智算大會(huì)丨第二屆“五岳杯”量子計(jì)算挑戰(zhàn)賽圓滿落幕
免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。
