一提到大數據，人們首先會想到在互聯網和商業(yè)等環(huán)境中，利用大量的行為數據來分析用戶行為和預測市場趨勢等應用。但是對工業(yè)大數據的定義和應用卻很難直觀地理解和想象。工業(yè)大數據的挑戰(zhàn)和目的則要通過“3B” 和 “3C” 來理解。
工業(yè)大數據應用的“3B”挑戰(zhàn)：
· Bad Quality——在工業(yè)大數據中，數據質量問題一直是許多企業(yè)所面臨的挑戰(zhàn)。
· Broken——工業(yè)對于數據的要求并不僅在于量的大小，更在于數據的全面性。
· Below the Surface——除了對數據所反映出來的表面統(tǒng)計特征進行分析以外，還應該關注數據中所隱藏的相關性。
工業(yè)大數據分析的“3C”目的：
· Comparison（比較性）——從比較過程中獲取洞察，既包括比較相似性，也包括比較差異性。
· Correlation （相關性）——如果說物聯網是可見世界的連接，那么所連接對象之間的相關性就是不可見世界的連接。
· Consequence （因果性）——數據分析的重要目的是進行決策支持，在制定一個特定的決策時，其所帶來的結果和影響應該被同等地分析和預測。
為此，我們發(fā)現Spark MLlib是一款非常優(yōu)秀的工業(yè)大數據挖掘工具，擁有頂尖的數據處理、數據挖掘課數據可視化，是數據從業(yè)者必備的一把利器。Spark是一個開源集群運算框架，擅長迭代計算。最初是由加州大學柏克利分校AMPLab所開發(fā)。Spark使用了內存內運算技術，在內存上的運算速度比Hadoop MapReduce的運算速度快上100倍，即便是在磁盤上運行也能快10倍。Spark允許將數據加載至集群內存，并多次對其進行查詢，非常適合用于機器學習算法。
Spark MLlib 主要包括以下幾方面的內容：
學習算法：分類、回歸、聚類和協(xié)同過濾；
特征處理：特征提取、變換、降維和選擇；
管道（Pipeline）：用于構建、評估和調整機器學習管道的工具；
持久性：保存和加載算法，模型和管道；
實用工具：線性代數，統(tǒng)計，最優(yōu)化，調參等工具。
上表總結了 Spark MLlib 支持的功能結構，可以看出Spark MLlib是一種高效、快速、可擴展的分布式計算框架；實現了常用的機器學習，如：聚類、分類、回歸等算法。
大數據能夠帶來巨大的商業(yè)價值已經毋庸置疑，各行各業(yè)均已開展了一場無形的較量，數據提供商、服務提供商都想在這片藍海強占先機。而目前，Spark已經成為了現在大數據領域最火的開源軟件，Spark也被許多企業(yè)尤其是互聯網企業(yè)廣泛應用到商業(yè)項目中，在國內包括阿里、百度、騰訊、網易、搜狐等。
（免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
