黑科技!當會爬蟲的Python遇上會畫圖的FineBI

前言

大家平時在用Python爬取網頁上的數據時，對爬取到到的數據做數據分析展現有很多種方式，比如可以通過echart圖表接口、python提供的第三方庫甚至還可以用matlab工具來進行數據統計和圖表可視化展現?？墒菬o論是以上的哪一種方式，都需要通過代碼來調用Python爬好的數據來進行畫圖，圖表樣式屬性設置等方面還是比較繁瑣的。

今天呢，小編將給大家推薦一件輕量級數據分析可視化展現的神器——FineBI(個人使用完全免費，僅對企業(yè)收費)，操作簡單上手快，無須任何代碼，直接在瀏覽器端通過FineBI工具的鼠標拖拽和點擊操作即可生成色彩絢麗的可視化圖表效果。特別是對于企業(yè)的業(yè)務人員來說，有了這一款只需托拖拽拽的數據分析統計神器，老板再也不用盯著之前做的密密麻麻和單調的excel圖表看啦!

原理介紹

AIeW9k+S8mueIrOiZq+eahFB5dGhvbumBh+S4iuS8mueUu+WbvueahEZpbmVCSQ=="/>

在此之前簡單給大家講講我們這次給大家分享的Python爬蟲+FineBI數據展現的系統原理，如上圖所示，數據層方面我們先通過Python抓取到WEB端的網頁數據，之后對爬取到數據進行解析再而存儲到MYSQL數據入庫;最后應用層的數據處理、數據計算統計、圖表可視化呈現等工作全都交由我們的FineBI工具完成。

最近因為想看看南京房價數據，但是網站上的很多數據都是以HTM5的形式進行呈現的，所以考慮通過Python來進行網頁數據抓取和入庫，數據分析方面通過FineBI工具直接和數據庫進行無縫對接和可視化呈現，空想不如行動~說干就干。

實現步驟

1.引入相關python庫包

首先新建python工程，引入本次爬取網頁數據和寫入MySQL數據庫所需要的requests、pymysql、bs4這三個包：

AIeW9k+S8mueIrOiZq+eahFB5dGhvbumBh+S4iuS8mueUu+WbvueahEZpbmVCSQ=="/>

2.獲取網頁數據

然后如下圖所示，通過編寫Python代碼獲取到某一個房產網頁的南京售房平臺的網頁信息：

AIeW9k+S8mueIrOiZq+eahFB5dGhvbumBh+S4iuS8mueUu+WbvueahEZpbmVCSQ=="/>

3.HTML標簽解析

接著再對DIV樣式下的HTML數據包進行逐一解析，獲取到我想看的房源名稱、地址、小區(qū)、戶型、面積、總價、單價、區(qū)域等數據：

其中對應網頁的標簽樣式可以通過瀏覽器的F12開發(fā)選項進行快速獲取，如下圖所示的定位房源信息截圖，我們只需要右鍵瀏覽器在所需要獲取標簽樣式名稱的地方點擊檢查元素即可(房源名稱的標簽即位house-title的title元素)。

4.MySQL數據回寫

解析好數據之后，再將解析好的數據寫入到MySQL數據庫中：

循環(huán)遍歷該平臺在南京最近七天的網頁售房信息數據，頁面17頁，共計377條數據：

5.安裝FineBI&&驗證數據入庫

通過FineBI官網下載并按照引導安裝好軟件：

直接通過FineBI提供的數據配置端的功能，添加SQL數據集(或者直接添加表也行)，查看我和驗證剛剛爬取并且入庫的數據是否已經真正成功入庫到MySQL中了。

如下圖所示，Python果然不辱使命，我要的該平臺的七天南京的房價售房數據都已經成功寫入到了我的MySQL數據庫中了。

6.FineBI可視化制作&&成果展示

通過FineBI的簡單拖拽，我這邊以南京各小區(qū)房價分布圖為例給大家簡單展示FineBI的可視化呈現過程(操作真的非常簡單，小白可以通過FineBI官網的幫助文檔或者視頻快速入門~會用excel的，基本半個小時就能上手):

僅僅簡單十分鐘，刷刷的就將我想要看的南京售房信息(房源面積均價、套房總均價、小區(qū)房價四象限分布圖、區(qū)域房價分析、房型價格分析)以可視化的形式呈現出來了。

最后就是本次成果展示啦，也曬出來跟大家分享下，如下所示：

1.目前南京房源均價為3.78萬每平方米，總均價為401.38萬，總體上還是比較高的。

2.建鄴區(qū)房價最高，果然房價還是緊跟國家政策啊，建鄴目前城區(qū)開發(fā)建設政府的扶持力度在南京都是走在前面的。鼓樓、玄武、秦淮分別排在二、三、四的位置，雨花臺和江寧房價相對較低，綜合市區(qū)位置來看，還是秦淮區(qū)性價比最高啊 。

3.房型方面，6室3廳的豪華大宅總均價接近一千萬，比如紫檀雅居、碧水灣別墅、濱江奧城聽雨苑這一類土豪小區(qū)，多集中在建鄴和鼓樓區(qū)域;一室一廳的房子均價大概在150萬的樣子，比如托樂嘉單身公寓、經緯城市花園等小區(qū)，適合單身貴族或者情侶小夫婦居住，南京各個大區(qū)都有;比較主流的三室一廳房價在300萬左右，比如喬虹苑小區(qū)、良辰美景家園、白云園，多集中在秦淮和鼓樓區(qū)域。

后記

Python完成對網頁數據的抓取和解析存儲之后，配合FineBI強大的數據可視化呈現能力則圓滿地完成了我本次對南京售房數據的統計和分析需求，絕對是良心軟件!

網頁爬蟲數據抓取，Python首屈一指，對于數據統計和可視化展現方面來說，操作簡單便捷、拖拽式的FineBI絕對是數據分析小白的入門上佳之選，小編在此給大家強烈推薦學習。

最后特別是對于企業(yè)經營來說，FineBI的企業(yè)級數據管控和自助分析經營能力更加強大，由于篇幅有限，感興趣的可以自行到FineBI產品的官網進行學習試用。

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。