黑科技!當(dāng)會(huì)爬蟲(chóng)的Python遇上會(huì)畫圖的FineBI

前言

大家平時(shí)在用Python爬取網(wǎng)頁(yè)上的數(shù)據(jù)時(shí)，對(duì)爬取到到的數(shù)據(jù)做數(shù)據(jù)分析展現(xiàn)有很多種方式，比如可以通過(guò)echart圖表接口、python提供的第三方庫(kù)甚至還可以用matlab工具來(lái)進(jìn)行數(shù)據(jù)統(tǒng)計(jì)和圖表可視化展現(xiàn)?？墒菬o(wú)論是以上的哪一種方式，都需要通過(guò)代碼來(lái)調(diào)用Python爬好的數(shù)據(jù)來(lái)進(jìn)行畫圖，圖表樣式屬性設(shè)置等方面還是比較繁瑣的。

今天呢，小編將給大家推薦一件輕量級(jí)數(shù)據(jù)分析可視化展現(xiàn)的神器——FineBI(個(gè)人使用完全免費(fèi)，僅對(duì)企業(yè)收費(fèi))，操作簡(jiǎn)單上手快，無(wú)須任何代碼，直接在瀏覽器端通過(guò)FineBI工具的鼠標(biāo)拖拽和點(diǎn)擊操作即可生成色彩絢麗的可視化圖表效果。特別是對(duì)于企業(yè)的業(yè)務(wù)人員來(lái)說(shuō)，有了這一款只需托拖拽拽的數(shù)據(jù)分析統(tǒng)計(jì)神器，老板再也不用盯著之前做的密密麻麻和單調(diào)的excel圖表看啦!

原理介紹

AIeW9k+S8mueIrOiZq+eahFB5dGhvbumBh+S4iuS8mueUu+WbvueahEZpbmVCSQ=="/>

在此之前簡(jiǎn)單給大家講講我們這次給大家分享的Python爬蟲(chóng)+FineBI數(shù)據(jù)展現(xiàn)的系統(tǒng)原理，如上圖所示，數(shù)據(jù)層方面我們先通過(guò)Python抓取到WEB端的網(wǎng)頁(yè)數(shù)據(jù)，之后對(duì)爬取到數(shù)據(jù)進(jìn)行解析再而存儲(chǔ)到MYSQL數(shù)據(jù)入庫(kù);最后應(yīng)用層的數(shù)據(jù)處理、數(shù)據(jù)計(jì)算統(tǒng)計(jì)、圖表可視化呈現(xiàn)等工作全都交由我們的FineBI工具完成。

最近因?yàn)橄肟纯茨暇┓績(jī)r(jià)數(shù)據(jù)，但是網(wǎng)站上的很多數(shù)據(jù)都是以HTM5的形式進(jìn)行呈現(xiàn)的，所以考慮通過(guò)Python來(lái)進(jìn)行網(wǎng)頁(yè)數(shù)據(jù)抓取和入庫(kù)，數(shù)據(jù)分析方面通過(guò)FineBI工具直接和數(shù)據(jù)庫(kù)進(jìn)行無(wú)縫對(duì)接和可視化呈現(xiàn)，空想不如行動(dòng)~說(shuō)干就干。

實(shí)現(xiàn)步驟

1.引入相關(guān)python庫(kù)包

首先新建python工程，引入本次爬取網(wǎng)頁(yè)數(shù)據(jù)和寫入MySQL數(shù)據(jù)庫(kù)所需要的requests、pymysql、bs4這三個(gè)包：

AIeW9k+S8mueIrOiZq+eahFB5dGhvbumBh+S4iuS8mueUu+WbvueahEZpbmVCSQ=="/>

2.獲取網(wǎng)頁(yè)數(shù)據(jù)

然后如下圖所示，通過(guò)編寫Python代碼獲取到某一個(gè)房產(chǎn)網(wǎng)頁(yè)的南京售房平臺(tái)的網(wǎng)頁(yè)信息：

AIeW9k+S8mueIrOiZq+eahFB5dGhvbumBh+S4iuS8mueUu+WbvueahEZpbmVCSQ=="/>

3.HTML標(biāo)簽解析

接著再對(duì)DIV樣式下的HTML數(shù)據(jù)包進(jìn)行逐一解析，獲取到我想看的房源名稱、地址、小區(qū)、戶型、面積、總價(jià)、單價(jià)、區(qū)域等數(shù)據(jù)：

其中對(duì)應(yīng)網(wǎng)頁(yè)的標(biāo)簽樣式可以通過(guò)瀏覽器的F12開(kāi)發(fā)選項(xiàng)進(jìn)行快速獲取，如下圖所示的定位房源信息截圖，我們只需要右鍵瀏覽器在所需要獲取標(biāo)簽樣式名稱的地方點(diǎn)擊檢查元素即可(房源名稱的標(biāo)簽即位house-title的title元素)。

4.MySQL數(shù)據(jù)回寫

解析好數(shù)據(jù)之后，再將解析好的數(shù)據(jù)寫入到MySQL數(shù)據(jù)庫(kù)中：

循環(huán)遍歷該平臺(tái)在南京最近七天的網(wǎng)頁(yè)售房信息數(shù)據(jù)，頁(yè)面17頁(yè)，共計(jì)377條數(shù)據(jù)：

5.安裝FineBI&&驗(yàn)證數(shù)據(jù)入庫(kù)

通過(guò)FineBI官網(wǎng)下載并按照引導(dǎo)安裝好軟件：

直接通過(guò)FineBI提供的數(shù)據(jù)配置端的功能，添加SQL數(shù)據(jù)集(或者直接添加表也行)，查看我和驗(yàn)證剛剛爬取并且入庫(kù)的數(shù)據(jù)是否已經(jīng)真正成功入庫(kù)到MySQL中了。

如下圖所示，Python果然不辱使命，我要的該平臺(tái)的七天南京的房?jī)r(jià)售房數(shù)據(jù)都已經(jīng)成功寫入到了我的MySQL數(shù)據(jù)庫(kù)中了。

6.FineBI可視化制作&&成果展示

通過(guò)FineBI的簡(jiǎn)單拖拽，我這邊以南京各小區(qū)房?jī)r(jià)分布圖為例給大家簡(jiǎn)單展示FineBI的可視化呈現(xiàn)過(guò)程(操作真的非常簡(jiǎn)單，小白可以通過(guò)FineBI官網(wǎng)的幫助文檔或者視頻快速入門~會(huì)用excel的，基本半個(gè)小時(shí)就能上手):

僅僅簡(jiǎn)單十分鐘，刷刷的就將我想要看的南京售房信息(房源面積均價(jià)、套房總均價(jià)、小區(qū)房?jī)r(jià)四象限分布圖、區(qū)域房?jī)r(jià)分析、房型價(jià)格分析)以可視化的形式呈現(xiàn)出來(lái)了。

最后就是本次成果展示啦，也曬出來(lái)跟大家分享下，如下所示：

1.目前南京房源均價(jià)為3.78萬(wàn)每平方米，總均價(jià)為401.38萬(wàn)，總體上還是比較高的。

2.建鄴區(qū)房?jī)r(jià)最高，果然房?jī)r(jià)還是緊跟國(guó)家政策啊，建鄴目前城區(qū)開(kāi)發(fā)建設(shè)政府的扶持力度在南京都是走在前面的。鼓樓、玄武、秦淮分別排在二、三、四的位置，雨花臺(tái)和江寧房?jī)r(jià)相對(duì)較低，綜合市區(qū)位置來(lái)看，還是秦淮區(qū)性價(jià)比最高啊 。

3.房型方面，6室3廳的豪華大宅總均價(jià)接近一千萬(wàn)，比如紫檀雅居、碧水灣別墅、濱江奧城聽(tīng)雨苑這一類土豪小區(qū)，多集中在建鄴和鼓樓區(qū)域;一室一廳的房子均價(jià)大概在150萬(wàn)的樣子，比如托樂(lè)嘉單身公寓、經(jīng)緯城市花園等小區(qū)，適合單身貴族或者情侶小夫婦居住，南京各個(gè)大區(qū)都有;比較主流的三室一廳房?jī)r(jià)在300萬(wàn)左右，比如喬虹苑小區(qū)、良辰美景家園、白云園，多集中在秦淮和鼓樓區(qū)域。

后記

Python完成對(duì)網(wǎng)頁(yè)數(shù)據(jù)的抓取和解析存儲(chǔ)之后，配合FineBI強(qiáng)大的數(shù)據(jù)可視化呈現(xiàn)能力則圓滿地完成了我本次對(duì)南京售房數(shù)據(jù)的統(tǒng)計(jì)和分析需求，絕對(duì)是良心軟件!

網(wǎng)頁(yè)爬蟲(chóng)數(shù)據(jù)抓取，Python首屈一指，對(duì)于數(shù)據(jù)統(tǒng)計(jì)和可視化展現(xiàn)方面來(lái)說(shuō)，操作簡(jiǎn)單便捷、拖拽式的FineBI絕對(duì)是數(shù)據(jù)分析小白的入門上佳之選，小編在此給大家強(qiáng)烈推薦學(xué)習(xí)。

最后特別是對(duì)于企業(yè)經(jīng)營(yíng)來(lái)說(shuō)，F(xiàn)ineBI的企業(yè)級(jí)數(shù)據(jù)管控和自助分析經(jīng)營(yíng)能力更加強(qiáng)大，由于篇幅有限，感興趣的可以自行到FineBI產(chǎn)品的官網(wǎng)進(jìn)行學(xué)習(xí)試用。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。