21世紀(jì)以來,在互聯(lián)網(wǎng)高速發(fā)展的背景下,互聯(lián)網(wǎng)上的信息呈現(xiàn)暴發(fā)式的增加,對應(yīng)的提供人們檢索信息功能的搜索引擎也在飛速發(fā)展、更新和迭代。但現(xiàn)有的知名搜索引擎能夠觸及的互聯(lián)網(wǎng)內(nèi)容用九牛一毛來形容也毫不為過。為了給細(xì)分領(lǐng)域的客戶提供更優(yōu)質(zhì)的搜索體驗(yàn),建立一套自己的搜索引擎就十分重要了。建立一個(gè)搜索引擎一般來說需要做這樣幾件事:
1、利用網(wǎng)絡(luò)爬蟲自動(dòng)下載網(wǎng)絡(luò)頁面;
2、對爬取結(jié)果建立高效快速的索引;
3、根據(jù)相關(guān)性對網(wǎng)絡(luò)進(jìn)行準(zhǔn)確的排序。
目前的爬蟲技術(shù)一般分為兩種:通用網(wǎng)絡(luò)爬蟲和主題網(wǎng)絡(luò)爬蟲。通用網(wǎng)絡(luò)爬蟲一般盡可能多的采集頁面,而一般不關(guān)心被采集頁面的順序與頁面主題的相關(guān)性。Google和百度等具有大型搜索引擎的公司均采用通用網(wǎng)絡(luò)爬蟲。主題網(wǎng)絡(luò)爬蟲則根據(jù)一個(gè)已經(jīng)預(yù)定好的主題進(jìn)行爬取采集,最終對采集結(jié)果進(jìn)行匯總,其爬取頁面具有大量相關(guān)性。相對通用網(wǎng)絡(luò)爬蟲,主題網(wǎng)絡(luò)爬蟲所消耗的資源和網(wǎng)絡(luò)帶寬更少,所采集的主題相關(guān)性更強(qiáng),頁面的利用率更高。
本期“安仔課堂”,ISEC實(shí)驗(yàn)室的葉老師為大家詳細(xì)剖析下主題網(wǎng)絡(luò)爬蟲的幾個(gè)主要技術(shù)點(diǎn)。
一、遍歷算法
1738年,瑞典數(shù)學(xué)家歐拉( Leornhard Euler)解決了柯尼斯堡問題,由此,圖論誕生,歐拉也成為了圖論的創(chuàng)始人。圖由一些節(jié)點(diǎn)與連接這些節(jié)點(diǎn)的弧組成。我們可以把互聯(lián)網(wǎng)看成一張具有指向無數(shù)方向的浩瀚無邊的圖,每一張網(wǎng)頁為圖的一個(gè)節(jié)點(diǎn),每個(gè)網(wǎng)頁中的超鏈接為圖中的弧。有了超鏈接,我們可以從任何一個(gè)網(wǎng)頁出發(fā),用圖的遍歷算法,自動(dòng)訪問到每一個(gè)頁面,然后存儲所需要的信息。
圖的遍歷算法可以分為深度優(yōu)先搜索(Depth-First Search 簡稱DFS)和廣度優(yōu)先搜索(Breadth–First Search 簡稱BFS)。
由于深度優(yōu)先搜索的遍歷方式,在很多情況下會導(dǎo)致爬蟲在深度上過“深”地遍歷或者陷入黑洞,大多數(shù)爬蟲不采用深度優(yōu)先搜索,目前主題爬蟲比較常見的是廣度優(yōu)先搜索方式。
廣度優(yōu)先搜索遍歷URL策略的基本思路是:將新下載網(wǎng)頁中發(fā)現(xiàn)的鏈接直接插入待抓取URL隊(duì)列的末尾。也就是指網(wǎng)絡(luò)爬蟲會先抓取起始網(wǎng)頁中鏈接的所有網(wǎng)頁,然后再選擇其中的一個(gè)鏈接網(wǎng)頁,繼續(xù)抓取在此網(wǎng)頁中鏈接的所有網(wǎng)頁。
圖1
如圖1,廣度優(yōu)先遍歷搜索(BFS)的訪問順序?yàn)?A->B->C->D->E->F->H->G->I 深度優(yōu)先搜索策略從起始網(wǎng)頁開始,選擇一個(gè)URL進(jìn)入,分析這個(gè)網(wǎng)頁中的URL,選擇其中一個(gè)再進(jìn)入。如此一個(gè)鏈接接著一個(gè)鏈接地抓取下去,一路走到黑,直到處理完一條路線之后再處理下一條路線。如圖1,深度優(yōu)先遍歷(DFS)的訪問順序?yàn)?A->B C D E->H->I F->G
不管是哪種方式,理論上都可以保證訪問到所有的節(jié)點(diǎn)。但是工程上基于穩(wěn)定性等要求一般采用的都是BFS方式。
二、網(wǎng)絡(luò)爬蟲
本文使用Python語言作為主開發(fā)語言。在Python中使用urllib.urlopen(url[, data[, proxies]]) :創(chuàng)建一個(gè)表示遠(yuǎn)程url的類文件對象,然后像本地文件一樣操作這個(gè)類文件對象來獲取遠(yuǎn)程數(shù)據(jù)。
Python可以使用urllib請求頁面獲取網(wǎng)頁HTML信息,實(shí)現(xiàn)如下:
from urllib.request import urlopen
html = urlopen(‘http: www.baidu.com’)
得到源代碼后即可使用Xpath或者BeautifulSoup4解析HTML元素,提取所需要數(shù)據(jù)。以上,即完成一個(gè)簡單的Web數(shù)據(jù)采集流程。
但是具體的業(yè)務(wù)工程往往不是一個(gè)簡單的流程而已,有時(shí)候會采集非結(jié)構(gòu)化數(shù)據(jù),需要再由工程人員寫下載器,進(jìn)行非結(jié)構(gòu)化數(shù)據(jù)的提取;有時(shí)候結(jié)構(gòu)化數(shù)據(jù)是異步加載,需要我們模擬加載的JavaScript代碼,再對服務(wù)器進(jìn)行一次請求;對于需要代理才能訪問的網(wǎng)站,需要再添加代理IP;還有采集的效率等等一系列問題。
三、HTTP請求頭的設(shè)計(jì)
瀏覽器與服務(wù)器交互是基于超文本傳輸協(xié)議(HTTP,HyperText Transfer Protocol),HTTP是互聯(lián)網(wǎng)上應(yīng)用最為廣泛的一種網(wǎng)絡(luò)協(xié)議。HTTP是一個(gè)基于TCP/IP通信協(xié)議來傳遞數(shù)據(jù)(HTML 文件, 圖片文件, 查詢結(jié)果等)。
在爬取網(wǎng)站內(nèi)容時(shí),HTTP協(xié)議中請求頭的模擬至關(guān)重要,請求頭不正確將會導(dǎo)致目標(biāo)站點(diǎn)返回錯(cuò)誤的狀態(tài)碼和無效的字符;例如在對某同城租房模塊的數(shù)據(jù)采集中,先是使用chrome瀏覽器請求租房頁面,查找到瀏覽器請求目標(biāo)站點(diǎn)的數(shù)據(jù)包,分析請求頭,然后模擬了一個(gè)類似的請求頭,代碼如下:
headers = [
{
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/*,*/*;q=0.8',
'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
'Cache-Control': 'max-age=0',
'Connection': 'keep-alive',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36',
}, # 請求頭1
{
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/*,*/*;q=0.8',
'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
'Cache-Control': 'max-age=0',
'Connection': 'keep-alive',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; rv:6.0.2) Gecko/20100101 Firefox/6.0.2',
}, # 請求頭2
]
header = random.choice(headers) # 隨機(jī)選取請求頭
其中 'Connection': 'keep-alive', 建議保持打開狀態(tài)。
我們知道HTTP協(xié)議采用“請求-應(yīng)答”模式,當(dāng)使用普通模式,即非KeepAlive模式時(shí),每個(gè)請求—應(yīng)答客戶端和服務(wù)器都要新建一個(gè)連接,完成之后立即斷開連接(HTTP協(xié)議為無連接的協(xié)議);當(dāng)使用Keep-Alive模式(又稱持久連接、連接重用)時(shí),Keep-Alive功能使客戶端到服務(wù)器端的連接持續(xù)有效,當(dāng)出現(xiàn)對服務(wù)器的后繼請求時(shí),Keep-Alive功能避免了建立或者重新建立連接。
http 1.0協(xié)議中默認(rèn)是關(guān)閉的,需要在http頭加入"Connection: Keep-Alive",才能啟用Keep-Alive;http 1.1協(xié)議中默認(rèn)啟用Keep-Alive,如果加入"Connection: close ",才關(guān)閉。目前大部分瀏覽器都是用http1.1協(xié)議,也就是說默認(rèn)都會發(fā)起Keep-Alive的連接請求了,所以是否能完成一個(gè)完整的Keep- Alive連接就看服務(wù)器設(shè)置情況。
從上面的分析來看,啟用Keep-Alive模式肯定更高效,性能更高。因?yàn)楸苊饬私⒓搬尫胚B接的開銷。
以上兩個(gè)HTTP請求頭分別來自不同的瀏覽器,用這種方式請求,在一定概率上,每次請求都會讓服務(wù)器以為是來自不同的瀏覽器發(fā)出的,使得服務(wù)器會返回完整的HTML頁面給爬蟲端,爬蟲端就可以做出相應(yīng)的解析,若是返回錯(cuò)誤頁面、存在頁面、或者直接返回一串爬蟲無法解析的無效信息,那么提取數(shù)據(jù)從何談起。使用測試請求頭對爬取數(shù)據(jù)進(jìn)行請求測試,若連接爬取多個(gè)頁面均無出現(xiàn)明顯錯(cuò)誤,即可進(jìn)入正式爬取階段。
但是使用模擬請求頭的方式對于異步Ajax加載的數(shù)據(jù)不好直接定位采集,需要對異步Ajax加載的位置進(jìn)行請求的重新模擬,要先分析異步請求,再模擬加載請求再請求一次服務(wù)器,對于爬蟲系統(tǒng)來說是很消耗性能的。所以,一般如果采集多種異步數(shù)據(jù),可以采用自動(dòng)化測試工具Selenium模擬瀏覽器。
Selenium 是什么?一句話,自動(dòng)化測試工具。它支持各種瀏覽器,包括 Chrome,Safari,Firefox 等主流界面式瀏覽器,如果你在這些瀏覽器里面安裝一個(gè) Selenium 的插件,那么便可以方便地實(shí)現(xiàn)Web界面的測試;安裝一下 Python 的 Selenium 庫,再安裝好 PhantomJS,就可以實(shí)現(xiàn) Python+Selenium+PhantomJS 的一整套體系的連接了!PhantomJS 用來渲染解析JavaScirpy,Selenium 用來驅(qū)動(dòng)以及與 Python 的對接,Python 進(jìn)行后期的處理。
利用Selenium模擬的瀏覽器能夠更加逼真模擬真實(shí)Web請求環(huán)境,對于Ajax異步加載的數(shù)據(jù)可以快速定位。
但是在進(jìn)行模擬爬取時(shí),若觸發(fā)網(wǎng)站的防爬機(jī)制,那么就必須進(jìn)行多IP的模擬和對爬取線程采取暫時(shí)暫停,兩者相結(jié)合的辦法來測試防爬機(jī)制的臨界點(diǎn),對于多IP的模擬可以采取二分折半測試的辦法,先取一個(gè)比較長的暫停時(shí)間。然后如果能使程序正常進(jìn)行就再縮短一倍時(shí)間,否則擴(kuò)大一倍時(shí)間,直到有一個(gè)臨近的值或者區(qū)間,再對該臨界值或者區(qū)間取隨機(jī)數(shù)暫停爬取線程。
具體請求代碼如下:
def get_soup (url) :
logger.info('Prepare analytical this URL:')
logger.info(url)
print('準(zhǔn)備解析該鏈接:', url)
try:
try:
# 偽裝成瀏覽器
headers = [{
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/*,*/*;q=0.8',
'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
'Cache-Control': 'max-age=0',
'Connection': 'keep-alive',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; rv:6.0.2) Gecko/20100101 Firefox/6.0.2',
}, {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/*,*/*;q=0.8',
'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
'Cache-Control': 'max-age=0',
'Connection': 'keep-alive',
'User-Agent': 'Mozilla/5.0 (X11; Linux i686) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.56 Safari/537.17',
},
]
header = random.choice(headers)
# 使用代理IP
proxy_ips = [
{'http:': '117.90.3.226:9000'},
{'http:': '210.136.19.75:8080'},
{'http:': '118.186.219.164:8080'},
]
proxy_ip = random.choice(proxy_ips)
proxy_support = urllib.request.ProxyHandler(proxy_ip)
opener = urllib.request.build_opener(proxy_support)
urllib.request.install_opener(opener)
# 請求
sleep(0.2)
request = Request(url=url, headers=header)
sleep(0.3)
response = urlopen(request)
except (HTTPError, URLError) as e:
logger.error('URL Error or HTTPError:')
logger.error(e)
print("請求有問題", e)
return None
try:
the_page = response.read()
soup = BeautifulSoup(the_page, "html.parser")
# 判斷是否有驗(yàn)證碼 (得到所有soup的title)
title_value = soup.title.string.encode('utf-8')
verification_code = "請輸入驗(yàn)證碼".encode('utf-8')
if title_value == verification_code:
logger.warning(....verification_code now!!!!!')
sleep(2222)
# name = input("The bomb is about to explode,Please input your name:\n")
# print("Hello,", name)
soup = get_soup(url)
logger.warning('(warning)Revisit the link:')
logger.warning(url)
return soup
except AttributeError as e:
logger.error('AttributeError(Request soup)')
logger.error(e)
return None
return soup
except Exception as e:
logger.error('another Exception(Request soup)')
logger.error(e)
return None
四、HTML網(wǎng)頁的解析
爬蟲請求成功后,返回Soup,即HTML的源代碼。
HTML頁面中包含著大量的文本、鏈接、圖片等信息,所有的HTML都以,開始結(jié)束。所有的HTML源代碼中均包含著大量的如、
HTML文檔轉(zhuǎn)換為HTML DOM節(jié)點(diǎn)樹如圖2所示:
圖2
使用BeautifulSoup解析這段代碼,能夠得到一個(gè) BeautifulSoup 的對象,并能按照標(biāo)準(zhǔn)的縮進(jìn)格式的結(jié)構(gòu)輸出:
幾個(gè)簡單的瀏覽結(jié)構(gòu)化數(shù)據(jù)的方法:
將一段文檔傳入BeautifulSoup的構(gòu)造方法,就能得到一個(gè)文檔的對象, 可以傳入一段字符串或一個(gè)文件句柄。
在Beautiful Soup中最常用的函數(shù)為find_all()和find()。
find_all() 方法搜索當(dāng)前tag的所有tag子節(jié)點(diǎn),并判斷是否符合過濾器的條件
find_all( name , attrs , recursive , text , **kwargs )
name 參數(shù)
name參數(shù)可以查找所有名字為name的tag,字符串對象會被自動(dòng)忽略掉。搜索 name參數(shù)的值可以是任一類型的過濾器。
keyword 參數(shù)
如果一個(gè)指定名字的參數(shù)不是搜索內(nèi)置的參數(shù)名,搜索時(shí)會把該參數(shù)當(dāng)作指定名字tag的屬性來搜索,如果包含一個(gè)名字為id的參數(shù),Beautiful Soup會搜索每個(gè)tag的“id”屬性。
按CSS搜索
按照CSS類名搜索tag的功能非常實(shí)用,但標(biāo)識CSS類名的關(guān)鍵字 class 在Python中是保留字,使用class做參數(shù)會導(dǎo)致語法錯(cuò)誤。從Beautiful Soup的4.1.1版本開始,可以通過 class_ 參數(shù)搜索有指定CSS類名的tag。
text 參數(shù)
通過text參數(shù)可以搜素文檔中的字符串內(nèi)容,與 name 參數(shù)的可選值一樣,text 參數(shù)接受字符串、正則表達(dá)式、列表、True。
limit 參數(shù)
find_all() 方法返回全部的搜索結(jié)構(gòu),如果文檔樹很大那么搜索會很慢。如果我們不需要全部結(jié)果,可以使用limit參數(shù)限制返回結(jié)果的數(shù)量。效果與SQL中的limit關(guān)鍵字類似,當(dāng)搜索到的結(jié)果數(shù)量達(dá)到limit的限制時(shí),就停止搜索返回結(jié)果。
find(name,attrs,recursive,text,**kwargs)
find_all() 方法將返回文檔中符合條件的所有tag,盡管有時(shí)候我們只想得到一個(gè)結(jié)果。比如文檔中只有一個(gè)標(biāo)簽,那么使用 find_all() 方法來查找標(biāo)簽就不太合適,,使用 find_all 方法并設(shè)置 limit=1 參數(shù)不如直接使用 find() 方法。
Beautiful Soup將復(fù)雜HTML文檔轉(zhuǎn)換成一個(gè)復(fù)雜的樹形結(jié)構(gòu),每個(gè)節(jié)點(diǎn)都是一個(gè)Python對象,所有對象都可以歸為4個(gè)種類:Tag ,NavigableString ,BeautifulSoup , Comment 。所以在解析HTML時(shí),即是在操作Beautiful Soup里頭的一個(gè)個(gè)Python對象。Beautiful Soup提供了強(qiáng)大的函數(shù)庫,所以任何HTML(或XML)文件的任意節(jié)點(diǎn)信息,都可以被提取出來,只要目標(biāo)信息的旁邊或附近有標(biāo)記即可。
數(shù)據(jù)經(jīng)過清洗過濾之后提取出來,寫入文本文件或者持久化到MySQL。對于已經(jīng)持久化到MySQL的數(shù)據(jù),一方面可以進(jìn)一步對該主題數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘,另一方面可以利用Java強(qiáng)大的Web處理能力展示數(shù)據(jù),利用純Javascript圖表庫ECharts, 進(jìn)行數(shù)據(jù)的可視化展示。
廈門安勝網(wǎng)絡(luò)科技有限公司,廈門市美亞柏科信息股份有限公司控股子公司,是國內(nèi)領(lǐng)先的網(wǎng)絡(luò)安全檢測產(chǎn)品及服務(wù)提供商;秉承“創(chuàng)新為安,服務(wù)致勝”的經(jīng)營理念,專注于網(wǎng)絡(luò)安全類產(chǎn)品的生產(chǎn)與服務(wù)。
“ISEC實(shí)驗(yàn)室”作為公司新技術(shù)和新產(chǎn)品的預(yù)研基地,秉承“我的安全,我做主”的理念,專注于網(wǎng)絡(luò)安全領(lǐng)域前沿技術(shù)研究,提供網(wǎng)絡(luò)安全培訓(xùn)、應(yīng)急響應(yīng)、安全檢測等服務(wù)。曾承接北京奧運(yùn)會、上海世博會、廣州亞運(yùn)會、杭州G20峰會、金磚“廈門會晤”等大型活動(dòng)網(wǎng)絡(luò)安全保障工作。
未來,安勝將繼續(xù)以昂揚(yáng)的姿態(tài)、在網(wǎng)絡(luò)安全領(lǐng)域不斷深耕,為建設(shè)網(wǎng)絡(luò)強(qiáng)國做出更大貢獻(xiàn)!
- 蜜度索驥：以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- 2024SACC中國系統(tǒng)架構(gòu)師大會：探索數(shù)字轉(zhuǎn)型與架構(gòu)演進(jìn)
- 寶武集團(tuán)、落基山研究所等將在2024中國綠色鋼鐵峰會發(fā)表演講
- 有為青年｜華為校園公開課走進(jìn)龍巖學(xué)院，loT ＋鴻蒙開啟物聯(lián)網(wǎng)開發(fā)新征程
- 2025中國(鄭州）國際電線電纜及線材產(chǎn)業(yè)展覽會
- 中國歐亞國際軍民兩用技術(shù)產(chǎn)業(yè)博覽會、中國國際電子信息暨國防電子博覽會與中國西安國際航空航天暨無人機(jī)展覽會
- 專家解讀：從傳統(tǒng)數(shù)據(jù)中心到智算中心的三大根本差異
- 跨界！中國第一個(gè)物業(yè)跨界Plus系列展將于2025年3月29日舉辦，上海首秀!
- 賽氪承辦中國科普作家協(xié)會科普活動(dòng)，聚焦運(yùn)籌學(xué)與物流融合
- 共碼未來，待到山花爛漫時(shí)，鴻蒙開發(fā)者論壇圓滿收官！
- 動(dòng)手體驗(yàn)+以考代練！共碼未來HarmonyOS Workshop圓滿收官
免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。
