站長資訊網(wǎng)
做爬蟲不用說，就是用python就好，一個(gè)requests包走天下。但是呢，聽說golang中內(nèi)置的http包非常牛逼，咱就是說不得整點(diǎn)活，也剛好學(xué)習(xí)學(xué)習(xí)新東西，復(fù)習(xí)下http協(xié)議的請求和響應(yīng)相關(guān)的知識點(diǎn)。話不多說，咱直接開整
本文章爬下必應(yīng)壁紙先小試牛刀。狗頭保命 狗頭保命 狗頭保命
爬蟲流程概述
graph TD 請求數(shù)據(jù) --> 解析數(shù)據(jù) --> 數(shù)據(jù)入庫
上圖的流程圖大家可以看到，其實(shí)爬蟲并不麻煩，整個(gè)流程就只有三步而已。接下來具體聊聊每一步需要做什么
-
請求數(shù)據(jù)：在這里我們需要使用golang中的內(nèi)置包http包向目標(biāo)地址發(fā)起請求，這一步就完成了
-
解析數(shù)據(jù)：這里我們需要對請求到的數(shù)據(jù)進(jìn)行解析，因?yàn)椴皇钦麄€(gè)請求到的數(shù)據(jù)我們都需要，我們只需要某些具體的關(guān)鍵的數(shù)據(jù)而已。這一步也叫數(shù)據(jù)清洗
-
數(shù)據(jù)入庫：不難理解，這就是將解析好的數(shù)據(jù)進(jìn)行入庫操作
實(shí)戰(zhàn)分析
先到必應(yīng)壁紙官網(wǎng)上觀察，做爬蟲的話是需要對數(shù)據(jù)特別敏感的。這是首頁信息，整個(gè)頁面是非常簡潔的
接下來，需要調(diào)出瀏覽器的開發(fā)者工具（這個(gè)大家應(yīng)該都非常熟悉吧，不熟悉的話很難跟下去的喔）。直接按下F12或者右鍵點(diǎn)擊檢查
但是呢？在必應(yīng)壁紙上，右鍵不能調(diào)用控制臺，只能手動調(diào)出了。大家不用擔(dān)心，按照第一張圖操作就好。如果有同學(xué)的chrome是中文的，也是一樣的操作，選擇
