站長(zhǎng)資訊網(wǎng)
        最全最豐富的資訊網(wǎng)站

        聊聊node中怎么借助第三方開源庫實(shí)現(xiàn)網(wǎng)站爬取功能

        本篇文章給大家介紹一下node中借助第三方開源庫輕松實(shí)現(xiàn)網(wǎng)站爬取功能的方法,希望對(duì)大家有所幫助!

        聊聊node中怎么借助第三方開源庫實(shí)現(xiàn)網(wǎng)站爬取功能

        nodejs實(shí)現(xiàn)網(wǎng)站爬取功能

        第三方庫介紹

        • request 對(duì)網(wǎng)絡(luò)請(qǐng)求的封裝

        • cheerio node 版本的 jQuery

        • mkdirp 創(chuàng)建多層的文件夾目錄

        實(shí)現(xiàn)思路

        • 通過request獲取指定 url 內(nèi)容

        • 通過cheerio找到頁面中跳轉(zhuǎn)的路徑(去重)

        • 通過mkdirp創(chuàng)建目錄

        • 通過fs創(chuàng)建文件,將讀取的內(nèi)容寫入

        • 拿到?jīng)]有訪問的路徑重復(fù)以上執(zhí)行步驟

        代碼實(shí)現(xiàn)

        const fs = require("fs"); const path = require("path"); const request = require("request"); const cheerio = require("cheerio"); const mkdirp = require("mkdirp"); // 定義入口url const homeUrl = "https://www.baidu.com"; // 定義set存儲(chǔ)已經(jīng)訪問過的路徑,避免重復(fù)訪問 const set = new Set([homeUrl]); function grab(url) {   // 校驗(yàn)url規(guī)范性   if (!url) return;   // 去空格   url = url.trim();   // 自動(dòng)補(bǔ)全url路徑   if (url.endsWith("/")) {     url += "index.html";   }   const chunks = [];   // url可能存在一些符號(hào)或者中文,可以通過encodeURI編碼   request(encodeURI(url))     .on("error", (e) => {       // 打印錯(cuò)誤信息       console.log(e);     })     .on("data", (chunk) => {       // 接收響應(yīng)內(nèi)容       chunks.push(chunk);     })     .on("end", () => {       // 將相應(yīng)內(nèi)容轉(zhuǎn)換成文本       const html = Buffer.concat(chunks).toString();       // 沒有獲取到內(nèi)容       if (!html) return;       // 解析url       let { host, origin, pathname } = new URL(url);       pathname = decodeURI(pathname);       // 通過cheerio解析html       const $ = cheerio.load(html);       // 將路徑作為目錄       const dir = path.dirname(pathname);       // 創(chuàng)建目錄       mkdirp.sync(path.join(__dirname, dir));       // 往文件寫入內(nèi)容       fs.writeFile(path.join(__dirname, pathname), html, "utf-8", (err) => {         // 打印錯(cuò)誤信息         if (err) {           console.log(err);           return;         }         console.log(`[${url}]保存成功`);       });       // 獲取到頁面中所有a元素       const aTags = $("a");       Array.from(aTags).forEach((aTag) => {         // 獲取到a標(biāo)簽中的路徑         const href = $(aTag).attr("href");         // 此處可以校驗(yàn)href的合法或者控制爬去的網(wǎng)站范圍,比如必須都是某個(gè)域名下的         // 排除空標(biāo)簽         if (!href) return;         // 排除錨點(diǎn)連接         if (href.startsWith("#")) return;         if (href.startsWith("mailto:")) return;         // 如果不想要保存圖片可以過濾掉         // if (/.(jpg|jpeg|png|gif|bit)$/.test(href)) return;         // href必須是入口url域名         let reg = new RegExp(`^https?://${host}`);         if (/^https?:///.test(href) && !reg.test(href)) return;         // 可以根據(jù)情況增加

        贊(0)
        分享到: 更多 (0)
        網(wǎng)站地圖   滬ICP備18035694號(hào)-2    滬公網(wǎng)安備31011702889846號(hào)
        主站蜘蛛池模板: 午夜精品一区二区三区在线观看| 久久精品国产久精国产思思| 日韩av无码久久精品免费| 亚洲综合国产精品| 国产伦精品一区二区三区| 欧美日韩国产精品 | 2021国产精品视频网站| 国产综合色在线精品| 亚洲精品成人片在线观看精品字幕 | 在线观看自拍少妇精品| 国内精品久久久久久久涩爱| 九九99精品久久久久久| 国产精品亚洲а∨无码播放| 亚洲国产精品无码专区| 日韩精品中文字幕第2页| 久久久久久极精品久久久| 国产精品嫩草影院一二三区| 免费欧美精品a在线| 国产精品三级在线| 成人国产精品免费视频| 久久久精品2019免费观看| 亚洲av成人无码久久精品| 亚洲一区二区三区国产精品| 四虎影院国产精品| 全国精品一区二区在线观看| 久久精品成人一区二区三区| 精品中文高清欧美| 久久99精品久久久久久水蜜桃| 久久精品国产一区二区三区| 精品久久久久久无码人妻热| 久99久无码精品视频免费播放| 国内精品久久久久久久久| 精品国产日韩亚洲一区| 国内精品欧美久久精品| 国产中文在线亚洲精品官网| 精品无码三级在线观看视频 | 先锋影音国产精品| 亚洲国产精品一区| 91午夜精品亚洲一区二区三区| 99久久99久久精品国产| 国产精品亚洲mnbav网站|