站長資訊網
        最全最豐富的資訊網站

        用Python獲取Amazon亞馬遜的商品信息

        引言

        亞馬遜網站相較于國內的購物網站,可以直接使用python的最基本的requests進行請求。訪問不是過于頻繁,在未觸發保護機制的情況下,可以獲取我們想要的數據。本次通過以下三部分簡單介紹下基本爬取流程:

        • 使用requests的get請求,獲取亞馬遜列表和詳情頁的頁面內容

        • 使用css/xpath對獲取的內容進行解析,取得關鍵數據

        • 動態IP的作用及其使用方法

        一、獲取亞馬遜列表頁的信息

        以游戲區為例:

        用Python獲取Amazon亞馬遜的商品信息

        程序員必備接口測試調試工具:立即使用
        Apipost = Postman + Swagger + Mock + Jmeter
        Api設計、調試、文檔、自動化測試工具
        后端、前端、測試,同時在線協作,內容實時同步

        獲取列表內能獲取到的商品信息,如商品名,詳情鏈接,進一步獲取其他內容。

        用requests.get()獲取網頁內容,設置好header,利用xpath選擇器選取相關標簽的內容:

        import requests   from parsel import Selector   from urllib.parse import urljoin       spiderurl = 'https://www.amazon.com/s?i=videogames-intl-ship'   headers = {       "authority": "www.amazon.com",       "user-agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 10_3_3 like Mac OS X) AppleWebKit/603.3.8 (KHTML, like Gecko) Mobile/14G60 MicroMessenger/6.5.19 NetType/4G Language/zh_TW",   }   resp = requests.get(spiderurl, headers=headers)   content = resp.content.decode('utf-8')   select = Selector(text=content)   nodes = select.xpath("http://a[@title='product-detail']")   for node in nodes:       itemUrl = node.xpath("./@href").extract_first()       itemName = node.xpath("./div/h2/span/text()").extract_first()       if itemUrl and itemName:           itemUrl = urljoin(spiderurl,itemUrl)#用urljoin方法湊完整鏈接           print(itemUrl,itemName)
        登錄后復制

        此時已經獲取的當前列表頁目前能獲得的信息:

        用Python獲取Amazon亞馬遜的商品信息

        二、獲取詳情頁信息

        進入詳情頁:

        用Python獲取Amazon亞馬遜的商品信息

        進入詳情頁之后,能獲得

        贊(1)
        分享到: 更多 (0)
        網站地圖   滬ICP備18035694號-2    滬公網安備31011702889846號
        主站蜘蛛池模板: 欧洲精品久久久av无码电影| 久久福利青草精品资源站免费| 国语自产拍精品香蕉在线播放| 中文字幕精品一区| 国产精品无码久久四虎| 国产午夜精品一区理论片| 日韩人妻无码精品久久久不卡 | 国产精品内射久久久久欢欢| 97人妻无码一区二区精品免费| 亚洲AV无码成人网站久久精品大| 欧美精品黑人粗大| 久久99精品免费一区二区| 国产精品99在线播放| 亚洲国产精品lv| 久久国产成人精品麻豆| 国产亚洲美女精品久久久久狼 | 蜜臀av无码人妻精品| 欧美精品一本久久男人的天堂| 精品少妇无码AV无码专区| 亚洲一区二区精品视频| 久久国产成人亚洲精品影院 | 国产精品你懂的在线播放| 亚洲精品高清国产一久久| 欧美成人精品一级高清片| 国产精品美女久久久久网| 国产欧美日韩综合精品一区二区| 亚洲av午夜福利精品一区人妖| 亚洲综合国产精品第一页| 日韩精品一二三四区| 亚洲国产91精品无码专区 | 四虎国产精品永久地址49| 国产精品免费网站| 精品国产福利久久久| 国产精品久久久久9999高清| 国产成人A人亚洲精品无码| 99国产欧美精品久久久蜜芽| 99精品在线观看| 久久se精品一区精品二区| 一级成人精品h| 国产在线观看一区精品| 久久精品国产第一区二区|