午夜视频免费看_日韩三级电影网站_国产精品久久一级_亚洲一级在线播放_人妻体内射精一区二区三区_91夜夜揉人人捏人人添红杏_91福利在线导航_国产又粗又猛又黄又爽无遮挡_欧美日韩一区在线播放_中文字幕一区二区三区四区不卡 _日日夜夜精品视频免费观看_欧美韩日一区二区三区

主頁 > 知識庫 > Python 爬取淘寶商品信息欄目的實現

Python 爬取淘寶商品信息欄目的實現

熱門標簽:千呼ai電話機器人免費 400電話辦理費用收費 柳州正規電銷機器人收費 鎮江人工外呼系統供應商 深圳網絡外呼系統代理商 申請辦個400電話號碼 高德地圖標注字母 騰訊地圖標注有什么版本 外呼系統前面有錄音播放嗎

一、相關知識點

1.1、Selenium

Selenium是一個強大的開源Web功能測試工具系列,可進行讀入測試套件、執行測試和記錄測試結果,模擬真實用戶操作,包括瀏覽頁面、點擊鏈接、輸入文字、提交表單、觸發鼠標事件等操作,并且能夠對頁面結果進行種種驗證。也就是說,只要在測試用例中把預期的用戶行為與結果都描述出來,我們就得到了一個可以自動化運行的功能測試套件。

1.2、ActionChains
Actionchains是selenium里面專門處理鼠標相關的操作如:鼠標移動,鼠標按鈕操作,按鍵和上下文菜單(鼠標右鍵)交互。這對于做更復雜的動作非常有用,比如懸停和拖放。

1.3、time
返回當前時間的時間戳

1.4、lxml
lxml是一個Python庫,使用它可以輕松處理XML和HTML文件,還可以用于web爬取。市面上有很多現成的XML解析器,但是為了獲得更好的結果,開發人員有時更愿意編寫自己的XML和HTML解析器。這時lxml庫就派上用場了。這個庫的主要優點是易于使用,在解析大型文檔時速度非常快,歸檔的也非常好,并且提供了簡單的轉換方法來將數據轉換為Python數據類型,從而使文件操作更容易。

1.5、csv
csv文件格式是一種通用的電子表格和數據庫導入導出格式。最近我調用RPC處理服務器數據時,經常需要將數據做個存檔便使用了這一方便的格式。

1.6、requests
Requests 庫是一個優雅而簡單的 Python HTTP 庫,主要用于發送和處理 HTTP 請求

二、部分代碼解析

加載Chrome驅動,動態解析爬取的網址

 #提取公共的爬取信息的api
 def commonsdk(self,url):
 browser = webdriver.Chrome('D:/chromedriver.exe')
 try:
 browser.get(url)
 except Exception as e:
 browser.execute_script('window.stop()') # 超出時間則不加載
 print(e, 'dynamic web load timeout')
 return browser;

實現模擬登錄

通過定位淘寶登陸界面的url的表單框,然后輸入自己的用戶名及密碼,再模擬鼠標點擊事件,繼而提交表單信息實現用戶登錄。

#模擬登錄
 def logon(self,url,a_href_list_next):
 username = "淘寶賬戶名"
 password = "密碼"
 browser1 = self.commonsdk(url)
 #登錄賬號
 browser1.find_element_by_id('fm-login-id').send_keys(username)
 browser1.find_element_by_id('fm-login-password').send_keys(password)
 #模擬用戶點擊登錄
 browser1.find_element_by_xpath('//*[@id="login-form"]/div[4]/button').click()
 #解析商品信息
 self.Buy_information(a_href_list_next,browser1)

爬取側邊欄目錄
1、首先定位到目錄分類欄,鼠標光標移動到需要選中的那一欄,繼而會出現隱藏的div,(這里需要實現鼠標懸停事件)action.move_to_element(li_list).perform()實現了這一功能。
2、然后定位自己所需要爬取的側邊欄的那一行或多行,通過實現鼠標懸停事件后獲取其中內容。
3、獲取其超鏈接進入下一界面

#爬取目錄
 def List(self,url):
 browser = self.commonsdk(url)
 #ActionChains類實現鼠標的單擊、雙擊、拖拽等功能
 action = ActionChains(browser)
 li_list = browser.find_elements_by_css_selector('.service-bd li')[1]
 #實現執行鼠標懸停,便于爬取懸停內容
 action.move_to_element(li_list).perform()
 time.sleep(5)

 #爬取整個目錄的div
 div_list = browser.find_element_by_css_selector('.service-fi-links')
 #爬取其中的總的名稱
 h5_list = div_list.find_elements_by_css_selector('h5')
 #爬取小標題的名稱
 p_list = div_list.find_elements_by_css_selector('p')
 #獲取a標簽
 a_href_list = div_list.find_elements_by_css_selector('a')
 #獲取a標簽的超鏈接
 a_href_list_next = div_list.find_elements_by_css_selector('a')[1].get_attribute('href')

 print(li_list.text)
 for j in range(len(p_list)):
 if jlen(p_list):
 print(h5_list[j].text)
 print(p_list[j].text)
 for i in range(len(a_href_list)):
 print(a_href_list[i].get_attribute('href'))

 #獲取登錄框
 logon = browser.find_element_by_id('J_SiteNavBd')
 #獲取登錄框的超鏈接
 logon_url = logon.find_element_by_css_selector('a').get_attribute('href')
 #先關閉第一個網頁
 browser.close()
 self.logon(logon_url,a_href_list_next)

獲取商品信息

1、這里使用的定位方式是Xpath方式,使用了絕對定位來獲取標簽的位置。

#爬取商品信息
 def Buy_information(self,url,browser):
 browser.get(url)
 div_list = browser.find_element_by_xpath('//*[@id="mainsrp-itemlist"]/div/div/div[1]/div[1]')
 img = div_list.find_element_by_css_selector('img')
 img_url = "https:"+img.get_attribute('data-src')
 price = div_list.find_element_by_xpath('//*[@id="mainsrp-itemlist"]/div/div/div[1]/div[1]/div[2]/div[1]/div[1]').text
 number = div_list.find_element_by_xpath('//*[@id="mainsrp-itemlist"]/div/div/div[1]/div[1]/div[2]/div[1]/div[2]').text
 shoping_information = div_list.find_element_by_xpath('//*[@id="mainsrp-itemlist"]/div/div/div[1]/div[1]/div[2]/div[2]').text
 shop = div_list.find_element_by_xpath('//*[@id="mainsrp-itemlist"]/div/div/div[1]/div[1]/div[2]/div[3]/div[1]/a').text
 adress = div_list.find_element_by_xpath('//*[@id="mainsrp-itemlist"]/div/div/div[1]/div[1]/div[2]/div[3]/div[2]').text
 path = self.img_baocun(img_url)
 data={
 '圖片路徑':path,
 '價格':price,
 '購買人數':number,
 '商品信息':shoping_information,
 '商家':shop,
 '籍貫':adress
 }
 self.write_dictionary_to_csv(data,'information')

下載圖片

通過獲取到的圖片的url,然后將圖片下載到指定的文件夾內

#下載照片
 def img_baocun(self,url):
 root = "文件夾下載的路徑"http://電腦上的絕對路徑
 path = root + url.split('?')[0].split('/')[-1].strip('')#獲取jpg的名稱
 #判斷是否存在該路徑,不存在則創建
 if not os.path.exists(root):
 os.mkdir(root)
 #判斷是否存在該圖片,存在則不下載
 if not os.path.exists(path):
 r = requests.get(url)
 r.raise_for_status()
 with open(path,'wb') as f:
 f.write(r.content)
 return path

將需要爬取的信息寫入到csv文件中,便于查看
1、商品信息以字典的形式寫入csv文件中方便查看。

#將解析得到的內容(字典格式)逐行寫入csv文件
 def write_dictionary_to_csv(self,dict,filename):
 #格式化文件名
 file_name='{}.csv'.format(filename)
 with open(file_name, 'a',encoding='utf-8') as f: 
 file_exists = os.path.isfile(filename)
 #delimiter(定界符) 
 w =csv.DictWriter(f, dict.keys(),delimiter=',', quotechar='"', lineterminator='\n',quoting=csv.QUOTE_ALL, skipinitialspace=True)
 if not file_exists :
 w.writeheader()
 w.writerow(dict)
 print('當前行寫入csv成功!')

三、程序思路

1、首先定位到側邊欄的位置,然后使用action.move_to_element(li_list).perform()的方法實現鼠標的動態懸停,讓隱藏的div顯示出來,再獲取其中的信息。
2、然后再實現模擬登錄的功能,登錄賬號,獲取其中的商品信息(由于淘寶的反扒機制,多次登錄會讓用戶掃碼登錄,此功能暫未實現)
3、商品信息的獲取使用Xpath的絕對定位方式來獲取。

Xpath的使用方式:
 右鍵需要定位的標簽->選中Copy選項->Copy Xpath

四、發展空間

1、解決淘寶反扒機制的問題。傳送門,解決問題
2、文件的寫入換用其他方式。

到此這篇關于Python 爬取淘寶商品信息欄目的實現的文章就介紹到這了,更多相關Python 爬取淘寶商品信息內容請搜索腳本之家以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持腳本之家!

您可能感興趣的文章:
  • Unity打開淘寶app并跳轉到商品頁面功能的實現方法
  • 備戰618!用Python腳本幫你實現淘寶秒殺
  • python淘寶準點秒殺搶單的實現示例
  • python 利用百度API進行淘寶評論關鍵詞提取
  • Python實現淘寶秒殺功能的示例代碼
  • 用python爬取分析淘寶商品信息詳解技術篇

標簽:烏蘭察布 平頂山 合肥 大慶 海南 哈爾濱 烏蘭察布 郴州

巨人網絡通訊聲明:本文標題《Python 爬取淘寶商品信息欄目的實現》,本文關鍵詞  Python,爬取,淘寶,商品,信息,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《Python 爬取淘寶商品信息欄目的實現》相關的同類信息!
  • 本頁收集關于Python 爬取淘寶商品信息欄目的實現的相關信息資訊供網民參考!
  • 推薦文章
    国产三区在线成人av| 成人一区二区在线观看| 欧美午夜激情在线| 欧美老肥婆性猛交视频| 欧美视频在线第一页| 国产一精品一aⅴ一免费| 亚洲性在线观看| 懂色av影视一区二区三区| 在线视频一区二区| 国产免费裸体视频| 波多野结衣绝顶大高潮| 国产精品人成在线观看免费 | 农村妇女精品一二区| 精品国产一区二区三区四| 亚洲色图视频网| 精品亚洲男同gayvideo网站| 午夜欧美一区二区三区免费观看| 一区二区久久精品| 三级不卡在线观看| 精品色蜜蜜精品视频在线观看| 精品国产制服丝袜高跟| 97欧美精品一区二区三区| 欧美精品一区二区三区三州| 国产婷婷色一区二区在线观看| 一区二区三区四区亚洲| 国产精品专区一| 国产原创剧情av| 成人高清视频在线观看| 久久777国产线看观看精品| 播放灌醉水嫩大学生国内精品| 国产av一区二区三区| 在线这里只有精品| 欧美日韩精品中文字幕一区二区| 乱h高h女3p含苞待放| 中文字幕在线一区二区三区| 国产精品久久久久久久久久免费| 污片免费在线观看| 国产情人综合久久777777| 啪一啪鲁一鲁2019在线视频| 免费看91的网站| av毛片久久久久**hd| 国产精品第1页| 欧美在线视频第一页| 亚洲精选一二三| 欧美日韩另类丝袜其他| 久久黄色免费视频| 成人免费在线视频观看| www日韩av| 久久久久99| 999在线观看| 亚洲av无码不卡| 日韩欧美中文字幕在线播放| 91精品国产91久久久久福利| 尤物网站在线看| 婷婷av一区二区三区| 精品无人区乱码1区2区3区在线 | 成人在线小视频| 中日韩精品视频在线观看| 欧美伦理视频网站| 97公开免费视频| 久久免费偷拍视频| 欧美精品一区二区三区在线看午夜| 天堂网一区二区| 少妇久久久久久| 黄色三级生活片| 欧美一区二区精品| 99re6在线观看| 亚洲素人一区二区| 看一级黄色录像| 本田岬高潮一区二区三区| 亚洲伊人一本大道中文字幕| 国产真实乱人偷精品视频| 国产视频亚洲视频| 色悠悠在线视频| 一区二区欧美在线观看| 国内精品视频一区二区三区| 亚洲欧美自拍偷拍| wwwwxxxx日韩| 黑人欧美xxxx| 亚洲做受高潮无遮挡| 亚洲缚视频在线观看| 欧美又粗又大又长| 国产性色av一区二区| 国产一区二区视频网站| 正在播放欧美一区| 免费黄色网址在线| 欧美在线视频观看免费网站| 日韩在线视频第一页| 国产伦精品一区二区三区视频免费| 日本大胆欧美人术艺术动态 | 日本福利视频在线观看| 26uuu欧美日本| www.xxx亚洲| 欧美曰成人黄网| 国产精品无码一区二区三区免费 | 97超碰在线播放| 日韩精品成人一区| 伦理中文字幕亚洲| 亚洲视频在线免费播放| 欧美在线一区二区三区四| 亚洲一区中文字幕在线| dy888夜精品国产专区| 久久免费电影网| 男人添女人荫蒂国产| 一区二区三区 在线观看视| 国产女人18毛片18精品| 欧美一区亚洲二区| 亚洲成人动漫一区| jizz18女人高潮| 欧美在线亚洲在线| 成人不卡免费av| 宅男噜噜噜66国产免费观看| 欧美日韩国产色视频| av资源在线免费观看| 久久久精品国产一区二区| 亚洲精品国产一区二| 日韩国产小视频| 91麻豆精品91久久久久久清纯| 国产成人精品亚洲男人的天堂| 久久久久久欧美| 丝袜诱惑制服诱惑色一区在线观看| 精品视频一区二区| 一区二区三区影院| 色欲人妻综合网| 91文字幕巨乱亚洲香蕉| 亚洲精品国产高清久久伦理二区| 亚洲色图欧美色| 99久久99久久| 欧美午夜www高清视频| 麻豆91精品91久久久| 国产久一道中文一区| 色就色 综合激情| 中文字幕 国产| 欧美国产视频一区| 精品视频久久久| 国产精品一区久久久久| 欧美xxxx×黑人性爽| 成人xxxx视频| 69堂精品视频| 日本系列欧美系列| 亚洲制服在线观看| 国产欧美一区二区白浆黑人| 91丨九色porny丨蝌蚪| 日本污视频网站| 亚洲综合第一页| 亚洲国产裸拍裸体视频在线观看乱了| 91视频综合网| 青草青草久热精品视频在线观看| 国产一区二区影院| a毛片毛片av永久免费| 久久精品ww人人做人人爽| 欧美猛男超大videosgay| 免费欧美在线视频| v8888av| 91成人免费视频| 日韩一区二区电影网| h片在线免费看| 宅男噜噜噜66国产免费观看| 日本一区二区三区四区视频| 欧洲av一区二区嗯嗯嗯啊| 亚洲色大成网站www| 免费a在线观看播放| 青娱乐一区二区| 欧美多人爱爱视频网站| 狠狠色狠狠色综合日日小说| 久久精品九九| 黄色片在线观看免费| 欧美主播一区二区三区美女 久久精品人| 亚洲片在线资源| 国产精品全国免费观看高清| 99在线精品视频免费观看软件 | 亚洲第一精品久久忘忧草社区| 国产丝袜美腿一区二区三区| 国产美女永久免费| 男人的午夜天堂| 人妻少妇被粗大爽9797pw| 亚洲一区亚洲二区| 丝袜情趣国产精品| 色猫猫国产区一区二在线视频| 久久久久青草大香线综合精品| www.成人免费视频| 丝袜美腿小色网| 免费观看一区二区三区| 中文字幕色呦呦| 国产乱码一区| 成人网在线观看| 欧美激情亚洲自拍| 中文字幕日韩精品有码视频| 777久久久精品| 国产精品青草综合久久久久99| 日产国产欧美视频一区精品| 国产毛片毛片毛片毛片| 日韩av片在线播放| 国产老头老太做爰视频| 无码aⅴ精品一区二区三区浪潮 | 中文字幕一区二区免费| 青青草视频播放| 337p日本欧洲亚洲大胆张筱雨| 国产精品第三页| 欧美高清hd18日本| 欧美极品aⅴ影院| 六月婷婷色综合| 久久青草久久| 国产欧美一级片| 国产99久久久久久免费看| 精品少妇一区二区三区免费观| 色噜噜狠狠一区二区| 国产aaa一级片| 免费观看美女裸体网站| 精品国产一区二区三区在线| 亚洲午夜精品久久久久久浪潮| 国产99久久精品一区二区| 日韩在线一区二区三区免费视频| 亚洲男人天堂2023| 亚洲图片在区色| 日韩视频免费观看| 精品少妇一区二区三区视频免付费| 欧美丰满少妇xxxbbb| 欧美不卡一二三| 欧美午夜精品久久久久久孕妇| 一本色道亚洲精品aⅴ| 欧美三区在线视频| 日韩视频中午一区| 日韩成人激情在线| 精品久久久久久久久久久久久久久| 色悠悠亚洲一区二区| 777奇米成人网| 日韩国产欧美精品一区二区三区| 精品国产乱码久久久久久久久| 日韩电影第一页| 国产午夜精品理论片a级探花| 日韩在线一区二区三区免费视频| 亚洲欧美中文字幕| 午夜精品久久久久久久99热| 亚洲精品日韩激情在线电影| 欧美日韩国产不卡在线看| 日本免费在线视频观看| gogogo免费高清日本写真| 国产视频在线观看网站| 欧美一区二区三区影院| 国产av无码专区亚洲av毛网站| 最近中文字幕免费观看| 老汉av免费一区二区三区 | 日本最新一区二区三区视频观看| 免费av手机在线观看| 午夜视频你懂的| eeuss中文字幕| 自拍偷拍欧美亚洲| 美女脱光内衣内裤视频久久网站| 国产午夜精品一区二区三区嫩草| 国产欧美精品在线观看| 欧美日韩成人综合在线一区二区| 亚洲欧洲日本专区| 欧美亚洲视频在线观看| 99porn视频在线| 激情视频综合网| 国产一级生活片| 三级视频在线看| 亚洲最大成人网4388xx| 国产蜜臀97一区二区三区| 国产精品水嫩水嫩| 精品播放一区二区| 国产精品久久久久久久久久久久久久| 亚洲欧美日本国产有色| 亚洲国产第一区| 欧美性受xxxx狂喷水| 国产精品国产馆在线真实露脸 | 三级不卡在线观看| 一区二区激情小说| 欧美成人在线免费| 全国精品久久少妇| 九九视频在线免费观看| 三级影片在线观看欧美日韩一区二区| 中文字幕亚洲成人| 色婷婷久久一区二区| 亚洲free性xxxx护士白浆| 国产精品无码电影在线观看| 阿v天堂2014| 夜夜狠狠擅视频| 久久久久久99久久久精品网站| 欧美香蕉大胸在线视频观看| 97国产真实伦对白精彩视频8| 成年人视频大全| 草久久免费视频| 粉嫩aⅴ一区二区三区四区| 5月丁香婷婷综合| 成人羞羞国产免费| 特级西西人体4444xxxx| 精品一区精品二区高清| 91超碰这里只有精品国产| 亚洲a中文字幕| 特级西西人体4444xxxx| 国产精品原创巨作av| 中文字幕不卡av| 视频一区二区在线观看| 免费在线观看日韩| 久久精品一区二区三区四区| 精品无码久久久久久国产| 屁屁影院ccyy国产第一页| 免费中文字幕日韩| 亚洲精品你懂的| 99视频免费观看蜜桃视频| 欧美成人aaa片一区国产精品| 一区二区三区不卡在线观看| 成人深夜直播免费观看| 国产成人精品综合久久久久99| 亚洲h视频在线观看| 欧洲一区在线观看| 一区二区三区视频| 国产精品免费精品一区| 日韩美女视频一区二区在线观看| 91久久在线观看| 久久久久亚洲av无码专区桃色| 岛国一区二区在线观看| 精品国内亚洲在观看18黄| 18深夜在线观看免费视频| 国产亚洲精品精华液| caoporen国产精品| 国产尤物在线观看| 日韩中文字幕精品| 亚洲最大的黄色网| 一区二区三区精密机械公司| 欧美少妇一区| 日韩一区免费视频| 欧美日韩国产成人| 性生交大片免费全黄| 亚洲人被黑人高潮完整版| αv一区二区三区| 一级黄色片免费| 欧美白人最猛性xxxxx69交| 欧洲av无码放荡人妇网站| 99精品国产一区二区三区不卡| 91超碰rencao97精品| 国产视频一二三四区| 久久综合久久美利坚合众国| 大吊一区二区三区| 日韩欧美在线网站| 亚洲av无一区二区三区久久| 亚洲国产一二三| 日韩欧美国产免费| 国产精品久久午夜夜伦鲁鲁| 男人j进女人j| 91美女精品福利| 日韩欧美第二区在线观看| 中文字幕乱码人妻无码久久| 久久综合免费视频影院| 国产一级一片免费播放| 中文字幕亚洲专区| 9.1片黄在线观看| 精品国产3级a| 国产黄色录像视频| 制服丝袜日韩国产| av在线免费看片| 91久久久免费一区二区| 国产精品无码一本二本三本色| 中文字幕亚洲区| 女人和拘做爰正片视频| 亚洲午夜免费电影| 日本毛片在线免费观看| 91啪亚洲精品| 在线一区亚洲| 亚洲综合免费观看高清完整版在线| 欧美男女交配视频| 精品国产91久久久| 艹b视频在线观看| 欧美成人性战久久| 日本黄色特级片| 中文字幕欧美亚洲| 精品人妻无码一区二区三区蜜桃一| 5566日本婷婷色中文字幕97| 欧美一区二区黄片| 亚洲三区四区| 亚洲成年人网站在线观看| 亚洲一区二区三区四区五区六区| 亚洲电影第1页| 国产九色在线播放九色| 97色在线视频观看| 理论片日本一区| 中文字幕av导航| 亚洲色图在线视频| 亚洲第一黄色网址| 欧美黄色性视频| 国产suv精品一区二区6| 男人的天堂99| 欧美草草影院在线视频| 亚洲图片小说视频| 一区二区三区电影| 欧美日韩一区在线| 亚洲精品一区二区二区| 欧美一区观看| 在线看一区二区| 亚洲精品国产精品乱码在线观看| 中文字幕9999| 九色综合国产一区二区三区| 蜜臀在线免费观看| 欧美中文一区二区三区| 国产 日韩 欧美 在线| 91在线观看免费网站| 亚洲一二三级电影| 91久久国产综合久久91| 国产成人av一区二区三区| 亚洲国产综合91精品麻豆| 97免费在线观看视频| 999国内精品视频在线| 精品久久久久国产| 亚洲一区二区人妻| 欧美精品一区二区三区三州| 久久久国产一区二区三区| 久久久亚洲精品石原莉奈| 久久久久性色av无码一区二区|