05 爬蟲買粉絲買粉絲文章(買粉絲買粉絲爬蟲的難點)

时间:2024-05-09 11:09:47 编辑: 来源:

bsp; 

self.log(u'調用selenium渲染買粉絲完成,開始解析買粉絲文章')  

articles = self.parse_wx_articles_by_買粉絲(selenium_買粉絲)  

self.log(u'抓取到買粉絲文章%d篇' % len(articles))  

# Step 6: 把買粉絲文章數據封裝成字典的list  

self.log(u'開始整合買粉絲文章數據為字典')  

articles_list = self.switch_arctiles_to_list(articles)  

# Step 7: 把Step 5的字典list轉換為Json  

self.log(u'整合完成,開始轉換為json')  

data_json = json.mps(articles_list)  

# Step 8: 寫文件  

self.log(u'轉換為json完成,開始保存json數據到文件')  

self.save_file(data_json)  

self.log(u'保存完成,程序結束')  

# main  

if __name__ == '__main__':  

gongzhonghao=raw_input(u'輸入要爬取的買粉絲')  

if not gongzhonghao:  

gongzhonghao='python6359'  

weixin_spider(gongzhonghao).run()  

第二版代碼:

對代碼進行了一些優化和整改,主要:

1.增加了excel存貯

2.對獲取文章內容規則進行修改

3.豐富了注釋

本程序已知缺陷: 如果買粉絲的文章內容包括視視頻,可能會報錯。

[python] view plain 買粉絲py

#!/usr/bin/python  

# 買粉絲ding: utf-8  

搜索关键词: