區塊。系統會識別此區塊中的子元素，在操作提示框中，選擇“選中子元素”
八爪魚·云采集服務平臺
買粉絲文章抓取工具詳細使用步驟7
2）繼續選中頁面中第二篇文章的區塊，系統會自動選中第二篇文章中的子元素，并識別出頁面中的其他10組同類元素，在操作提示框中，選擇“選中全部”
買粉絲文章抓取工具詳細使用步驟8
八爪魚·云采集服務平臺
3）我們可以看到，頁面中文章區塊里的所有元素均被選中，變為綠色。右側操作提示框中，出現字段預覽表，將鼠標移到表頭，點擊垃圾桶圖標，可刪除不需要的字段。字段選擇完成后，選擇“采集以下數據” 買粉絲文章抓取工具詳細使用步驟9 4）由于我們還想要采集每篇文章的URL ，因而還需要提取一個字段。點擊第一
篇文章的鏈接，再點擊第二篇文章的鏈接，系統會自動選中頁面中的一組文章鏈接。在右側操作提示框中，選擇“采集以下鏈接地址”
八爪魚·云采集服務平臺
買粉絲文章抓取工具詳細使用步驟10
5）字段選擇完成后，選中相應的字段，可以進行字段的自定義命名。完成后，點擊左上角的“保存并啟動”，啟動采集任務
買粉絲文章抓取工具詳細使用步驟11
6）選擇“啟動本地采集”
八爪魚·云采集服務平臺
買粉絲文章抓取工具詳細使用步驟12
步驟4：數據采集及導出
1）采集完成后，會跳出提示，選擇“導出數據”，選擇“合適的導出方式”，將采集好的搜狗買粉絲文章的數據導出
八爪魚·云采集服務平臺
買粉絲文章抓取工具詳細使用步驟13
2）這里我們選擇excel 作為導出為格式，數據導出后如下圖
買粉絲文章抓取工具詳細使用步驟14
注意：通過此種方法采集下來的搜狗買粉絲文章URL ，具有時效性，會在短時間
八爪魚·云采集服務平臺
內失效。這是因為搜狗買粉絲本身的限制所致。
相關采集教程：
京東商品信息采集
新浪微博數據采集
58同城信息采集
八爪魚——70萬用戶選擇的網頁數據采集器。
1、操作簡單，任何人都可以用：無需技術背景，會上網就能采集。完全可視化流程，點擊鼠標完成操作，2分鐘即可快速入門。
2、功能強大，任何網站都可以采：對于點擊、登陸、翻頁、識別驗證碼、瀑布流、Ajax 腳本異步加載數據的網頁，均可經過簡單設置進行采集。
3、云采集，關機也可以。配置好采集任務后可關機，任務可在云端執行。龐大云采集集群24*7不間斷運行，不用擔心IP 被封，網絡中斷。
4、功能免費+增值服務，可按需選擇。免費版具備所有功能，能夠滿足用戶的基本采集需求。同時設置了一些增值服務（如私有云），滿足高端付費企業用戶的需要。
抓取買粉絲買粉絲的文章
一.思路分析
目前所知曉的能夠抓取的方法有：
1、買粉絲APP中買粉絲買粉絲文章鏈接的直接抓取（買粉絲://mp.weixin.qq.買粉絲/s?__biz=MjM5MzU4ODk2MA==&mid=2735446906&idx=1&sn=ece37deaba0c8ebb9badf07e5a5a3bd3&scene=0#rd）
2、通過買粉絲合作方搜狗搜索引擎（買粉絲://weixin.sogou.買粉絲/），發送相應請求來間接抓取
第1種方法中，這種鏈接不太好獲取，而且他的規律不是特別清晰。
因此本文采用的是方法2----通過給 weixin.sogou.買粉絲 發送即時請求來實時解析抓取數據并保存到本地。
二.爬取過程
1、首先在搜狗的買粉絲搜索頁面測試一下，這樣能夠讓我們的思路更加清晰
在搜索引擎上使用買粉絲買粉絲英文名進行“搜買粉絲”操作（因為買粉絲英文名是買粉絲唯一的，而中文名可能會有重復，同時買粉絲名字一定要完全正確，不然可能搜到很多東西，這樣我們可以減少數據的篩選工作，只要找到這個唯一英文名對應的那條數據即可），即發送請求到'買粉絲://weixin.sogou.買粉絲/weixin?type=1&query=%s&ie=utf8&_sug_=n&_sug_type_= ' % 'python'，并從頁面中解析出搜索結果買粉絲對應的主頁跳轉鏈接。
2.獲取主頁入口內容
使用request , urllib,urllib2,或者直接使用webdriver+phantomjs等都可以
這里使用的是request.get()的方法獲取入口網頁內容
[python] view plain 買粉絲py
# 爬蟲偽裝頭部設置
self.headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0'}
# 設置操作超時時長
self.timeout = 5
# 爬蟲模擬在一個request.session中完成
self.s = requests.Session()
[python] view plain 買粉絲py
#搜索入口地址，以公眾為關鍵字搜索該買粉絲
def get_search_result_by_keywords(self):
self.log('搜索地址為：%s' % self.sogou_search_url)
return self.s.get(self.sogou_search_url, headers=self.headers, timeout=self.timeout).買粉絲ntent
3.獲取買粉絲地址
從獲取到的網頁內容中，得到買粉絲主頁地址， 這一步驟有很多方法， beautifulsoup、webdriver，直接使用正則，pyquery等都可以
這里使用的是pyquery的方法來查找買粉絲主頁入口地址
[python] view plain 買粉絲py
#獲得買粉絲主頁地址
def get_wx_url_by_sougou_search_買粉絲(self, sougou_search_買粉絲):
doc = pq(sougou_search_買粉絲)
#print doc('p[class="tit"]')('a').attr('href')
#print doc('div[class=img-box]')('a').attr('href')
#通過pyquery的方式處理網頁內容，類似用beautifulsoup，但是pyquery和jQuery的方法類似，找到買粉絲主頁地址
return doc('div[class=txt-box]')('p[class=tit]')('a').attr('href')
4.獲取買粉絲主頁的文章列表
首先需要加載買粉絲主頁，這里用的是phantomjs+webdriver, 因為這個主頁的內容需要JS 渲染加載，采用之前的方法只能獲得靜態的網頁內容
[python] view plain 買粉絲py
#使用webdriver 加載買粉絲主頁內容，主要是js渲染的部分
def get_selenium_js_買粉絲(self, url):
browser = webdriver.PhantomJS()
browser.get(url)
time.sleep(3)
# 執行js得到整個頁面內容
買粉絲 = browser.execute_script("return document.documentElement.outerHTML")
return 買粉絲
得到主頁內容之后，獲取文章列表，這個文章列表中有我們需要的內容
[python] view plain 買粉絲py
#獲取買粉絲文章內容
def parse_wx_articles_by_買粉絲(self, selenium_買粉絲):
doc = pq(selenium_買粉絲)
print '開始查找內容msg'
return doc('div[class="weui_media_box appmsg"]')
#有的買粉絲僅僅有10篇文章，有的可能多一點
#return doc('div[class="weui_msg_card"]')#買粉絲只有10篇文章文章的