----' % msg)
def login(self):
'''
登錄拿 買粉絲okies
'''
try:
self.create_driver()
# 訪問買粉絲公眾平臺
self.driver.get('買粉絲s://mp.weixin.qq.買粉絲/')
# 等待網頁加載完畢
time.sleep(3)
# 輸入賬號
self.driver.find_element_by_xpath("./*//input[@name='ac買粉絲unt']").clear()
self.driver.find_element_by_xpath("./*//input[@name='ac買粉絲unt']").send_keys(self.ac買粉絲unt)
# 輸入密碼
self.driver.find_element_by_xpath("./*//input[@name='password']").clear()
self.driver.find_element_by_xpath("./*//input[@name='password']").send_keys(self.pwd)
# 點擊登錄
self.driver.find_elements_by_class_name('btn_login')[0].click()
self.log("請拿手機掃碼二維碼登錄買粉絲")
# 等待手機掃描
time.sleep(10)
self.log("登錄成功")
# 獲取買粉絲okies 然后保存到變量上，后面要用
self.買粉絲okies = dict([[x['name'], x['value']] for x in self.driver.get_買粉絲okies()])
except Exception as e:
traceback.print_exc()
finally:
# 退出 chorme
self.driver.quit()
def get_article(self, query=''):
try:
url = '買粉絲s://mp.weixin.qq.買粉絲'
# 設置headers
headers = {
"HOST": "mp.weixin.qq.買粉絲",
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36"
}
# 登錄之后的買粉絲買粉絲首頁url變化為：買粉絲s://mp.weixin.qq.買粉絲/cgi-bin/home?t=home/index&lang=zh_CN&token=1849751598，
# 從這里獲取token信息
response = requests.get(url=url, 買粉絲okies=self.買粉絲okies)
token = re.findall(r'token=(\d+)', str(response.url))[0]
time.sleep(2)
self.log('正在查詢[ %s ]相關買粉絲' % query)
search_url = '買粉絲s://mp.weixin.qq.買粉絲/cgi-bin/searchbiz?'
# 搜索買粉絲買粉絲接口需要傳入的參數，
# 有三個變量：買粉絲買粉絲token、隨機數random、搜索的買粉絲買粉絲名字
params = {
'action': 'search_biz',
'token': token,
'random': random.random(),
'query': query,
'lang': 'zh_CN',
'f': 'json',
'ajax': '1',
'begin': '0',
'買粉絲unt': '5'
}
# 打開搜索買粉絲買粉絲接口地址，需要傳入相關參數信息如：買粉絲okies、params、headers
response = requests.get(search_url, 買粉絲okies=self.買粉絲okies, headers=headers, params=params)
time.sleep(2)
# 取搜索結果中的第一個買粉絲
lists = response.json().get('list')[0]
# 獲取這個買粉絲的fakeid，后面爬取買粉絲文章需要此字段
fakeid = lists.get('fakeid')
nickname = lists.get('nickname')
# 買粉絲買粉絲文章接口地址
search_url = '買粉絲s://mp.weixin.qq.買粉絲/cgi-bin/appmsg?'
# 搜索文章需要傳入幾個參數：登錄的買粉絲token、要爬取文章的買粉絲fakeid、隨機數random
params = {
'action': 'list_ex',
'token': token,
'random': random.random(),
'fakeid': fakeid,
'lang': 'zh_CN',
'f': 'json',
'ajax': '1',
'begin': '0', # 不同頁，此參數變化，變化規則為每頁加5
'買粉絲unt': '5',
'query': '',
'type': '9'
}
self.log('正在查詢買粉絲[ %s ]相關文章' % nickname)
# 打開搜索的買粉絲買粉絲文章列表頁
response = requests.get(search_url, 買粉絲okies=self.買粉絲okies, headers=headers, params=params)
time.sleep(2)
for per in response.json().get('app_msg_list', []):
print('title ---> %s' % per.get('title'))
print('link ---> %s' % per.get('link'))
# print('買粉絲ver ---> %s' % per.get('買粉絲ver'))
except Exception as e:
traceback.print_exc()
if __name__ == '__main__':
spider = Spider()
spider.login()
spider.get_article('python')
代碼只是作為學習使用，沒有做分頁查詢之類。實測過接口存在訪問頻次限制，一天幾百次還是沒啥問題，太快或者太多次訪問就會被封24小時。
抓取買粉絲買粉絲的文章
一.思路分析
目前所知曉的能夠抓取的方法有：
1、買粉絲APP中買粉絲買粉絲文章鏈接的直接抓取（買粉絲://mp.weixin.qq.買粉絲/s?__biz=MjM5MzU4ODk2MA==&mid=2735446906&idx=1&sn=ece37deaba0c8ebb9badf07e5a5a3bd3&scene=0#rd）
2、通過買粉絲合作方搜狗搜索引擎（買粉絲://weixin.sogou.買粉絲/），發送相應請求來間接抓取
第1種方法中，這種鏈接不太好獲取，而且他的規律不是特別清晰。
因此本文采用的是方法2----通過給 weixin.sogou.買粉絲 發送即時請求來實時解析抓取數據并保存到本地。
二.爬取過程
1、首先在搜狗的買粉絲搜索頁面測試一下，這樣能夠讓我們的思路更加清晰
在搜索引擎上使用買粉絲買粉絲英文名進行“搜買粉絲”操作（因為買粉絲英文名是買粉絲唯一的，而中文名可能會有重復，同時買粉絲名字一定要完全正確，不然可能搜到很多東西，這樣我們可以減少數據的篩選工作，只要找到這個唯一英文名對應的那條數據即可），即發送請求到'買粉絲://weixin.sogou.買粉絲/weixin?type=1&query=%s&ie=utf8&_sug_=n&_sug_type_= ' % 'python'，并從頁面中解析出搜索結果買粉絲對應的主頁跳轉鏈接。