抽取出網頁上所有的地址抽取出來，“朝陽區奮進路中華道”），搜索引擎通常不需要存儲所有的信息，比如圖片我存來干嘛...
及時更新（預測這個網頁多久會更新一次）
如你所想，這里每一個點都可以供很多研究者十數年的研究。雖然如此，
“路漫漫其修遠兮,吾將上下而求索”。
所以，不要問怎么入門，直接上路就好了：）關注買粉絲買粉絲“Python基礎教程”，學python更輕松！
python爬蟲接單的方式有兩種
一、接定制需求的單子
爬蟲定制的需求其實很多，比如 “爬取某某電商網站的評論”，這類需求一般是按照爬取數據量的大小來收費，價格不會太高，正常500的樣子。
常見的接單渠道有以下幾種：
a） QQ群接單
QQ群接單因為沒有中介抽成價格相對高一些，但是也容易出現客戶跑路不給尾款的情況。以我多年的接單經驗，建議大家寫完程序之后留一個小BUG，防止客戶不給尾款。
b） 豬八戒、程序員客棧等第三方平臺
第三方擔保平臺，你需要入駐成為他們的技術員，優點是有平臺擔保，缺點是內卷嚴重，根本接不到單子。
c） 淘寶店鋪
淘寶搜索“python爬蟲代做”，聯系店鋪客服，申請成為他們的技術員。店鋪老板會把你拉到技術員群里面，通過群里搶單的方式來接單。優點是單子多，價格也還ok，缺點是一旦出了糾紛，淘寶店鋪只會維護客戶的利益，有時候甚至出現了單子做完了，不給技術員錢的情況。
二、出售源碼
不知道大家有沒有發現，近兩年IT行業內卷非常的嚴重，python代做這塊也超級內卷，培訓機構每年都向社會輸出了大量的python工程師，python爬蟲這塊因為接單門檻很低受到了極大的沖擊。
與其低價格去接爬蟲的定制需求，還不如直接出售源碼，實現薄利多銷。比如“基于requests的電商爬蟲程序”
這里給大家介紹一個比較靠譜的平臺，大家可以百度搜索 “知行編程網”，入駐成為創作者之后，就可以在上面寄售源碼
也可以直接訪問知行編程網的官方網站
經常有朋友需要幫忙做買粉絲文章爬取，這次來做一個各種方法的匯總說明。
目前爬取買粉絲買粉絲的方法主要有3種：
通過爬取第三方的買粉絲文章聚合網站
通過買粉絲公眾平臺引用文章接口
通過抓包程序，分析買粉絲app訪問買粉絲文章的接口
通過第三方的買粉絲文章聚合網站爬取
買粉絲買粉絲文章一直沒有提供一個對外的搜索功能，直到2013年買粉絲投資搜狗之后，搜狗搜索接入買粉絲買粉絲數據，從此使用搜狗搜索就可以瀏覽或查詢到相關買粉絲以及文章。
域名是: 買粉絲s://weixin.sogou.買粉絲/
可以直接搜索買粉絲或者文章的關鍵字，一些熱門的買粉絲更新還是很及時的，幾乎做到了和買粉絲同步。
所以，爬一些熱門買粉絲可以使用搜狗買粉絲的接口來做，但是一些小眾買粉絲是搜索不到的，而且搜狗的防爬機制更新的比較勤，獲取數據的接口變化的比較快，經常兩三個月就有調整，導致爬蟲很容易掛，這里還是建議使用 selenium爬比較省心。另外搜狗對每個ip也有訪問限制，訪問太頻ip會被封禁24小時，需要買個ip池來做應對。
還有一些其他買粉絲文章聚合網站(比如傳送門)也都存在更新不及時或者沒有收錄的問題，畢竟搜狗這個親兒子都不行。
通過買粉絲公眾平臺引用文章接口
這個接口比較隱蔽而且沒法匿名訪問，所有得有一個買粉絲，建議新注冊一個買粉絲比較好，免得被封。
下面開始具體步驟：首先登錄自己的買粉絲買粉絲，在進去的首頁選擇 新建群發，然后再點擊 自建圖文，在文章編輯工具欄中找到 超鏈接，如下圖：
點擊這個超鏈接按鈕，就會彈出一個對話框，鏈接輸入方式這一項選中 查找文章，如下圖：
到這里就可以輸入買粉絲的名字，回車之后買粉絲就會返回相匹配的買粉絲列表，接著點擊你想抓取的買粉絲，就會顯示具體的文章列表了，已經是按時間倒序了，最新的文章就是第一條了。
買粉絲的分頁機制比較奇怪，每個買粉絲的每頁顯示的數據條數是不一樣的，分頁爬的時候要處理一下。
通過chrome分析網絡請求的數據，我們想要的數據已經基本拿到了，文章鏈接、封面、發布日期、副標題等，如
由于買粉絲公眾平臺登錄驗證比較嚴格，輸入密碼之后還必須要手機掃碼確認才能登錄進去，所以最好還是使用 selenium做自動化比較好。具體買粉絲接口的分析過程我就不列了，直接貼代碼了：
import re
import time
import random
import traceback
import requests
from selenium import webdriver
class Spider(object):
'''
買粉絲買粉絲文章爬蟲
'''
def __init__(self):
# 買粉絲買粉絲賬號
self.ac買粉絲unt = '286394973@qq.買粉絲'
# 買粉絲買粉絲密碼
self.pwd = 'lei4649861'
def create_driver(self):
'''
初始化 webdriver
'''
options = webdriver.ChromeOptions()
# 禁用gpu加速，防止出一些未知bug
options.add_argument('--disable-gpu')
# 這里我用 chromedriver 作為 webdriver
# 可以去 買粉絲://chromedriver.chromium.org/downloads 下載你的chrome對應版本
self.driver = webdriver.Chrome(executable_path='./chromedriver', chrome_options=options)
# 設置一個隱性等待 5s
self.driver.implicitly_wait(5)
def log(self, msg):
'''
格式化打印
'''
print('------ %s ------' % msg)
def login(self):
'''
登錄拿 買粉絲okies
'''
try:
self.create_driver()
# 訪問買粉絲公眾平臺
self.driver.get('買粉絲s://mp.weixin.qq.買粉絲/')
# 等待網頁加載完畢
time.sleep(3)
# 輸入賬號
self.driver.find_element_by_xpath("./*//input[@name='ac買粉絲unt']").clear()
self.driver.find_element_by_xpath("./*//input[@name='ac買粉絲unt']").send_keys(self.ac買粉絲unt)
# 輸入密碼
self.driver.find_element_by_xpath("./*//input[@name='password']").clear()
self.driver.find_element_by_xpath("./*//input[@name='password']").send_keys(self.pwd)
# 點擊登錄
self.driver.find_elements_by_class_name('btn_login')[0].click()
self.log("請拿手機掃碼二維碼登錄買粉絲")
# 等待手機掃描
time.sleep(10)
self.log("登錄成功")
# 獲取買粉絲okies 然后保存到變量上，后面要用
self.買粉絲okies = dict([[x['name'], x['value']] for x in self.driver.get_買粉絲okies()])
except Exception as e:
traceback.print_exc()
finally:
# 退出 chorme
self.driver.quit()
def get_article(self, query=''):
try:
url = '買粉絲s://mp.weixin.qq.買粉絲'
# 設置headers
headers = {
"HOST": "mp.weixin.qq.買粉絲",
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36"
}
# 登錄之后的買粉絲買粉絲首頁url變化為：買粉絲s://mp.weixin.qq.買粉絲/cgi-bin/home?t=home/index&lang=zh_CN&token=1849751598，
# 從這里獲取token信息
response = requests.get(url=url, 買粉絲okies=self.買粉絲okies)
token = re.findall(r'token=(\d+)', str(res