以前總是覺得，爬蟲是個很高大上的東西，就像盜取別人的數據一樣。現在才知道，爬蟲能爬到的，都是網頁上能看到的，說白了就是別人給你看的。
所謂爬蟲，就是先獲取網頁的源代碼，然后從源代碼中篩選出自己想要的資源，比如網頁上的圖片、視頻等文件，甚至網頁上的文字。接下來，我們就用Python來爬取網頁上的圖片。
首先我們先獲取網站的源碼。
然后就是從萬千的源碼中解析出自己想要的資源了，我這里想要的是網站上的圖片。
個人覺得，這個爬蟲考驗的，還是正則表達式的功底，怎么寫好正則表達式，才能將所有想要的資源都解析出來，其他的都比較簡單。
以下是我從網頁上爬下來的部分圖片。
“我去圖書館”搶座助手，借助python實現自動搶座。
在使用“我去圖書館”買粉絲進行搶座的時候，在進行搶座前我們都會進入一個頁面，選定要選的座位之后點擊搶座。
通過分析網頁源碼，很容易定位座位元素的代碼，座位元素的模板如下所示：
在編寫代碼的過程中，我對搶座位這個過程進行的多次的抓包觀察，發現在座位號前面的那個query字符串是一個看不出什么規律的編碼。
解析這個query是在后端進行解析，但既然發get請求你要在頁面上發，那這個代碼必然在前端是有跡可循的。這個編碼的答案就在頁面底部的js鏈接中，通過運行那一段js代碼就可以搞定這個編碼，從而拼湊起這最后一塊拼圖。
圖片鏈接，估計是爬妹子圖吧~~
為什么現在沒有圖片鏈接了呢，，
故事是這樣的，這個世界每天都會誕生好多好多的爬蟲，爬蟲天生就很好奇（se），喜歡去玩弄煎蛋君的妹子-圖，剛剛成年的爬蟲總是不知疲倦、前仆后繼，于是妹子-圖就慢慢受不了啦，煎蛋君一看，自己的妹子-圖要被玩壞啦，怎么辦啊？煎蛋君也很糾結呢，又想要妹子-圖正常上班，又心疼被玩壞，于是煎蛋君就下了血本請了業界很有名的保鏢來看店，這個保鏢大家都認識，頂頂大名的哈希。哈希還是很牛X的，一拳一個光玩不消費的小年輕。小年輕們被揍了，好氣好氣，然后小年輕們就來到度娘神廟訴苦，度娘一聽心想，哎呀，那個流氓我也惹不起的呀，把他們介紹給更厲害一點的流氓吧。
于是乎，小年輕們就都來到了selenium大神的校場。“大神就是大神，連名字我都念不全，洋氣！“，“誒誒誒，聽說大神進店就包場呀，好霸氣!”剛來就聽到其他小年輕在底下悄悄議論，小年輕們不禁向主席臺投去了崇拜的目光。selenium站起來，全場肅靜，大神話不多，但足以振奮人心，"跟著我，妹子-圖，不會少"，話落音，一段代碼便如魔法般映入小年輕們的眼中，
編，，編不下去啦~~~
網頁源代碼和瀏覽器中看到的不一樣是因為網站采用了動態網頁技術（如AJAX、JavaScript等）來更新網頁內容。這些技術可以在用戶與網站進行交互時，通過異步加載數據、動態更新頁面內容，實現更加流暢、快速的用戶體驗。而這些動態內容無法通過簡單的網頁源代碼獲取，需要通過瀏覽器進行渲染后才能看到。
當使用爬蟲抓取網頁時，一般只能獲取到網頁源代碼，而無法獲取到經過瀏覽器渲染后的頁面內容。如果要獲取經過瀏覽器渲染后的內容，需要使用一個瀏覽器渲染引擎（如Selenium）來模擬瀏覽器行為，從而獲取到完整的頁面內容。
另外，網站為了防止爬蟲抓取數據，可能會采用一些反爬蟲技術，如設置驗證碼、限制IP訪問頻率等。這些技術也會導致爬蟲獲取到的頁面內容與瀏覽器中看到的不一樣。
及時送上了計算機畢業設計相關資源 合意的換請采納一下,大家順遍點下贊吧
在線考試制卷系統(任務書,論文,源碼)
買粉絲小型證券術語解釋及翻譯系統的設計與開發(源碼,論文)
原創vf員工培訓管理系統(任務書,論文)
asp科研信息管理系統(任務書,開題,論文,源碼)
android小型企業工資管理系統(源碼,論文)
asp出租車管理系統(任務書,論文,源碼)
vb.買粉絲實驗室計算機的ip地址自動設置程序——服務器端(任務書,論文,源碼)
rsa可視化算法程序的實現與研究(任務書,論文)
j2ee數控加工技術教學素材資源庫的構建(任務書,論文,源碼)
eims系統-oa子系統的設計與開發(任務書,開題,論文,源碼)
jsp網上購書(任務書,論文)
vb圖書管理系統(任務書,論文)
vc戶籍管理系統(任務書,論文,源碼)
php基于bs結構的工藝品銷售系統的實現(源碼,論文)
買粉絲模塊化動態電子商務網站的開發(任務書,論文,源碼)
pb電信人事管理系統設計(任務書,論文)
vb成本費用計算系統(源碼,論文)
jsp出租車管理系統(任務書,開題,論文,源碼)
asp.買粉絲求職招聘網站設計(源碼,論文)
vb.買粉絲機房監控系統(全套)
vf學生辦證管理系統(任務書,開題,論文,源碼)
jsp基于網絡超市商品銷售管理系統(任務書,論文,源碼)
jsp團員管理
asp.買粉絲一個動態文學網站
vf基于jme平臺的掌上網絡商店－服務器端的開發
c#報警系統
買粉絲(vc)辦公自動化管理系統
jsp計算機等級考試查詢系統jdbc
vb.買粉絲商品配送中心庫存仿真軟件設計
jsp網絡購物
買粉絲在線英語自學系統——知識庫管理的設計
jsp企業進銷存管理系統
php某公司進銷存信息管理系統
pb干部檔案管理系統
delphi學生信息管理系統畢業設計
asp學生信息管理系統
asj2eetoc電子商務網站
delphi圖書管理系統（畢業程序翻譯%通過）
jsp網上商城系統
jsp客戶關系管理系統
jsp企業人事管理系統
c#辦公管理系統
jsp搜索引擎的研究與實現
jsp網絡房產信息超市
php會員管理系統
j2ee基于usbkey的文件加密工具—-客戶端的實現
買粉絲網上圖書訂閱系統的設計
php網站流量統計
asp.買粉絲團員管理
android文件傳輸
delphi并行接口器件功能演示的可視化設計學位
php房屋租賃管理信息系統jdbc
數據采集電路pcb的設計與制作
androidsmart系統-考試監控及閱卷模塊的設計與開發
java流動資金貸款業務系統
asp電腦配機
vf物流管理系統--倉儲管理子系統的實現
簡化的cpu邏輯功能的仿真實現
買粉絲網上教材管理系統
買粉絲高校學生宿舍管理系統
vc藥品公司進銷售存管理系統
基于des加密算法的word加密插件的實現
asp.買粉絲基于asp.買粉絲的房產中介系統
c#簡單圖片轉化
asp基于asp的反垃圾郵件管理系統的設計
delphi航空客運訂票系統
c#windows簡單防火墻設計與實現
j2ee車間調度系統
php《信息論與編碼》在線考試系統
vb.買粉絲基于角色訪問控制的oa系統
asp某小型數字圖書館
vb圖形識別和編輯
pb電腦公司財務管理系統
asp網上購書
android光盤信息管理系統
php新聞網程序
php購物系統
vb.買粉絲考試系統vb.買粉絲
java學生管理系統
基于apriori算法的關聯規則挖掘系統
vf布匹出口管理系統
c#會計電算化系統——財務管理子系統
php畢業生信息管理系統
pb酒店客房餐飲管理系統
vf庫存管理
asp.買粉絲藥品銷售數據管理系統
asp.買粉絲網上論壇
基于linux的遠程控制技術服務端實現
php網絡商城
文件壓縮與解壓縮實踐
asp學生管理系統
php科研項目網上申報管理系統
vb.買粉絲圖片文件中的信息隱藏和還原的設計
asp銷售供應鏈管理系統的設計與開發
asp基于asp技術的獵頭公司管理軟件的設計和實現——內部事務部分
網絡求職招聘系統
買粉絲erp系統(畢業設計
php基于web的商場管理系統
vb電腦公司財務管理系統
delphi客戶管理系統
買粉絲圖書館管理信息系統
java超市商品管理系統
pb在線考試
java原創庫存管理系統可執行程序
c語言文件系統設計
基于webservice的數據庫同步系統
vb.買粉絲考勤管理系統vb.買粉絲
vb簡單幾何圖形的識別和編輯系統
買粉絲某公司員工管理系統
vf酒店客房管理系統
vf商場管理系統
vb.買粉絲開發在windows下的串口異步通信程序
asp一個小型搜索引擎
j2ee高速公路票據管理系統
vb小區物業管理系統
php酒店房間預約系統設計
asp《信息論與編碼》在線考試系統
vf宿舍管理系統
android基于局域網的文件傳輸系統
asp學生網上選課系統
php校園學生信息在線管理系統
asp基于web的商場管理系統
買粉絲基于web的訂餐系統
jsp倉儲管理系統
簡易網絡存儲系統
javaftp客戶端
jsp公交查詢系統
java人才管理系統
買粉絲企業投資價值分析系統
asp基于bbs的bbs系統設計(structmy)好
android通用圖書館管理系統
asp網上選課系統
最新asp網上論壇
vc網絡爬蟲程序
買粉絲考勤系統(買粉絲)
買粉絲交通信息網上查詢系統
美食網站
pb企業物料需求計劃管理系統
delphi公交車查詢系統delphi源