突破空間障礙，目前，存了個圖這個軟件不錯，下載 視頻內容！
伴隨著人工智能時代的到來，python技術變得更加流行，python的出現也為我們的日常生活與生活帶來很大的幫助。而且python簡單易學、通俗易懂、語法清晰，是零基礎入門的首選語言，那么哪些公司都在使用python?我們一起來看看吧。
谷歌：Google App Engine、買粉絲de.Google.買粉絲、Google
earth、谷歌爬蟲、Google廣告等項目都在大量使用python開發。
CIA：美國中情局網站就是用python開發的。
NASA：NASA大量使用python進行數據分析和運算，美國宇航局從1994年起把python作為主要開發語言。
YouTube：世界上最大的視頻網站YouTube就是Python開發。
Instagram：美國最大的圖片分享社交網站，每天超過3千萬張照片被分享，全部用python開發。
Facebook：大量的基礎庫均通過python實現的。
Redhat：世界上最流行的Linux發行版本中的yum包管理工具就是用Python開發的。
豆瓣：公司幾乎所有的業務都是通過python開發的。
知乎：國內最大的問答社區，就是通過python開發的。
除此之外，還有春雨醫生、騰訊、百度、土豆、新浪、果殼等公司都在使用python來完成各種各樣的任務。
國內的話，知乎，網易，騰訊，搜狐，金山，豆瓣這些屬于用Python比較知名的。大型的項目的話，網易的許多游戲，騰訊的某些網站，搜狐的郵箱，金山的測試框架等等都是或多或少使用了Python。
YouTube - 視頻分享網站，在某些功能上使用到python
Quora - 社交問答網站
Google - 谷歌在很多項目中用python作為網絡應用的后端，如Google Groups、Gmail、Google Maps等，Google App Engine支持python作為開發語言
Pinterest - 圖片社交分享網站
SlideShare - 幻燈片存儲、展示、分享的網站
Yelp - 美國商戶點評網站
Slide - 社交游戲/應用開發公司，被谷歌收購
實現爬蟲技術的編程環境有很多種，Java、Python、C++等都可以用來爬蟲。但很多人選擇Python來寫爬蟲，為什么呢？因為Python確實很適合做爬蟲，豐富的第三方庫十分強大，簡單幾行代碼便可實現你想要的功能。更重要的，Python也是數據挖掘和分析的好能手。那么，Python爬蟲一般用什么框架比較好？
一般來講，只有在遇到比較大型的需求時，才會使用Python爬蟲框架。這樣的做的主要目的，是為了方便管理以及擴展。本文我將向大家推薦十個Python爬蟲框架。
在這里插入圖片描述
1、Scrapy：Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。它是很強大的爬蟲框架，可以滿足簡單的頁面爬取，比如可以明確獲知url pattern的情況。用這個框架可以輕松爬下來如亞馬遜商品信息之類的數據。但是對于稍微復雜一點的頁面，如weibo的頁面信息，這個框架就滿足不了需求了。它的特性有：HTML, XML源數據 選擇及提取 的內置支持；提供了一系列在spider之間共享的可復用的過濾器(即 Item Loaders)，對智能處理爬取數據提供了內置支持。
2、Crawley：高速爬取對應網站的內容，支持關系和非關系數據庫，數據可以導出為JSON、XML等。
3、Portia：是一個開源可視化爬蟲工具，可讓使用者在不需要任何編程知識的情況下爬取網站！簡單地注釋自己感興趣的頁面，Portia將創建一個蜘蛛來從類似的頁面提取數據。簡單來講，它是基于scrapy內核；可視化爬取內容，不需要任何開發專業知識；動態匹配相同模板的內容。
4、newspaper：可以用來提取新聞、文章和內容分析。使用多線程，支持10多種語言等。作者從requests庫的簡潔與強大得到靈感，使用Python開發的可用于提取文章內容的程序。支持10多種語言并且所有的都是uni買粉絲de編碼。
5、Python-goose：Java寫的文章提取工具。Python-goose框架可提取的信息包括：文章主體內容、文章主要圖片、文章中嵌入的任何Youtube/Vimeo視頻、元描述、元標簽。
6、Beautiful Soup：名氣大，整合了一些常用爬蟲需求。它是一個可以從HTML或XML文件中提取數據的Python庫。它能夠通過你喜歡的轉換器實現慣用的文檔導航,查找,修改文檔的方式.Beautiful Soup會幫你節省數小時甚至數天的工作時間。Beautiful Soup的缺點是不能加載JS。
7、mechanize：它的優點是可以加載JS。當然它也有缺點，比如文檔嚴重缺失。不過通過官方的example以及人肉嘗試的方法，還是勉強能用的。
8、selenium：這是一個調用瀏覽器的driver，通過這個庫你可以直接調用瀏覽器完成某些操作，比如輸入驗證碼。Selenium是自動化測試工具，它支持各種瀏覽器，包括 Chrome，Safari，Firefox等主流界面式瀏覽器，如果在這些瀏覽器里面安裝一個 Selenium 的插件，可以方便地實現Web界面的測試. Selenium支持瀏覽器驅動。Selenium支持多種語言開發，比如 Java，C，Ruby等等，PhantomJS 用來渲染解析JS，Selenium 用來驅動以及與Python的對接，Python進行后期的處理。
9、買粉絲la：是一個分布式的爬蟲框架，對于用戶來說，只需編寫幾個特定的函數，而無需關注分布式運行的細節。任務會自動分配到多臺機器上，整個過程對用戶是透明的。項目整體設計有點糟，模塊間耦合度較高。
10、PySpider：一個國人編寫的強大的網絡爬蟲系統并帶有強大的WebUI。采用Python語言編寫，分布式架構，支持多種數據庫后端，強大的WebUI支持腳本編輯器，任務監視器，項目管理器以及結果查看器。Python腳本控制，可以用任何你喜歡的買粉絲解析包。
以上就是我分享的Python爬蟲一般用的十大主流框架。這些框架的優缺點都不同，大家在使用的時候，可以根據具體場景選擇合適的框架。