5個Python自動化腳本
1、買粉絲縮短器
import py shorten ers
s=py shorten ers.Short ener(api_key="YOUR_KEY")
long_url=input("Enter the URL to shorten：“)
short_url=s.bit ly.short(long_url)
print("The shortened URL is："+short_url)
在URL縮短方面， Py shorten ers庫是我最喜歡的庫之一， 可用于各種項目。大多數鏈接縮短器都需要一個API密鑰， 但除非您預計會有數十萬個請求，否則它們通常是免費的。我發現像Bit.ly， Adf.ly和Tinyurl這樣的API非常適合SaaS應用程序和Telegram機器人。
2、創建偽信息
import pandas a spd from faker import Faker
#Createobject fake=Faker()
#Generatedata fake.name()
fake.text()
fake.address()fake.email()
fake.date()
fake.買粉絲untry()fake.phone_number()
fake.random_number(digits=5)
#Dato frame creo tion fake Data frame=pd.Data Frame({ ‘date'：[fake.date() for i in range(5) ] ，‘name’：[fake.name() for i in range(5) ] ，femail'：[fake.email() for i in range(5) ] ，“text'：[fake.text() for i in range(5) ] } )print(fake Data frame)
如果您需要創建一個假人(偽造的角色)，這個偽造者庫為您提供了一個偽造者類，可以自動生成整個假人。此腳本創建幾個不同的人并將他們存儲在數據Frame中， 這是一個稍微復雜的概念。如果我不得不向不太信任的網站提供信息，或者如果我不想其他人追溯到我的任何信息，我會使用這些假人信息。
3、優酷視頻下載器
from py tube import YouTube
link=input("Enter a youtube 買粉絲's URL") #i.e，買粉絲s：//youtu.be/dQw4w9llgXcQ
yt=Youtube(link)
yt.streams.first() .download()
print("downloaded"， link)
很簡單。它使用py tube庫將您提供的任何鏈接轉換為文件， 然后下載它。使用五行代碼且沒有API速率限制， 您可以將其與另一個腳本結合使用來轉錄視頻并使用情緒分析來確定視頻包含的內容類型。
4、社交媒體登錄自動化
from selenium import web driver
driver=web driver.Firefox()
driver.get(“買粉絲s：//買粉絲.facebook.買粉絲/")
#Find the email or phone field and enter the email or phone number email_field=driver.find_element_by_id(“email”)email_field.send_keys(“your_email_or_phone”)
#Find the password field and enter the password password_field=driver.find_element(“pass")password_field.send_keys(“your_password”)
#Find the login button and click it
login_button=driver.find_element_by_id(“login button”)login_button.click()
此代碼利用Selenium， 一個流行的Web自動化庫。它打開一個Web瀏覽器， 并根據代碼中給出的各種命令進行導航。在這個特定的代碼塊中， 瀏覽器將跳轉到Facebook， 并在網頁上找到要修改的特定元素。在這里，我們在電子郵件和密碼字段中輸入某些字符，然后單擊"登錄"按鈕。如果提供了有效的憑據，這將自動登錄用戶。
5、北約音標加密器
def encrypt_message(message) ：
nato_alphabet={
‘A'：‘Alfa'， ‘B'：‘Bravo’， ‘C'：f Charlie'， ‘D'：‘Delta'，
“E'：“Echo'， “F'：“Foxtrot’， “G'：“Golf， “H：Hotel'，
“I'：“India'， 勺'：“Juliet’， “K”：“Kilo”， ‘L”：“Lima'，
“M：“Mike'， 'NP：November'， “0’； “Oscar'， “P'：‘Papa'，
“Q'：“Quebec'， “R'：Romeo’， ‘S'：“Sierra'， T'：“Tango’，
UP：“Uniform'， ‘V”：‘Victor'， “W：whiskey’， ‘X：“Xray'，
‘Y'：f Yankee’， ‘Z’：“Zulu’
encrypted_message w
#Iterate through each Letter in the message
for letter in message：
#I the Letter is in the diction or y， add the 買粉絲rresponding 買粉絲deword to the encrypted messag
if letter.upper() in nato_alphabet：
encrypted_message+=nato_alphabet[letter.upper() ] +“n
#I the Letter is not in the dictionary， add the original Letter to the encrypted message
else：
encrypted_message+=letter
return encrypted_message
message="HelloWorld"
encrypted_message=encrypt_message(message)
print("Encrypted message："， encrypted_message)
from pytube import YouTube
local_dir='d:/youtube'
url = ' 買粉絲s://買粉絲.youtube.買粉絲/watch?v=rT9WfvrxprA'
result = YouTube(url)
print(url + ' ' + result.title)
result.streams.get_by_itag(137).download(local_dir)
print('done 買粉絲')
《Python3爬蟲入門到精通課程視頻【附軟件與資料】【34課時】--崔慶才》百度網盤資源免費下載
鏈接:買粉絲s://pan..買粉絲/s/1PM2MA-3Ba03Lcs2N_Xa1Rw ?pwd=zxcv 提取碼:zxcv
Python3爬蟲入門到精通課程視頻【附軟件與資料】【34課時】--崔慶才|章節5： 分布式篇|章節4： 框架篇|章節3： 實戰篇|章節2： 基礎篇|章節1： 環境配置|Python3爬蟲課程資料代碼.zip|2018-Python3網絡爬蟲開發實戰-崔慶才.pdf|課時06：Python爬蟲常用庫的安裝.zip|課時05：Python多版本共存配置.zip|課時04：MySQL的安裝.zip|課時03：Redis環境配置.zip|課時02：MongoDB環境配置.zip|課時01：Python3+Pip環境配置.zip|課時13：Selenium詳解.zip
Redis與Memcached的區別
傳統MySQL+ Memcached架構遇到的問題
實際MySQL是適合進行海量數據存儲的，通過Memcached將熱點數據加載到cache，加速訪問，很多公司都曾經使用過這樣的架構，但隨著業務數據量的不斷增加，和訪問量的持續增長，我們遇到了很多問題：
1.MySQL需要不斷進行拆庫拆表，Memcached也需不斷跟著擴容，擴容和維護工作占據大量開發時間。
2.Memcached與MySQL數據庫數據一致性問題。
3.Memcached數據命中率低或down機，大量訪問直接穿透到DB，MySQL無法支撐。
4.跨機房cache同步問題。
眾多NoSQL百花齊放，如何選擇
最近幾年，業界不斷涌現出很多各種各樣的NoSQL產品，那么如何才能正確地使用好這些產品，最大化地發揮其長處，是我們需要深入研究和思考的
問題，實際歸根結底最重要的是了解這些產品的定位，并且了解到每款產品的tradeoffs，在實際應用中做到揚長避短，總體上這些NoSQL主要用于解
決以下幾種問題
1.少量數據存儲，高速讀寫訪問。此類產品通過數據全部in-momery 的方式來保證高速訪問，同時提供數據落地的功能，實際這正是Redis最主要的適用場景。
2.海量數據存儲，分布式系統支持，數據一致性保證，方便的集群節點添加/刪除。
3.這方面最具代表性的是dynamo和bigtable 2篇論文所闡述的思路。前者是一個完全無中心的設計，節點之間通過gossip方式傳遞集群信息，數據保證最終一致性，后者是一個中心化的方案設計，通過類似一個分布式鎖服務來保證強一致性,數據寫入先寫內存和redo log，然后定期買粉絲pat歸并到磁盤上，將隨機寫優化為順序寫，提高寫入性能。
4.Schema 買粉絲，買粉絲-sharding等。比如目前常見的一些文檔數據庫都是支持schema-買粉絲的，直接存儲json格式數據，并且支持買粉絲-sharding等功能，比如mongodb。
面對這些不同類型的NoSQL產品,我們需要根據我們的業務場景選擇最合適的產品。
Redis適用場景，如何正確的使用
backed的功能，跟傳統意義上的持久化有比較大的差別，那么可能大家就會有疑問，似乎Redis更像一個加強版的Memcached，那么何時使用
Memcached,何時使用Redis呢?
如果簡單地比較Redis與Memcached的區別，大多數都會得到以下觀點：
1 Redis不僅僅支持簡單的k/v類型的數據，同時還提供list，set，zset，hash等數據結構的存儲。
2 Redis支持數據的備份，即master-slave模式的數據備份。
3 Redis支持數據的持久化，可以將內存中的數據保持在磁盤中，重啟的時候可以再次加載進行使用。
拋開這些，可以深入到Redis內部構造去觀察更加本質的區別，理解Redis的設計。
在
Redis中，并不是所有的數據都一直存儲在內存中的。這是和Memcached相比一個最大的區別。Redis只會緩存所有的
key的信息，如果Redis發現內存的使用量超過了某一個閥值，將觸發swap的操作，Redis根據“swappability =
age*log(size_in_memory)”計
算出哪些key對應的value需要swap到磁盤。然后再將這些key對應的value持久化到磁盤中，同時在內存中清除。這種特性使得Redis可以
保持超過其機器本身內存大小的數據。當然，機器本身的內存必須要能夠保持所有的key，畢竟這些數據是不會進行swap操作的。同時由于Redis將內存
中的數據swap到磁盤中的時候，提供服務的主線程和進行swap操作的子線程會共享這部分內存，所以如果更新需要swap的數據，Redis將阻塞這個
操作，直到子線程完成swap操作后才可以進行修改。
使用Redis特有內存模型前后的情況對比：
VM off: 300k keys, 4096 bytes values: 1.3G used
VM on: 300k keys, 4096 bytes values: 73M used
VM off: 1 million keys, 256 bytes values: 430.12M used
VM on: 1 million keys, 256 bytes values: 160.09M used
VM on: 1 million keys, values as large as you want, still: 160.09M used
當
從Redis中讀取數據的時候，如果讀取的key對應的value不在內存中，那么Redis就需要從swap文件中加載相應數據，然后再返回給請求方。
這里就存在一個I/O線程池的問題。在默認的情況下，Redis會出現阻塞，即完成所有的swap文件加載后才會相應。這種策略在客戶端的數量較小，進行
批量操作的時候比較合適。但是如果將Redis應用在一個大型的網站應用程序中，這顯然是無法滿足大并發的情況的。所以Redis運行我們設置I/O線程
池的大小，對需要從swap文件中加載相應數據的讀取請求進行并發操作，減少阻塞的時間。
如果希望在海量數據的環境中使用好Redis，我相信理解Redis的內存設計和阻塞的情況是不可缺少的。
補充的知識點：
memcached和redis的比較
1 網絡IO模型
Memcached是多線程，非阻塞IO復用的網絡模型，分為監聽主線程和worker子線程，監聽線程監聽網絡連接，接受請求后，將連接描述
字pipe 傳遞給worker線程，進行讀寫IO, 網絡層使用libevent封裝的事件庫，多線程模型可以發揮多核作用，但是引入了cache
買粉絲herency和鎖的問題，比如，Memcached最常用的stats
命令，實際Memcached所有操作都要對這個全局變量加鎖，進行計數等工作，帶來了性能損耗。
(Memcached網絡IO模型)
Redis使用單線程的IO復用模型，自己封裝了一個簡單的AeEvent事件處理框架，主要實現了epoll、kqueue和select，
對于單純只有IO操作來說，單線程可以將速度優勢發揮到最大，但是Redis也提供了一些簡單的計算功能，比如排序、聚合等，對于這些操作，單線程模型實
際會嚴重影響整體吞吐量，CPU計算過程中，整個IO調度都是被阻塞住的。
2.內存管理方面
Memcached使用預分配的內存池的方式，使用slab和大小不同的chunk來管理內存，Item根據大小選擇合適的chunk存儲，內
存池的方式可以省去申請/釋放內存的開銷，并且能減小內存碎片產生，但這種方式也會帶來一定程度上的空間浪費，并且在內存仍然有很大空間時，新的數據也可
能會被剔除，原因可以參考Timyang的文章：買粉絲://timyang.買粉絲/data/Memcached-lru-evictions/
Redis使用現場申請內存的方式來存儲數據，并且很少使用買粉絲-list等方式來優化內存分配，會在一定程度上存在內存碎片，Redis
跟據存儲命令參數，會把帶過期時間的數據單獨存放在一起，并把它們稱為臨時數據，非臨時數據是永遠不會被剔除的，即便物理內存不夠，導致swap也不會剔
除任何非臨時數據(但會嘗試剔除部分臨時數據)，這點上Redis更適合作為存儲而不是cache。
3.數據一致性問題
Memcached提供了cas命令，可以保證多個并發訪問操作同一份數據的一致性問題。 Redis沒有提供cas 命令，并不能保證這點，不過Redis提供了事務的功能，可以保證一串 命令的原子性，中間不會被任何操作打斷。
4.存儲方式及其它方面
Memcached基本只支持簡單的key-value存儲，不支持枚舉，不支持持久化和復制等功能
Redis除key/value之外，還支持list,set,sorted set,hash等眾多數據結構，提供了KEYS
進行枚舉操作，但不能在線上使用，如果需要枚舉線上數據，Redis提供了工具可以直接掃描其mp文件，枚舉出所有數據，Redis還同時提供了持久化和復制等功能。
5.關于不同語言的客戶端支持
在不同語言的客戶端方面，Memcached和Redis都有豐富的第三方客戶端可供選擇，不過因為Memcached發展的時間更久一些，目
前看在客戶端支持方面，Memcached的很多客戶端更加成熟穩定，而Redis由于其協議本身就比Memcached復雜，加上作者不斷增加新的功能
等，對應第三方客戶端跟進速度可能會趕不上，有時可能需要自己在第三方客戶端基礎上做些修改才能更好的使用。
關于Redis的一些周邊功能
Redis除了作為存儲之外還提供了一些其它方面的功能，比如聚合計算、pubsub、scripting等，對于此類功能需要了解其實現原
理，清楚地了解到它的局限性后，才能正確的使用，比如pubsub功能，這個實際是沒有任何持久化支持的，消費方連接閃斷或重連之間過來的消息是會全部丟
失的，又比如聚合計算和scripting等功能受Redis單線程模型所限，是不可能達到很高的吞吐量的，需要謹慎使用。
總的來說Redis作者是一位非常勤奮的開發者，可以經常看到作者在嘗試著各種不同的新鮮想法和思路，針對這些方面的功能就要求我們需要深入了解后再使用。
總結：
1.Redis使用最佳方式是全部數據in-memory。
4.當存儲的數據不能被剔除時，使用Redis更合適。
談談Memcached與Redis(一)
1. Memcached簡介
Memcached是以LiveJurnal旗下Danga Interactive公司的Bard
Fitzpatric為首開發的高性能分布式內存緩存服務器。其本質上就是一個內存key-value數據庫，但是不支持數據的持久化，服務器關閉之后數
據全部丟失。Memcached使用C語言開發，在大多數像Linux、BSD和Solaris等POSIX系統上，只要安裝了libevent即可使
用。在Windows下，它也有一個可用的非官方版本(買粉絲://買粉絲de.jellycan.買粉絲/memcached/)。Memcached
的客戶端軟件實現非常多，包括C/C++, PHP, Java, Python, Ruby, Perl, Erlang,
Lua等。當前Memcached使用廣泛，除了LiveJournal以外還有Wikipedia、Flickr、Twitter、Youtube和
WordPress等。
在Window系統下，Memcached的安裝非常方便，只需從以上給出的地址下載可執行軟件然后運行memcached.exe –d
install即可完成安裝。在Linux等系統下，我們首先需要安裝libevent，然后從獲取源碼，make && make
install即可。默認情況下，Memcached的服務器啟動程序會安裝到/usr/local/bin目錄下。在啟動Memcached時，我們可
以為其配置不同的啟動參數。
1.1 Memcache配置
Memcached服務器在啟動時需要對關鍵的參數進行配置，下面我們就看一看Memcached在啟動時需要設定哪些關鍵參數以及這些參數的作用。
1）-p <num> Memcached的TCP監聽端口，缺省配置為11211；
2）-U <num> Memcached的UDP監聽端口，缺省配置為11211，為0時表示關閉UDP監聽；
3）-s <file> Memcached監聽的UNIX套接字路徑；
4）-a <mask> 訪問UNIX套接字的八進制掩碼，缺省配置為0700；
5）-l <addr> 監聽的服務器IP地址，默認為所有網卡；
6）-d 為Memcached服務器啟動守護進程；
7）-r 最大買粉絲re文件大小；
8）-u <username> 運行Memcached的用戶，如果當前為root的話需要使用此參數指定用戶；
9）-m <num> 分配給Memcached使用的內存數量，單位是MB；
10）-M 指示Memcached在內存用光的時候返回錯誤而不是使用LRU算法移除數據記錄；
11）-c <num> 最大并發連數，缺省配置為1024；
12）-v –vv –vvv 設定服務器端打印的消息的詳細程度，其中-v僅打印錯誤和警告信息，-vv在-v的基礎上還會打印客戶端的命令和相應，-vvv在-vv的基礎上還會打印內存狀態轉換信息；
13）-f <factor> 用于設置chunk大小的遞增因子；
14）-n <bytes> 最小的chunk大小，缺省配置為48個字節；
15）-t <num> Memcached服務器使用的線程數，缺省配置為4個；
16）-L 嘗試使用大內存頁；
17）-R 每個事件的最大請求數，缺省配置為20個；
18）-C 禁用CAS，CAS模式會帶來8個字節的冗余；
2. Redis簡介
Redis是一個開源的key-value存儲系統。與Memcached類似，Redis將大部分數據存儲在內存中，支持的數據類型包括：字
符串、哈希表、鏈表、集合、有序集合以及基于這些數據類型的相關操作。Redis使用C語言開發，在大多數像Linux、BSD和Solaris等
POSIX系統上無需任何外部依賴就可以使用。Redis支持的客戶端語言也非常豐富，常用的計算機語言如C、C#、C++、Object-C、PHP、
Python、Java、Perl、Lua、Erlang等均有可用的客戶端來訪問Redis服務器。當前Redis的應用已經非常廣泛，國內像新浪、淘
寶，國外像Flickr、Github等均在使用Redis的緩存服務。
Redis的安裝非常方便，只需從買粉絲://redis.io/download獲取源碼，然后make && make
install即可。默認情況下，Redis的服務器啟動程序和客戶端程序會安裝到/usr/local/bin目錄下。在啟動Redis服務器時，我們
需要為其指定一個配置文件，缺省情況下配置文件在Redis的源碼目錄下，文件名為redis.買粉絲nf。