Python高效訪問HTTP API：requests庫與請(qǐng)求緩存

本文節(jié)選自《實(shí)用Python》，作者Stuart演示瞭如何利用Python和幾個(gè)第三方模塊輕鬆訪問HTTP API。

大多數(shù)情況下，處理第三方數(shù)據(jù)需要訪問HTTP API，即向設(shè)計(jì)為機(jī)器讀取而非人工讀取的網(wǎng)頁發(fā)出HTTP請(qǐng)求。 API數(shù)據(jù)通常採用機(jī)器可讀格式，通常為JSON或XML。 讓我們看看如何使用Python訪問HTTP API。

使用HTTP API的基本原則很簡(jiǎn)單：

1. 向API的URL發(fā)出HTTP請(qǐng)求，可能包括一些身份驗(yàn)證信息（例如API密鑰）以證明我們已獲得授權(quán)。
2. 獲取數(shù)據(jù)。
3. 利用數(shù)據(jù)完成有用的操作。

Python標(biāo)準(zhǔn)庫提供了足夠的函數(shù)來完成所有這些操作，無需任何附加模塊，但如果我們使用幾個(gè)第三方模塊來簡(jiǎn)化流程，將會(huì)使我們的工作更輕鬆。第一個(gè)是requests模塊。這是一個(gè)用於Python的HTTP庫，它使獲取HTTP數(shù)據(jù)比Python內(nèi)置的urllib.request更便捷，可以使用python -m pip install requests安裝。

為了展示其易用性，我們將使用Pixabay的API（此處有文檔）。 Pixabay是一個(gè)圖片網(wǎng)站，所有圖片都可以重複使用，這使其成為一個(gè)非常方便的資源。我們將關(guān)注水果圖片。稍後在操作文件時(shí)，我們將使用收集到的水果圖片，但現(xiàn)在我們只想找到水果圖片。

首先，我們將快速查看Pixabay上有哪些圖片可用。我們將抓取一百張圖片，快速瀏覽它們，然後選擇我們想要的圖片。為此，我們需要一個(gè)Pixabay API密鑰，因此我們需要?jiǎng)?chuàng)建一個(gè)帳戶，然後從API文檔的“搜索圖片”部分獲取密鑰。

requests模塊

使用requests模塊向API發(fā)出HTTP請(qǐng)求的基本版本包括構(gòu)建HTTP URL、發(fā)出請(qǐng)求以及讀取響應(yīng)。此處，響應(yīng)採用JSON格式。 requests模塊使每個(gè)步驟都非常簡(jiǎn)單。 API參數(shù)是一個(gè)Python字典，get()函數(shù)發(fā)出調(diào)用，如果API返回JSON，requests會(huì)將其作為響應(yīng)中的.json提供。因此，簡(jiǎn)單的調(diào)用如下所示：

import requests

PIXABAY_API_KEY = "11111111-7777777777777777777777777"

base_url = "https://pixabay.com/api/"
base_params = {
    "key": PIXABAY_API_KEY,
    "q": "fruit",
    "image_type": "photo",
    "category": "food",
    "safesearch": "true"
}

response = requests.get(base_url, params=base_params)
results = response.json()

這將返回一個(gè)Python對(duì)象，正如API文檔所建議的那樣，我們可以查看其各個(gè)部分：

為了獲取一百個(gè)結(jié)果，我們可以簡(jiǎn)單地決定進(jìn)行五次調(diào)用，每次調(diào)用獲取20個(gè)結(jié)果，但這不夠穩(wěn)健。更好的方法是循環(huán)請(qǐng)求頁面，直到獲得所需的一百個(gè)結(jié)果，然後停止。這可以防止在Pixabay更改默認(rèn)結(jié)果數(shù)量（例如更改為15）時(shí)出現(xiàn)問題。它還可以讓我們處理搜索詞沒有一百張圖片的情況。因此，我們使用一個(gè)while循環(huán)，每次遞增頁碼，如果我們已經(jīng)達(dá)到100張圖片，或者沒有圖片可檢索，我們就退出循環(huán)：

緩存HTTP請(qǐng)求

避免多次向HTTP API發(fā)出相同的請(qǐng)求是個(gè)好主意。許多API都有使用限制，以避免被請(qǐng)求者過度使用，請(qǐng)求需要花費(fèi)時(shí)間和精力。我們應(yīng)該盡量避免重複之前的請(qǐng)求。幸運(yùn)的是，在使用Python的requests模塊時(shí)，有一種有用的方法可以做到這一點(diǎn)：使用python -m pip install requests-cache安裝requests-cache。這將無縫記錄我們進(jìn)行的任何HTTP調(diào)用並保存結(jié)果。然後，稍後如果我們?cè)俅芜M(jìn)行相同的調(diào)用，我們將獲得本地保存的結(jié)果，而無需再次訪問API。這節(jié)省了時(shí)間和帶寬。要使用requests_cache，請(qǐng)導(dǎo)入它並創(chuàng)建一個(gè)CachedSession，然後使用session.get而不是requests.get來獲取URL，我們將無需額外努力即可獲得緩存的好處：

生成輸出

為了查看查詢結(jié)果，我們需要在某個(gè)地方顯示圖片。一種便捷的方法是創(chuàng)建一個(gè)簡(jiǎn)單的HTML頁面來顯示每個(gè)圖片。 Pixabay提供了每個(gè)圖片的小縮略圖，它在API響應(yīng)中稱為previewURL，因此我們可以創(chuàng)建一個(gè)HTML頁面來顯示所有這些縮略圖，並將它們鏈接到主要Pixabay頁面——我們可以從中選擇下載我們想要的圖片並為攝影師署名。因此，頁面中的每個(gè)圖片可能如下所示：

我們可以使用列表推導(dǎo)式從images列表構(gòu)建它，然後使用"n".join()將所有結(jié)果連接成一個(gè)大的字符串：

然後，如果我們寫出一個(gè)包含該列表的非常簡(jiǎn)單的HTML頁面，則很容易在Web瀏覽器中打開它，快速查看我們從API獲得的所有搜索結(jié)果，並單擊其中任何一個(gè)跳轉(zhuǎn)到完整的Pixabay頁面進(jìn)行下載：

本文節(jié)選自《實(shí)用Python》，可在SitePoint Premium和電子書零售商處購買。

(以下為FAQs，已根據(jù)原文進(jìn)行改寫和精簡(jiǎn))

關(guān)於使用Python的HTTP API獲取數(shù)據(jù)的常見問題 (FAQs)

• HTTP和HTTPS的區(qū)別是什麼？ HTTP是超文本傳輸協(xié)議，HTTPS是安全超文本傳輸協(xié)議。主要區(qū)別在於HTTPS使用SSL證書建立服務(wù)器和客戶端之間安全的加密連接，而HTTP則沒有。這使得HTTPS在傳輸敏感數(shù)據(jù)（如信用卡信息或登錄憑據(jù)）時(shí)更安全。

• Python中HTTP是如何工作的？ Python中可以使用多個(gè)庫發(fā)出HTTP請(qǐng)求，最常用的是requests。該庫允許您發(fā)送HTTP請(qǐng)求並處理響應(yīng)，包括處理Cookie、表單數(shù)據(jù)、多部分文件等等。它是與Web服務(wù)交互的強(qiáng)大工具，可用於各種應(yīng)用程序。

• 常見的HTTP方法有哪些？如何在Python中使用它們？ 最常見的HTTP方法是GET、POST、PUT、DELETE、HEAD、OPTIONS和PATCH。在Python中，可以使用requests庫使用這些方法。例如，要發(fā)送GET請(qǐng)求，可以使用requests.get(url)，要發(fā)送POST請(qǐng)求，可以使用requests.post(url, data)。

• 如何在Python中處理HTTP響應(yīng)？ 當(dāng)您使用requests庫在Python中發(fā)送HTTP請(qǐng)求時(shí)，會(huì)得到一個(gè)Response對(duì)象。此對(duì)象包含服務(wù)器對(duì)您請(qǐng)求的響應(yīng)。如果響應(yīng)採用JSON格式，您可以使用response.text或response.json()訪問響應(yīng)的內(nèi)容。您還可以使用response.status_code檢查響應(yīng)的狀態(tài)代碼。

• 如何在Python中使用HTTP標(biāo)頭？ 通過將HTTP標(biāo)頭作為字典傳遞給requests函數(shù)的headers參數(shù)，可以在Python中使用它們。例如，requests.get(url, headers={'User-Agent': 'my-app'})。標(biāo)頭可用於提供有關(guān)請(qǐng)求或客戶端的其他信息，例如用戶代理、內(nèi)容類型、授權(quán)等等。

• 如何在Python中處理Cookie？ 可以使用Response對(duì)象的cookies屬性在Python中處理Cookie。您可以使用response.cookies訪問服務(wù)器發(fā)送的Cookie，並通過將Cookie作為字典傳遞給requests函數(shù)的cookies參數(shù)來將Cookie發(fā)送到服務(wù)器。

• 如何在Python中使用POST請(qǐng)求發(fā)送表單數(shù)據(jù)？ 通過將表單數(shù)據(jù)作為字典傳遞給requests.post函數(shù)的data參數(shù)，可以在Python中使用POST請(qǐng)求發(fā)送它。例如，requests.post(url, data={'key': 'value'})。 requests庫將自動(dòng)以正確的格式編碼數(shù)據(jù)。

• 如何在Python中使用POST請(qǐng)求發(fā)送文件？ 通過將文件作為字典傳遞給requests.post函數(shù)的files參數(shù)，可以在Python中使用POST請(qǐng)求發(fā)送文件。字典應(yīng)包含文件字段的名稱作為鍵，以及包含文件名和文件對(duì)象的元組作為值。

• 如何處理requests庫在Python中的錯(cuò)誤和異常？ Python中的requests庫會(huì)針對(duì)某些類型的錯(cuò)誤（例如網(wǎng)絡(luò)錯(cuò)誤或超時(shí)）引發(fā)異常。您可以使用try/except塊捕獲這些異常並適當(dāng)?shù)靥幚硭鼈儭Ｄ€可以檢查響應(yīng)的狀態(tài)代碼來處理HTTP錯(cuò)誤。

• 如何在Python中發(fā)出異步HTTP請(qǐng)求？ 可以使用aiohttp庫在Python中發(fā)出異步HTTP請(qǐng)求。該庫允許您異步發(fā)送HTTP請(qǐng)求和處理響應(yīng)，這在處理大量請(qǐng)求時(shí)可以顯著提高應(yīng)用程序的性能。

以上是用Python從HTTP API獲取數(shù)據(jù)的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！