Claude 提示快取:讓 AI 對話更快更省

Anthropic 推出全新的 Claude 提示快取功能，可大幅提升 AI 對話效率與成本表現。本文深入探討這項新功能的應用場景、效益與定價策略，助您充分運用 Claude 的強大潛力。

什麼是提示快取?

提示快取(Prompt caching)是 Anthropic API 的最新功能，讓開發者能夠在多次 API 呼叫之間快取常用的上下文內容。透過這項技術，用戶可以為 Claude 提供更豐富的背景知識和範例輸出，同時大幅降低長提示的成本(最多90%)和延遲(最多85%)。

目前這項功能已在 Claude 3.5 Sonnet 和 Claude 3 Haiku 上公開測試，未來也將支援 Claude 3 Opus。

提示快取的適用場景

提示快取在以下情境特別有效:

1. 對話代理:降低長時間對話的成本和延遲，尤其是涉及冗長指令或上傳文件的情況。

2. 程式碼助手:通過在提示中保留程式碼庫的摘要版本，改善自動完成和程式碼問答功能。

3. 大型文件處理:在提示中納入完整的長篇資料(包括圖片)，而不增加回應延遲。

4. 詳細指令集:分享大量指令、程序和範例，以微調 Claude 的回應。開發者現在可以包含數十個多樣化的高品質輸出範例，進一步提升性能。

5. 代理搜尋和工具使用:增強多輪工具呼叫和迭代變更的效能，每個步驟通常需要新的 API 呼叫。

6. 與書籍、論文等長篇內容對話:將整個文件嵌入提示中，讓用戶能夠與任何知識庫互動。

效益數據

早期用戶在各種應用場景中都看到了顯著的速度和成本改善:

快取提示的定價策略

快取提示的定價基於您快取的輸入字數和使用頻率:

• 寫入快取:比該模型基本輸入字價格高25%
• 使用快取內容:僅為基本輸入字價格的10%

Claude 3.5 Sonnet 定價

• 輸入:$3/百萬字
• 快取寫入:$3.75/百萬字
• 快取讀取:$0.30/百萬字
• 輸出:$15/百萬字

Claude 3 Haiku 定價

• 輸入:$0.25/百萬字
• 快取寫入:$0.30/百萬字
• 快取讀取:$0.03/百萬字
• 輸出:$1.25/百萬字

[Claude 3 Opus 的快取功能即將推出]

客戶案例:Notion

Notion 正將提示快取功能添加到其 AI 助手 Notion AI 的 Claude 驅動功能中。通過降低成本和提高速度，Notion 能夠優化內部運營，為客戶創造更高級、更靈敏的用戶體驗。

Notion 聯合創始人 Simon Last 表示:”我們很高興使用提示快取來使 Notion AI 更快、更便宜，同時保持最先進的品質。”

開始使用

要開始使用 Anthropic API 上的提示快取公測版，請瀏覽我們的文件和定價頁面。

常見問題

1. Q: 提示快取如何影響 API 的使用成本? A: 提示快取可以顯著降低 API 使用成本，尤其是對於需要大量上下文的應用。根據使用情況，成本可降低高達90%。

2. Q: 提示快取適用於哪些 Claude 模型? A: 目前提示快取適用於 Claude 3.5 Sonnet 和 Claude 3 Haiku，Claude 3 Opus 的支援即將推出。

3. Q: 如何在我的應用中實施提示快取? A: 您可以通過 Anthropic API 使用提示快取。詳細的實施指南可在 Anthropic 的官方文件中找到。

4. Q: 提示快取對隱私和安全有何影響? A: Anthropic 對快取的內容採取嚴格的安全措施。快取的資料僅用於提高效能，不會用於其他目的。

5. Q: 提示快取能提高多少效能? A: 效能提升因使用情況而異，但一些用戶報告延遲減少高達85%，特別是對於長提示和多輪對話。