亞馬遜（Amazon）旗下 Amazon Web Services（AWS）於 AWS re:Invent 全球盛會上宣布推出更多 Amazon Bedrock 模型選擇及全新功能，協助客戶更輕鬆地建構和擴展業務專用的生成式 AI 應用程式。Amazon Bedrock 是一項全面託管服務，使用者可輕鬆存取來自 AI21 Labs、Anthropic、Cohere、Meta、Stability AI 和亞馬遜的多種業界領先的大型語言模型和其他基礎模型（FM），以及客戶建構生成式 AI 應用程式所需的各項功能，確保隱私和安全的同時簡化開發流程。此次發布進一步降低了生成式 AI 應用的門檻，為客戶提供了更多產業領先的模型選擇和全新的模型評估功能，以簡化客戶使用相關私有資料以定制所需模型，並為客戶提供自動執行複雜任務的工具，同時保障客戶可以負責任地建構和部署生成式 AI 應用程式。Amazon Bedrock 的新功能為各行各業及不同規模的企業在生成式 AI 領域帶來改變，助力企業創新並重塑客戶體驗。如欲開始使用Amazon Bedrock，請至：aws.amazon.com/bedrock/。
AWS 資料庫、資料分析和機器學習全球副總裁 Swami Sivasubramanian 表示：「生成式 AI 有望成為這個時代最具變革性的技術。客戶積極應用生成式 AI 創造新機遇和應對業務挑戰，啟發了我們。當客戶將生成式 AI 融入業務時，Amazon Bedrock 全託管方式的領先模型、定制功能、代理功能以及企業級安全和隱私保障將為他們帶來便利。有了更多觸手可及的工具，客戶可以使用 Amazon Bedrock 充分發揮生成式 AI 的潛力，帶來創新的用戶體驗、重塑業務並加速生成式 AI 發展。」
企業希望在各種場景中應用生成式 AI，例如提高生產效率、創新用戶體驗和開啟全新工作互動模式。然而，生成式 AI 技術正急速發展，每天都有新的服務和創新出現。在瞬息萬變的當今，客戶的適應能力至關重要。企業需要能夠使用最新、最好的可用模型進行測試、部署、反覆運算和調整，並時刻準備好迎接變化。為了應對這些挑戰，AWS 開發了 Amazon Bedrock，使模型建構和轉移就像 API 指示一樣簡單，讓所有開發人員都可以獲得模型定制的最新技術，並確保客戶的安全和資料隱私。眾多國際企業包括 Alida、Automation Anywhere、Blueshift、BMW集團、Clariant、Coinbase、Cox Automotive、電通（dentsu）、Druva、Genesys、Gilead、GoDaddy、Hellmann Worldwide Logistics、INRIX、KONE、LexisNexis Legal & Professional、Lonely Planet、NatWest、Nexxiot、OfferUp、宏盟集團、The PGA Tour、Proofpoint、Salesforce、西門子、竹中公司和 Verint 已率先採用 Amazon Bedrock 應用生成式 AI。此次發布引進了新的模型和功能，使客戶能夠更輕鬆地建構和規模化生成式 AI 應用。
Anthropic、Cohere、Meta和Stability AI的最新模型以及Amazon Titan的新功能為客戶提供更多模型選擇
沒有一個模型適合用於所有場景，模型的功能、價格和效能均不盡相同，客戶需要可以輕鬆存取及選擇各種模型，透過多次嘗試和切換模型，再選出最符合需求的模型。借助 Amazon Bedrock，客戶可以利用最新版本的模型進行快速創新。現在客戶已可以透過 API 使用多個模型，包括新推出的 Anthropic Claude 2.1和 Meta Llama 2 70B 以及最近推出的 Stability AI Stable Diffusion XL 1.0、Meta Llama 2 Chat 13B、Cohere Command Light、Cohere Embed English和Cohere Embed 多語言模型。除了 Amazon Titan Text Embeddings 和 Amazon Titan Text 模型（現已全面可用）之外，AWS 還提供了 Amazon Titan Multimodal Embeddings 和 Amazon Titan Image Generator 為客戶建構生成式 AI 應用程式提供更多選擇和彈性。Amazon Titan 模型由 Amazon Bedrock 獨家提供，該模型由 AWS 透過大量及多樣的案例和資料庫上所打造，並已進行過預先訓練，並內建了支援負責任地使用 AI 這項功能。如果正式可用的 Amazon Titan 模型或其輸出的內容侵犯了第三方的版權，亞馬遜將對使用這些模型的客戶進行賠償。
· Amazon Bedrock上的Anthropic Claude 2.1：Anthropic 是一家 AI 安全和研究公司，致力於打造可靠、可判斷和可控的 AI 系統。Anthropic 已將最新版本的語言模型 Claude 2.1 引進 Amazon Bedrock。Claude 2.1 提供了長達 200,000 個 token 的語境窗口，並且提高了長文檔的準確性。客戶可以處理文本密集型文檔，例如財務報表和內部資料集。Claude 2.1 能夠總結和對比文檔、進行問答等。Anthropic 報告稱，與以前的模型相比，Claude 2.1 在開放式對話中的錯誤陳述減少達 50%，錯誤陳述率減少了一半。
· Amazon Bedrock上的Meta Llama 2 70B：Llama 2 是 Meta 的新一代語言模型。Llama 2 的訓練資料比 Llama 1 多 40%，上下文長度是 Llama 1 的兩倍。除了最近發布的 Llama 2 130 億參數模型之外，Llama 2 700 億參數模型在 Amazon Bedrock 上也已可用。Llama 2 Chat 建立在預先訓練的 Llama 模型上，透過指令資料庫和超過 100 萬條人工注釋進行微調，針對對話場景進行優化。這些模型在多個外部基準測試中的表現卓越，包括推論、編碼、熟練程度和知識測試，並在 Amazon Bedrock 上提供了極高的性價比。
· 新的Amazon Titan Image Generator現已推出預覽版：Amazon Titan Image Generator 可協助廣告、電子商務、媒體和娛樂等行業的客戶透過使用自然語言提示生成高品質、逼真的圖像或增強現有圖像，以低成本快速構思和大量反覆運算圖像。這一類模型可以理解複雜的提示詞並生成相關圖像，且準確度較高，少有扭曲原意的情況，也不易產生不當內容，繼而避免傳播錯誤資訊。客戶可以在 Amazon Bedrock 控制台中使用該模型，在配置維度並指定模型應生成的圖像變數數量之前，輸入自然語言提示，以生成圖像或上傳圖像進行自動編輯。在編輯過程中，客戶可以控制圖像的某些部分以增加或替換細節（例如將滑浪板插入海灘場景或將汽車廣告背景中的高山替換為森林），也可以使用其他與原作風格相同的細節擴展圖像的邊界。為了兌現 AWS 今年在白宮做出的承諾，所有 Amazon Titan 生成的圖像都包含隱形浮水印，透過建立嚴謹的 AI 生成圖像識別機制來減少傳播錯誤資訊，促進 AI 技術安全、可靠和透明地發展。AWS 是首批廣泛發布內建隱形浮水印的模型供應商之一，這些浮水印整合到輸出的圖像中，並不允許編輯更改。
· 全新Amazon Titan Multimodal Embeddings現已正式可用：Amazon Titan Multimodal Embeddings 可協助客戶為使用者提高多模態搜尋和推薦體驗，讓輸出結果更準確且與語境相關。模型可以將圖像和短文本轉換為 embedding 數字表示形式，使模型能夠輕鬆理解語義以及資料之間的關係。最後使用者可以使用圖像和文本提示的任意組合進行搜尋。該模型將為搜尋生成嵌入，並將它們與已有的嵌入相匹配，以產生更準確的搜尋和推薦結果。例如，擁有數億張圖像的圖庫攝影公司可以使用該模型來增強其搜尋功能，這樣用戶就可以使用短語、圖像或圖像和文本的組合來搜尋圖像（例如我要和這張照片類似的圖像，但天空是晴朗的）。一般情況下，使用該模型生成向量非常適合於需要高準確度和快速回應的搜尋場景。然而，客戶也可以生成更小的維度來優化速度和效能。Amazon Titan Text Embeddings 模型加入了 Amazon Titan Text Embeddings，可以將詞語、短句、長文檔等文本輸入轉化為嵌入（embeddings），用於搜尋和客製化推薦等場景。
新功能可幫助客戶更有效率地評估、比較和選擇最適合其應用場景和業務需求的模型
如今，企業擁有多個模型選項來支援生成式 AI 應用程式。在具體應用場景中，為了在準確性和效能之間取得適當的平衡，企業必須有效地比較模型，並找到首選指標。為了比較模型，企業必須先花幾天時間確定標準、設定評估工具並運行評估，這些程序都需要專業的資料科學知識。此外，這些測試無法用於主觀標準的評估（例如品牌聲量、相關性及風格），因為主觀標準需要透過繁瑣、耗時的人工審核進行判斷。對於每個新場景模型，這些所需要耗費的時間、專業知識和資源使企業望而卻步，從而限制了他們對生成式 AI 的使用。
Amazon Bedrock 中的模型評估功能現已推出預覽版，可幫助客戶使用自動或人工來評估、比較和選擇適合特定應用場景的最佳模型。在 Amazon Bedrock 控制台中，客戶可以選擇他們想要針對相應任務（例如問答或內容摘要）進行比較的模型。如需自動評估，客戶可以選擇預先定義的評估標準（例如準確性、穩定性和是否含有有害內容）並上傳自己的測試資料庫或從內建的公開資料庫中進行選擇。對於需要複雜判斷的主觀標準或內容，客戶只需經過簡單設定即可輕鬆設定人工評估工作流程。這些工作流程運用客戶的內部員工團隊或使用 AWS 提供的員工團隊來評估模型回應。在人工評估的過程中，客戶可以定義特定的指標（例如相關性、風格和品牌聲量）。客戶完成設定後，Amazon Bedrock 就會執行評估並生成報告，以便客戶輕鬆了解模型在關鍵標準上的表現，並作出相應協調，從而快速選擇最適合應用場景的模型。
擴展的全新模型定制功能可協助客戶在AWS上確保隱私且安全地釋放資料價值
企業希望最大限度地釋放資料價值，以提供大規模的卓越用戶體驗，這些體驗經過獨特設計，能夠反映公司的風格、意見和服務。Amazon Bedrock 中提供新的專門建構功能，可協助客戶確保隱私且安全地使用自己的資料定制模型，以差異化生成式 AI 驅動的應用程式。
· Amazon Bedrock知識庫功能使用與語境和公司相關的資料定制模型回應：企業希望使用專有資料補充現有模型，以獲得更相關和更準確的回應。為了提供模型最新資訊，企業走向 retrieval augmented generation (RAG)，這種技術透過從多個來源（例如文件儲存庫、資料庫和 API）獲取資料，將資料與提示詞結合。Amazon Bedrock 知識庫功能現已全面可用，可將模型安全地連接到公司內部資料來源以用於 RAG，為聊天機器人和問答系統等案例提供更準確且針對特定語境的回應。知識庫是完全託管的，因此客戶只需指明資料位置，然後知識庫就會獲取文本文檔，並將資料保存到向量資料庫或代表客戶設定一個向量資料庫。當用戶進行查詢時，Amazon Bedrock 會自動編排 RAG，透過模型獲取相關文本來增強提示詞，將提示詞發給模型，最終得到回應。Amazon Bedrock 知識庫為資料庫提供向量功能，包括 Amazon OpenSearch、Pinecone 和 Redis Enterprise Cloud 的向量引擎，上述功能亦將於 Amazon Aurora 和 MongoDB 上推出。
· Cohere Command、Meta Llama 2和Amazon Titan模型現在可以在Amazon Bedrock上進行微調，並且即將支援Anthropic Claude 2：除了 RAG 之外，企業還可以使用微調功能在具體任務（例如文本生成）中進一步訓練模型，使用標記資料庫調整模型參數，使其符合業務需求，將已掌握的知識擴展到組織和終端使用者使用的詞彙庫中。例如，零售客戶可以在產品描述資料庫上微調模型，以協助其了解品牌風格，從而為網站編寫更準確的描述。Amazon Bedrock 現在支持對 Cohere Command 和 Meta Llama 2，以及 Amazon Titan Text Express、Amazon Titan Text Lite、Amazon Titan Multimodal Embeddings 和 Amazon Titan Image Generator（預覽版）的完全託管微調，因此客戶可以透過標籤資料集提高特定任務的模型準確性。此外，AWS 客戶很快就能夠使用自己的資料來源微調 Anthropic Claude 2 的效能。要微調模型，客戶可以選擇模型，使用 Amazon Bedrock 製作副本。之後，客戶可以在 Amazon Simple Storage Service (Amazon S3) 中標記示例，而 Amazon Bedrock（利用新資訊增強複製模型）會在保證隱私的情況下對其進行訓練，並得到結果。模型越是經過精準微調，回應會越相關且客製化。客戶資料在傳輸過程中和存放時都經過加密，因此所有寶貴的客戶資料都是始終安全且保密的。AWS 和第三方模型提供商均不會使用 Amazon Bedrock 的任何輸入或輸出內容來訓練模型。
借助Amazon Bedrock代理功能，生成式AI應用程式可以使用公司系統和資料來源執行多步驟任務
現存的模型雖然能夠有效地進行對話和生成新內容，但如果能夠執行更複雜的操作，例如解決問題以及與公司系統互動以完成任務（例如旅行預定或訂購替換零件），將可以為企業提供更多價值。然而，這需要客製化地將模型與公司資料來源、API 以及內外部系統整合起來。開發人員必須編寫程式來調整模型、系統和使用者之間的互動，使應用程式可以按邏輯循序執行一系列 API 指示。為了將模型與資料來源連接起來，開發人員必須部署 RAG，以便讓模型可以根據任務調整回應。最後，開發人員必須配置和管理必要的基礎設施，並制定資料安全和隱私權原則。這些步驟非常耗時且需要專業知識，因此減慢了生成式 AI 應用程式的開發速度。
現在正式可用、完全託管的 Amazon Bedrock 代理功能使生成式 AI 應用程式能夠跨公司系統和資料來源執行多步驟任務。代理可以計畫和執行大多數業務任務，例如回答有關產品可用性的問題或接受訂單。客戶可以透過簡單的過程設定代理，首先選擇所需的模型，用自然語言編寫一些說明（例如你是一位友善的客戶服務代理，和在庫存系統中檢查產品庫存情況），並開放其對公司企業系統和知識庫的存取權；代理將自動分析請求並將其分解為邏輯序列，再使用模型的推論功能來確定所需的資訊；然後，代理透過識別要調用的 API 並決定何時調用它們來採取行動、滿足請求。代理還可以從專有資料來源搜尋所需資訊，以提供準確且相關的回應。代理每次都會在後台安全、隱私地執行此過程，使客戶無需設計提示、管理對話上下文或手動編排系統。借助適用於 Amazon Bedrock 的代理，客戶可以提升生成式 AI 應用開發的準確性和速度。
借助Amazon Bedrock的Guardrails功能，客戶可以根據應用程式要求和負責任的AI策略實施跨模型保護措施
企業逐漸了解到生成式 AI 應用程式中的互動同樣需要管理，以保證所答即所問的用戶體驗和確保安全。雖然許多模型使用內建控制來過濾不良和有害內容，但企業希望進一步限制互動，以確保話題始終與業務相關和符合公司政策，同時遵守「負責任的 AI」的原則。例如，銀行可能希望在線上助理的回覆中避免談論競爭對手、避免提供投資建議、以及限制有害內容。此外，應客戶要求，程式可能要修改使用者的個人身份資訊（PII）。企業可能需要更改模型、使用多個模型或跨應用程式重覆編寫原則，因而需要一種更簡單的方法一次部署要求。這需要豐富的專業知識來建構具有此類保護措施的定制保護系統，並將其整合到應用程式中，而該過程可能需要數個月的時間。企業希望以一種簡化的方式在生成 AI 應用程式中強化關鍵策略和規則，以提供所答即所問的用戶體驗並讓客戶可以更安全地使用該技術。
Amazon Bedrock 的 Guardrails 功能現已推出預覽版，使客戶能夠為生成式 AI 應用程式實施保護措施。這些應用程式根據客戶應用場景和「負責任的 AI」原則定制，因此可以增強用戶互動的安全性和隱私性。Guardrails 功能可以提高 Amazon Bedrock 上模型對應用程式中不良和有害內容回應的一致性。客戶可以將 Guardrails 功能應用於 Amazon Bedrock 上的所有大型語言模型，以及微調模型並與 Amazon Bedrock 代理功能結合使用。要在 Amazon Bedrock 控制台中設定一個 Guardrail，客戶首先要使用自然語言描述來定義應用程式中需要被過濾的話題。客戶還可以設定仇恨言論、侮辱、性語言和暴力的門檻值，以將有害內容過濾到他們想要的水準。於 2024 年初，客戶更可以編輯模型回應中的 PII、設定髒話篩檢程式，並提供自訂單字清單來限制用戶和模型之間的互動。Guardrails 可以自動評估用戶查詢和模型回應，以檢測並防止出現屬於受限類別的內容。客戶可以設定多個 Guardrails 來支援不同的案例，也可以在多個模型中應用相同的 Guardrails。Amazon Bedrock 的 Guardrails 功能透過提供一致的用戶體驗，標準化生成式 AI 應用程式的安全和隱私控制，使客戶能夠安心地進行創新。
電通是全球最大的整合行銷和技術服務提供者之一。電通創新與新興技術執行副總裁 Brian Klochkoff 表示：「我們致力將行銷、技術和諮詢整合起來，協助那些希望造福社會的品牌實現以人為本的轉型。生成式 AI 能夠讓我們更大規模、更快速地為客戶提供服務。這項技術不會取代我們的員工，而是為我們全球 72,000 名員工提供幫助。具體來說，Amazon Bedrock 為我們提供了企業級的控制能力和便捷部署第三方模型的能力，以便我們的產品和技術團隊能夠跨團隊分散使用。這讓團隊能夠在一個安全和負責任的環境下，借助最新、最前沿的生成式 AI 技術進行革新，為客戶打造創新機遇。」
MongoDB 透過釋放軟體和資料的力量，幫助創新者創造、變革和顛覆產業。MongoDB 產品長 Sahir Azam 表示：「越來越多來自各行各業的客戶希望使用生成式 AI 來打造下一代應用程式，但仍然有不少人擔心資料隱私以及 AI 驅動系統輸出的準確性。為了滿足客戶的需求，我們將 MongoDB Atlas 用於 Amazon Bedrock 的知識庫，以便我們的共同客戶可以利用運營資料安全地打造生成式 AI 應用程式，在達到使用者期望的信任度和準確性下創造客製化體驗。通過這種整合，客戶可以存取業界領先的基礎模型，並使用 MongoDB Atlas Vector Search 處理過的資料來打造應用程式，在正確的語境下提供更多相關的輸出。利用 Amazon Bedrock 知識庫中內建的資料隱私最佳實踐，客戶可以節省在生成式 AI 營運上花費的時間，從而更專注於技術部署，在 AWS 上開發更有吸引力的用戶體驗。」
Salesforce 是全球領先的AI客戶關係管理（CRM）公司，透過 AI、CRM 和資料的力量實現高效和可信賴的客戶體驗。
