Amazon Bedrock上新專有模型導入、模型評估等功能

4月24日消息，美東時間23日，亞馬遜云科技宣布推出Amazon Bedrock的全新功能，為客戶提供了一種更簡單、更快捷、更安全的方法，幫助客戶開發(fā)先進的生成式AI應用。

同時，Amazon Bedrock還上新了更多模型選擇：包括針對使用RAG的應用場景優(yōu)化后的Amazon Titan Text Embeddings V2、正式可用的Titan Image Generator，以及Meta Llama 3基礎模型已正式可用，Cohere的Command R和Command R+模型也即將推出。

這次Amazon Bedrock上新的功能包括：

1、全新的專有模型導入功能讓客戶更輕松地將其專屬模型導入到Amazon Bedrock中，減少運營成本并加速應用程序的開發(fā)。

據(jù)介紹，現(xiàn)在，借助全新的Amazon Bedrock專有模型導入功能，企業(yè)現(xiàn)在能夠將自己的定制模型導入到Amazon Bedrock中，以完全托管的API形式進行訪問。

只需點擊幾下，企業(yè)用戶即可將他們使用Amazon SageMaker或其他工具開發(fā)的模型集成到Amazon Bedrock平臺上。

模型通過自動化驗證流程后，企業(yè)用戶便可像訪問平臺上其他模型一樣，訪問自己的定制模型，同時享受到目前Amazon Bedrock所具備的所有服務——包括無縫的可擴展性、強大的應用保護能力、遵循負責任的AI原則、利用檢索增強生成（RAG）擴充模型知識庫、輕松創(chuàng)建用于完成多步任務的代理（Agents）、進行微調以持續(xù)訓練和優(yōu)化模型，且無需管理底層基礎設施。

這一新功能讓企業(yè)能夠輕松地通過同一API訪問Amazon Bedrock的模型與自己的定制模型。

據(jù)悉，Amazon Bedrock專有模型導入功能現(xiàn)已推出預覽版并支持三種最受歡迎的開放模型架構：Flan-T5、Llama和Mistral，并計劃未來支持更多模型。

2、全新的模型評估功能使企業(yè)用戶能夠廣泛且便捷地選擇完全托管模型，讓評估模型的時間從幾個星期縮短到幾個小時。

構建生成式AI應用程序的關鍵一步是找到合適的模型，而選擇特定應用場景的最佳模型則需要客戶在準確性和性能之間達成微妙的平衡?，F(xiàn)在，企業(yè)還需要花費大量時間分析每個新模型如何滿足他們的應用場景。

今天，Amazon Bedrock的模型評估功能已正式可用，亞馬遜云科技表示它是企業(yè)快速分析和比較Amazon Bedrock上模型的最快方式，讓評估模型的時間從幾個星期縮短到幾個小時。

企業(yè)用戶通過選擇預定義的評估標準（例如準確性和魯棒性）并上傳自有數(shù)據(jù)集/提示詞庫，或者從內置的、公開可用的資源中進行選擇。對于主觀標準或需要細致判斷的內容，Amazon Bedrock使客戶能夠將人工審核融入工作流程中，以根據(jù)特定應用場景的指標（如相關性、風格和品牌聲音）對模型進行評估。

一旦設置完成，Amazon Bedrock將運行評估并生成報告，使客戶能夠輕松了解模型在關鍵指標上的表現(xiàn)，并迅速選擇最適合其應用場景的模型。

3、Amazon Bedrock Guardrails功能正式可用，企業(yè)用戶可以利用該功能輕松實施防護措施，去除個人信息和敏感信息、褻瀆語言、特定詞匯并屏蔽有害內容。

許多模型使用內置控制來過濾不良和有害內容，亞馬遜云科技表示，其大多數(shù)客戶希望進一步定制他們的生成式AI應用程序，以確保生成結果更具相關性，在符合公司政策的同時遵循負責任的AI原則。

現(xiàn)在，Amazon Bedrock的Guardrails功能已正式可用，它在基礎模型的原生能力之上提供了行業(yè)領先的安全保護，能夠幫助客戶阻止高達85%的有害內容。

Guardrails允許客戶在單一服務中同時擁有內置和定制的防護機制，并可與Amazon Bedrock中的所有大語言模型（LLMs）以及經過微調的模型一起使用。

要創(chuàng)建一個Guardrail，客戶只需提供一個自然語言描述來定義其應用程序上下文中不予顯示的主題即可。此外，客戶還可以設置閾值以過濾如仇恨言論、侮辱、黃色用語、或在提示詞中含有攻擊和暴力性等內容，并設置過濾器來移除任何個人信息和敏感信息、褻瀆言論或特定的屏蔽詞。

生成海報