現已全面開放使用的 NeMo 微服務可整合合作夥伴的平台，作為建立 AI 代理的建構模組，幫助企業利用商業智慧與包括 NVIDIA Llama Nemotron 在內的世界級推理模型完成更多工作。
人工智慧（AI）代理的準確性、相關性與及時性，皆取決於其背後所依賴的資料。
現已全面開放使用的 NVIDIA NeMo 微服務可協助企業 IT 部門快速建立 AI 團隊成員，利用資料飛輪提升員工的生產力。這些微服務為開發人員提供一個端對端平台，用以建立最先進的代理型 AI 系統，並且透過推論和商業資料驅動的資料飛輪，再輔以使用者喜好持續最佳化。
企業 IT 部門利用資料飛輪，能讓 AI 代理成為數位團隊成員。這些代理能利用使用者互動和AI推論過程中產生的資料、持續改善模型效能。這能將使用情況變成寶貴見解，並且將這些見解化為行動。
為代理型AI建立強大的資料飛輪
若沒有資料庫、使用者互動或現實世界訊號等一直源源不絕輸入的高品質內容，代理的理解能力就會變差，造成回應內容不夠可靠，進而降低代理的生產力。
維護和改善生產環境裡支援 AI 代理的模型需要三種資料類型：用於收集見解與適應資料模式不斷發展的推論資料、用於提供智慧的最新業務資料，還有用於告知模型和應用是否如預期運行的使用者回饋資料。NeMo 微服務可以幫助開發人員利用這三種資料。
NeMo 微服務利用端對端工具來庋用、自訂、評估驅動代理的模型，並且保護模型的安全，以加快開發 AI 代理。
包括 NeMo Customizer、NeMo Evaluator 及 NeMo Guardrails在內的 NVIDIA NeMo 微服務，可以搭配 NeMo Retriever 和 NeMo Curator 使用，透過自訂企業資料飛輪，讓企業更輕鬆建立、改善與擴充 AI 代理。使用範例包括：
- ● NeMo Customizer 可以加速微調大型語言模型，將訓練輸送量加大 1.8 倍。這個高效能又具擴充性的微服務使用熱門的後訓練技術，包括監督微調和低秩適應（LoRA）。
- ● NeMo Evaluator 將以自訂與業界基準評估 AI 模型與工作流程的過程，簡化至5次應用程式介面（API）請求。
- ● NeMo Guardrails 在只有額外延遲半秒鐘的情況下，可將保障遵守規定的程度提高 1.4 倍，協助組織實施符合組織政策與指導方針的強大安全和保護措施。
開發人員使用 NeMo 微服務可以建立資料飛輪，提高 AI 代理的精確度與效率。NeMo 微服務透過 NVIDIA AI Enterprise 軟體平台進行部署，操作簡便，可以在本地部署或雲端上執行的任何加速運算基礎架構上，並具備企業等級的安全性、穩定性與技術支援。
這些微服務正式開放使用之際，正迎合企業建置大規模多代理系統的浪潮。數百個各有不同目標與工作流程的專門代理，將以數位團隊成員之姿與員工並肩作業，協助、強化及加快處理跨職能的工作，協同處理各種複雜任務。
這種對於整個企業的影響，使得 AI 代理成為市值上兆美元的商機。其應用範圍涵蓋自動偵測詐欺活動、購物助理、預測性機器維護、文件審查等，潛力無可限量，且凸顯出資料飛輪在將商業資料轉換為可行見解方面所扮演的重要角色。
產業先驅利用NeMo微服務提高AI代理的準確性
NVIDIA 的合作夥伴與產業先驅利用 NeMo 微服務建立反應迅速的 AI 代理平台，讓數位團隊成員能夠協助完成更多工作。
AT&T 攜手 Arize 及 Quantiphi，利用 NVIDIA NeMo 打造一個先進的 AI 代理，專門用來處理內有近一萬份每週更新的知識庫文件。這款具可擴充的高效能 AI 代理針對三大重點業務項目進行微調：速度、成本效益與準確性。而隨著採用的規模日漸增大，這三者的重要性日漸顯著。
AT&T 透過微調 Mistral 7B 模型，使用 NeMo Customizer 和 Evaluator 將 AI 代理的準確性提高 40%，以協助提供個人化服務、防止詐欺及提高網路效能。
貝萊德使用 NeMo 微服務，在該公司的 Aladdin 技術平台上提供代理型 AI，透過通用資料語言整合投資管理流程。
思科的 Outshift 團隊與 Galileo 合作，使用 NVIDIA NeMo 微服務來支援程式碼編寫助理，可以將工具選擇錯誤率降低 40%，回應速度加快 10 倍。
納斯達克使用 NeMo Retriever 微服務與 NVIDIA NIM 微服務，以加速該公司 Nasdaq Gen AI 平台。NeMo Retriever 增強這個平台的搜尋功能，除了達到節省成本的目的，還將準確性和回應速度提高 30%。
NeMo微服務廣泛支援主流模型與合作夥伴生態系
NeMo 微服務支援各種熱門的開源模型，包括 Llama、微軟的Phi 系列小型語言模型、Google Gemma、Mistral ，以及Llama Nemotron Ultra這個目前在科學推理、程式碼編寫與複雜數學基準測試方面有著頂尖表現的開源模型。
Meta 透過 Meta Llamastack 的全新連接器來利用 NVIDIA NeMo 微服務。使用者可以透過API使用 Customizer、Evaluator 和 Guardrails 的完整功能，讓他們能夠在自己的開發環境中執行整套的代理建置工作流程。
Meta GenAI 部門的軟體工程師 Raghotham Murthy 表示：「透過整合 Llamastack，開發代理的工程師們便能使用有著 NeMo 微服務支援的資料飛輪。這樣他們便能一直改善模型，提高準確性和效率，並且降低總持有成本。」
Cloudera、Datadog、Dataiku、DataRobot、DataStax、SuperAnnotate、Weights & Biases 等多家領先的 AI 軟體供應商，皆將各自的平台與 NeMo 微服務整合。開發人員同樣可以在熱門的 AI 框架中使用 NeMo 微服務，包括 CrewAI、Haystack by deepset、LangChain、LlamaIndex 和 Llamastack。
企業可以使用 NVIDIA 認證儲存裝置合作夥伴提供的 NVIDIA AI Data Platform 產品，透過 NeMo Retriever 微服務建置資料飛輪。NVIDIA 認證儲存裝置合作夥伴提包括 DDN、戴爾科技、慧與科技、Hitachi Vantara、IBM、NetApp、Nutanix、Pure Storage、VAST Data 及 WEKA。
包括 Amdocs、Cadence、Cohesity、SAP、ServiceNow 和 Synopsys 在內的各大企業平台也已經在各自的 AI 代理解決方案中使用 NeMo Retriever 微服務。
企業可以在戴爾、思科、慧與科技 and 聯想等領先系統供應商所提供的 NVIDIA 加速基礎架構、網路和軟體上運行 AI 代理。
包括埃森哲、德勤及安永在內的顧問業龍頭都在使用 NeMo 微服務為企業建置 AI 代理平台。
開發人員可以從 NVIDIA NGC 目錄下載 NeMo 微服務。這些微服務可作為 NVIDIA AI Enterprise 的一部分進行部署，並且提供有著更長生命週期的軟體分支，以確保API的穩定性、主動安全修復與企業等級的支援服務。
▼Enhance Your AI Agent with Data Flywheels Using NVIDIA NeMo Microservices
