Amazon Web Services ( AWS )推出 Amazon OpenSearch Serverless 向量引擎預覽版,提供相似搜尋功能,幫助用戶能開發包括機械學習(ML)的增強搜尋體驗和生成式 AI 應用程式,毋須管理底層向量數據庫基礎設施。
機械學習增強搜尋應用和生成式 AI 應用程式需要使用向量嵌入( Vector embeddings ),即以數碼方式表示文本、圖像、音訊和影片的數據,可用來生成動態的相關內容。向量嵌入基於用戶私有數據進行訓練,代表資訊的語義和內容屬性。這些嵌入若能就近儲存和管理最為理想,如接近現有的搜尋引擎或數據庫等特定領域數據集。用戶因而能夠透過處理查詢找到最近的向量,並與其他詮釋數據結合,進而整合搜尋結果。這過程毋須依賴外部數據來源或其他應用程式。Amazon OpenSearch Serverless 向量引擎擴展 Amazon OpenSearch 的搜尋能力,讓用戶能即時儲存、搜尋和追溯數十億向量嵌入,並精準地相似性匹配和語義搜尋,毋須考慮底層基礎設施。
該向量引擎可自動調整資源來適應不斷變化的工作負載模式和需求,即使向量數量從原型設計期間的數千個激增至生產環境中的數億個,也可無縫擴展,毋須重新索引或重新載入數據來擴大基礎設施。
此外,向量引擎為索引和工作負載搜尋提供單獨的運算資源,讓用戶可即時獲得、更新和刪除向量,同時確保查詢效能不受影響。所有數據儲存在 Amazon Simple Storage Service(Amazon S3 )中,因此用戶可以獲得與 Amazon S3 相同的數據持久性保證。
AWS 指出,此向量引擎由開源 OpenSearch 專案中的 k 近鄰( kNN )搜尋功能提供支援,可容納 16,000 個維度,適合支援各種基礎模型及其他 AI/ML 模型。用戶還可儲存各種數據的不同欄位,例如詮釋數據中的數碼、布林值、日期、關鍵字和地理位置,以及包含描述性資訊的文本等,來為儲存的向量添加更多上下文資訊。多種類型數據的合併能降低複雜性,提升可維護性,並且避免數據重複、版本相容性挑戰和授權問題,有助簡化應用程式堆疊。向量引擎還支援相同的 OpenSearch 開源套件 API,利用其查詢功能,例如全文檢索搜尋、進階篩選、聚合、地理空間查詢、巢狀查詢,加快數據檢索和增強搜尋結果。
另外,在向量引擎正式可用之前,AWS 計畫推出兩項功能幫助用戶降低首個集合的成本。第一項功能是新的開發-測試( dev-test )選項,能在沒有備份或副本的情況下開始集成,進而將入門成本降低 50%。第二項功能是在初始階段配置 0.5 OCU( OpenSearch 計算單位)資源,資源將根據實際工作負載擴展;如果初始工作負載的規模是數萬到數十萬個向量(取決於維度數量),用戶可進一步降低成本。除了這兩項功能外,AWS 將把支援用戶首個集合所需的最低 OCU 從每小時 4 個降至每小時 1 個。
Amazon OpenSearch Serverless 向量引擎預覽版現已在全球八個地理區域可用:美國東部(俄亥俄州)、美國東部(弗吉尼亞州北部)、美國西部(俄勒岡州)、亞太地區(新加坡)、亞太地區(悉尼)、亞太地區(東京)、歐洲(法蘭克福)和歐洲(愛爾蘭)。