Amazon MemoryDB biedt de snelste vectorzoekopdracht op AWS

AWS heeft onlangs aangekondigd… Algemene beschikbaarheid van zoeken naar vectoren Voor Amazon MemoryDB: een in het geheugen beheerde database met beschikbaarheid in meerdere beschikbaarheidszones. De nieuwe mogelijkheid levert een extreem lage latentie en de snelste vectorzoekprestaties met de hoogste terugroeppercentages onder vectordatabases op AWS.

Amazon MemoryDB, gelanceerd in 2021, is een Redis-compatibele, duurzame in-memory database. Het is nu de aanbevolen beheerde keuze voor het zoeken naar vectoren op AWS in scenario's zoals generatieve AI-toepassingen waarbij maximale prestaties het belangrijkste selectiecriterium zijn. Chani YunLead Developer Advocate bij AWS, Hij schrijft:

Met Amazon MemoryDB vector search kun je de bestaande MemoryDB API gebruiken om generatieve AI-gebruiksscenario's te implementeren, zoals Retrieval Augmented Generation (RAG), detectie van anomalie (fraude), het ophalen van documenten en real-time aanbevelingsengines. U kunt ook vectorinsluitingen maken met behulp van kunstmatige intelligentie en machine learning (AI/ML)-services zoals Amazon Bedrock en Amazon SageMaker en deze opslaan in MemoryDB.

Ontwikkelaars kunnen vectorinsluitingen maken met behulp van beheerde services zoals Amazon Bedrock en SageMaker en deze opslaan in MemoryDB voor realtime semantische RAG-zoekopdrachten, duurzame semantische opslag met lage latentie en realtime detectie van afwijkingen.

Zoek een vector voor MemoryDB Het ondersteunt de opslag van miljoenen vectoren met behulp van zoekopdrachten van één cijfer in milliseconden en biedt de hoogste wachttijden voor updates met een herinnering van meer dan 99%. Yoon voegt toe:

Met MemoryDB vector zoeken kunt u fraude detecteren door frauduleuze transacties te modelleren op basis van uw batch machine learning-modellen, en vervolgens normale en frauduleuze transacties in MemoryDB te laden om hun vectorrepresentaties te genereren via statistische analysetechnieken zoals Principal Components Analysis (PCA).

Bron: AWS-blog

Het nieuwe vermogen was Uitgebracht als preview op re:Invent 2023 De nieuwste publieke release biedt nieuwe functies en verbeteringen. Deze functies omvatten: Vector bereikwaardoor de database kan fungeren als een duurzame, semantische cache met lage latentie een resultaatwaardoor gelijkenis beter wordt gefilterd. Vectorvelden ondersteunen k-neast neighbour (KNN) bij het zoeken naar vectoren met een vaste grootte met behulp van flattened search (FLAT) en hiërarchische navigeerbare kleine werelden (HNSW).

MemoryDB is niet de enige beheerde database op AWS die zoeken naar vectoren ondersteunt. Van de verschillende diensten die zich richten op generatieve AI-workloads, hebben OpenSearch, Aurora PostgreSQL, RDS PostgreSQL, Neptune en DocumentDB het afgelopen jaar vectorgerelateerde functionaliteit geïntroduceerd. Vinod Jogi, directeur Software Engineering bij Bank of America, opmerkingen:

Ik heb de markt voor vectordatabases in de gaten gehouden, die snel is gegroeid en er veel nieuwe producten zijn verschenen. (…) Deskundigen zijn van mening dat de markt overvol is geworden, waardoor het moeilijk wordt voor nieuwe producten om zich te onderscheiden te midden van de overvloed aan bestaande opties.

Shion Sanyal En Graham KochikDe toegewijde architecten van databaseoplossingen van AWS geven details over… Belangrijke overwegingen bij het kiezen van een database voor generatieve AI-toepassingen. Zij suggereren:

Als u OpenSearch, Aurora PostgreSQL, RDS for PostgreSQL, DocumentDB of MemoryDB al gebruikt, profiteer dan van de vectorzoekmogelijkheden voor uw bestaande gegevens. Voor op grafieken gebaseerde RAG-toepassingen kunt u Amazon Neptune overwegen. Als uw gegevens zijn opgeslagen in DynamoDB, kan OpenSearch een uitstekende optie zijn voor het zoeken naar vectoren zonder ETL-integratie. Als u nog steeds niet zeker bent, gebruik dan de OpenSearch-service.

Alle cloudproviders hebben onlangs vectorzoekmogelijkheden geïntroduceerd om te concurreren met vectordatabases zoals dennenappel En zonder bediende Cache-geheugenZo berichtte InfoQ eerder over Google BigQuery en Microsoft Vector Search.

Zoeken naar vectoren is beschikbaar voor Amazon MemoryDB versie 7.1 en configuratie met één chip in alle regio's waar de database beschikbaar is.