Amazon SageMaker ermöglicht es Kunden jetzt, Tausende von GPU-Modellen mit Multi Model Endpoint kosteneffizient zu hosten

Amazon SageMaker Multi-Model Endpoint (MME) ist eine vollständig verwaltete Funktion von SageMaker Inference, die es Kunden ermöglicht, Tausende von Modellen auf einem einzigen Endpunkt bereitzustellen und Kosten zu sparen, indem sie Instances, auf denen die Endpunkte ausgeführt werden, für alle Modelle gemeinsam nutzen. Bis heute wurde MME nur für Machine-Learning-Modelle (ML) unterstützt, die auf CPU-Instances laufen. Jetzt können Kunden MME nutzen, um Tausende von ML-Modellen auch auf GPU-basierten Instances bereitzustellen und so potenziell 90 % der Kosten einzusparen.
Quelle: aws.amazon.com