Amazon SageMaker führt neue Inferenzfunktionen ein, um Kosten und Latenz zu reduzieren

Wir freuen uns, Ihnen neue Funktionen in Amazon SageMaker vorstellen zu können, mit denen Kunden die Kosten für die Modellbereitstellung im Durchschnitt um 50% und die Inferenzlatenz im Durchschnitt um 20% senken können. Kunden können mehrere Modelle auf derselben Instance bereitstellen, um die zugrunde liegenden Beschleuniger besser nutzen zu können. SageMaker überwacht aktiv Instances, die Inferenzanfragen verarbeiten, und leitet Anfragen intelligent weiter, je nachdem, welche Instanzen verfügbar sind.
Quelle: aws.amazon.com