SageMaker kündigt die ml.inf2- und ml.trn1-Instances für die Modellbereitstellung an

Wir freuen uns, die Verfügbarkeit der Instance-Familien ml.inf2 und ml.trn1 in Amazon SageMaker für die Bereitstellung von Machine-Learning-Modellen (ML) für Echtzeit- und asynchrone Inferenz bekannt zu geben. Sie können diese Instances in SageMaker verwenden, um eine hohe Leistung bei niedrigen Kosten für generative künstliche Intelligenz (KI) zu erzielen, einschließlich großer Sprachmodelle (LLMs) und Vision Transformers. Darüber hinaus können Sie den SageMaker Inference Recommender verwenden, um Lasttests durchzuführen und die Preis-Leistungs-Vorteile zu bewerten, die sich aus der Bereitstellung Ihres Modells auf diesen Instances ergeben.
Quelle: aws.amazon.com