Die SageMaker-Modellparallelität bietet jetzt eine Geschwindigkeit von bis zu 20 % bei weniger Codeänderungen

Heute kündigt AWS eine Hauptversion der Amazon SageMaker Model Parallel Library (SMP) an, die jetzt mit den PyTorch Fully Sharded Data Parallel (FSDP) APIs kompatibel ist und das Training von Deep-Learning-Modellen um bis zu 20 % beschleunigen kann. Mit SMP können Sie das Training großer Modelle mit Milliarden von Parametern beschleunigen, indem Sie das Modell automatisch partitionieren und auf mehrere Acceleratoren und Computing Instances verteilen. Sie können in wenigen Minuten mit SMP beginnen und Ihre vorhandenen PyTorch FSDP-Trainingsskripte mit nur wenigen Codezeilen beschleunigen.
Quelle: aws.amazon.com