Amazon EMR kündigt Unterstützung für die Laufzeitinstallation externer Bibliotheken mit EMR-Notebooks an

Sie können jetzt externe Python-Bibliotheken während der Laufzeit mithilfe von EMR-Notizbüchern auf EMR-Clustern installieren. In der Vergangenheit mussten Sie vor dem Starten des EMR-Clusters eine Bootstrap-Aktion oder eine benutzerdefinierte AMI verwenden, um zusätzliche Bibliotheken zu installieren, die nicht mit dem AMI gepackt wurden. Dank dieser Funktion können Sie von Ihrem Notebook aus Ihre bevorzugten Bibliotheken importieren und sie zum Erstellen Ihrer Spark-Anwendung, Analysieren von Daten und Visualisieren der Ergebnisse verwenden. Die Python-Bibliotheken, die Sie mit EMR Notebooks installieren, sind für die Notebook-Sitzung isoliert und beeinträchtigen vorhandene Bibliotheken im EMR-Cluster nicht. Sie können diese Bibliotheken entweder aus öffentlichen oder privaten PyPI-Repositorys importieren. Weitere Informationen über diese Funktion finden Sie unter Verwenden von Notebook-definierten Bibliotheken.
Die Funktion ist ab EMR Version 5.26.0 verfügbar.
EMR Notebooks ist in den Regionen USA Ost (Nord-Virginia und Ohio), USA West (Nordkalifornien und Oregon), Kanada (Zentral), EU (Frankfurt, Irland und London) sowie Asien-Pazifik (Mumbai, Seoul, Singapur, Sydney und Tokio) verfügbar.
 
Quelle: aws.amazon.com