Amazon EMR auf EKS unterstützt jetzt Spark SQL über die StartJobRun-API

Wir freuen uns, ankündigen zu können, dass Amazon EMR auf EKS Version 6.7.0 und neuer die Fähigkeit zur Ausführung von Apache Spark SQL-Skripten über die StartJobRun API umfasst. Spark SQL ist ein Spark-Modul zur strukturierten Datenverarbeitung. Anders als die Spark DataFrame API stellen Spark SQL-Schnittstellen Spark mehr Informationen zur Struktur sowohl der Daten wie auch der durchgeführten Berechnungen zur Verfügung. Intern verwendet Spark SQL diese zusätzlichen Informationen für weitere Optimierungen. Mit dieser Veröffentlichung können Sie Spark SQL-Abfragen und Spark SQL-basierte ETL-Pipelines direkt über die StartJobRun-API von Amazon EMR auf EKS ausführen.
Quelle: aws.amazon.com