AWS Glue umfasst Crawler, die auf Amazon-S3-Ereignisbenachrichtigungen basieren. Durch diese Funktion wird das Auffinden von Datensätzen vereinfacht, indem nur auf Amazon-S3-Ereignissen basierende Daten gescannt werden. Der Glue-Crawler extrahiert das Datenschema und pflegt es automatisch in den AWS-Glue-Datenkatalog ein, so dass die Metadaten immer aktuell sind. Durch das Crawlen von auf S3-Ereignissen basierenden Datensätzen wird die Zeit bis zum Erhalt von Erkenntnissen verkürzt, indem neu aufgenommene Daten schnell für die Analyse mit deinen bevorzugten Analyse- und Machine-Learning-Tools verfügbar gemacht werden.
Quelle: aws.amazon.com
AWS-Glue-Crawlers unterstützen inkrementelles Crawling von Amazon S3 auf bestehenden Tabellen von AWS-Glue-Datenkatalog
Published by