Themen
anbei die Fragen unserer Mitarbeiter mit DataStage Erfahrung mit der Bitte diese an den Trainer weiterzuleiten:
Diverse Abhängigkeitsanalysen, z.B. wie finde ich am einfachsten heraus…
- ob bzw. wo ein bestimmtes Shared Container verwendet wird?
- ob bzw. wo ein bestimmtes Data Set verwendet wird bzw. am Verwendungsort: wo es bestückt wird?
- wo eine bestimmte Datenbanktabelle / bestimmtes Datenbankfeld verwendet wird?
- ob bzw. wo ein Job Parameter zur Verwendung kommt?
Debugging-Möglichkeiten / Optionen
- konkretes Beispiel: Wie finde ich die Ursache der folgenden Fehlermeldung aus? Wie kann mir dabei die Enviroment Variable $APT_DISABLE_COMBINATION helfen bzw. wo und wie setze ich diese?
APT_CombinedOperatorController(1),0: Field '...' from input dataset '0' is NULL. Record dropped.
- siehe auch z.B. http://datassistance.blogspot.com/2015/06/null-or-empty-string-argument-warning.html
Error handling best practices
Logging
- Ist ein Customizing von Logs unter Verwendung von Log-Levels möglich („so wenig wir nötig“ vs. „so viel wie möglich“)?
- Einstellungen zur Aufbewahrung von Logeinträgen, wie z.B. Persistierungsort / Auto Purge
- (semi-)automatisierte Analysemöglichkeiten für Logeinträge (z.B. systematische Suche nach bestimmten Warnings in sämtlichen Job-Logs)
Partitioning und Sorting
- Join Stage: Wann benutzt man welchen Partition Type…Auto vs. Hash z.B.?
- Welche Einstellungen bei welchen Stages ergeben die optimale Performance?
- Was sind die Kriterien für die Auswahl bestimmter Partionierungen?
- Wie hat die Sortierung Einfluss auf die Performance?
Prozessing allgemein
- Wo führt man am besten eine Datentypkonvertierung durch. Im SQL im ORA-Reader oder besser in einem Transformer?
- Wann ist es sinnvoll im ORA-Reader das „Key“ Feld bei den Input-Colums zu verwenden?
- Allgemein, was sind gute Design-Patterns für ETL-Jobs.. generelle Regeln für performante ETLs wären super
DSEngine:
- wie kann man gelockte ETLs per Console entsperren?
- was kann man über Konsole zusätzlich an Informationen gewinnen
ETL Versionierung:
- kann man ETLs auch mit GIT versionieren?
- wie würde man Massenänderungen vornehmen, wenn man die exportiertes dsx Files vorliegen hat
- gibt es dazu Tools?
- Was ist der Unterschied zwischen einem dsx Export und einem OSH?