Themen

anbei die Fragen unserer Mitarbeiter mit DataStage Erfahrung mit der Bitte diese an den Trainer weiterzuleiten:

 

Diverse Abhängigkeitsanalysen, z.B. wie finde ich am einfachsten heraus…

  • ob bzw. wo ein bestimmtes Shared Container verwendet wird?
  • ob bzw. wo ein bestimmtes Data Set verwendet wird bzw. am Verwendungsort: wo es bestückt wird?
  • wo eine bestimmte Datenbanktabelle / bestimmtes Datenbankfeld verwendet wird?
  • ob bzw. wo ein Job Parameter zur Verwendung kommt?

 

Debugging-Möglichkeiten / Optionen

  • konkretes Beispiel: Wie finde ich die Ursache der folgenden Fehlermeldung aus? Wie kann mir dabei die Enviroment Variable $APT_DISABLE_COMBINATION helfen bzw. wo und wie setze ich diese?
    APT_CombinedOperatorController(1),0: Field '...' from input dataset '0' is NULL. Record dropped.

 

Error handling best practices

 

Logging

  • Ist ein Customizing von Logs unter Verwendung von Log-Levels möglich („so wenig wir nötig“ vs. „so viel wie möglich“)?
  • Einstellungen zur Aufbewahrung von Logeinträgen, wie z.B. Persistierungsort / Auto Purge
  • (semi-)automatisierte Analysemöglichkeiten für Logeinträge (z.B. systematische Suche nach bestimmten Warnings in sämtlichen Job-Logs)

 

Partitioning und Sorting

  • Join Stage: Wann benutzt man welchen Partition Type…Auto vs. Hash z.B.?
  • Welche Einstellungen bei welchen Stages ergeben die optimale Performance?
  • Was sind die Kriterien für die Auswahl bestimmter Partionierungen?
  • Wie hat die Sortierung Einfluss auf die Performance?

 

Prozessing allgemein

  • Wo führt man am besten eine Datentypkonvertierung durch. Im SQL im ORA-Reader oder besser in einem Transformer?
  • Wann ist es sinnvoll im ORA-Reader das „Key“ Feld bei den Input-Colums zu verwenden?
  • Allgemein, was sind gute Design-Patterns für ETL-Jobs.. generelle Regeln für performante ETLs wären super

 

DSEngine:

  • wie kann man gelockte ETLs per Console entsperren?
  • was kann man über Konsole zusätzlich an Informationen gewinnen

 

ETL Versionierung:

  • kann man ETLs auch mit GIT versionieren?
  • wie würde man Massenänderungen vornehmen, wenn man die exportiertes dsx Files vorliegen hat
  • gibt es dazu Tools?
  • Was ist der Unterschied zwischen einem dsx Export und einem OSH?