טרנספורמציות אינפורמטיקה: הלב והנשמה של Informatica PowerCenter

טרנספורמציות Informatica הן אובייקטים במאגר שיכולים לקרוא, לשנות או להעביר נתונים למבני היעד המוגדרים כמו טבלאות, קבצים או כל יעד אחר שנדרש. טרנספורמציה משמשת בעצם כדי לייצג סט של כללים, המגדירים את זרימת הנתונים ואופן טעינת הנתונים ליעדים. Informatica PowerCenter מספק טרנספורמציות מרובות, כל אחת מהן משרתת פונקציונליות מסוימת.בנוסף, כאשר אינפורמטיקה מובילה את השוק כיום בפלטפורמת שילוב הנתונים, אינפורמטיקה טרנספורמציות מגיעות כמושג מכריע הנדרש .

כדי להבין טוב יותר את טרנספורמציות האינפורמטיקה, הבה נבין תחילה מהי מיפוי? מיפוי הוא אוסף של אובייקטים מקוריים ויעדיים המקושרים יחד על ידי קבוצת טרנספורמציות. מכאן שהטרנספורמציות במיפוי מייצגות את הפעולות ששירות האינטגרציה יבצע בנתונים במהלך ביצוע זרימת העבודה. כדי להבין טוב יותר את זרימת העבודה, תוכל לבדוק את הבלוג שלנו מדריך אינפורמטיקה: ניהול זרימת עבודה

מהם התמורות אינפורמטיקה שונות?

ניתן לסווג טרנספורמציות אינפורמטיקה לשתי קטגוריות. ראשית על סמך הקישוריות (קישור במיפוי) של התמורות האחת עם השנייה והשנייה מבוססת על השינוי במספר השורות הכולל בין המקור למטרה. נתחיל במבט על טרנספורמציות Informatica המבוססות על קישוריות.

1) סוגי טרנספורמציות באינפורמטיקה המבוססים על קישוריות:

• טרנספורמציות מחוברות.
• טרנספורמציות לא מחוברות.

ב- Informatica, התמורות המחוברות לתמורה אחת או יותר נקראות בשם טרנספורמציות מחוברות .

נעשה שימוש בטרנספורמציות המחוברות כאשר לכל שורת קלט נקראת טרנספורמציה והיא צפויה להחזיר ערך. לדוגמא, אנו יכולים להשתמש בתמורה לחיפוש מחובר כדי לדעת את שמות כל עובד העובד במחלקה ספציפית על ידי ציון מזהה המחלקה בביטוי החיפוש.

חלק מהטרנספורמציות העיקריות המחוברות אינפורמטיקה הן Aggregator, Router, Joiner, Normalizer וכו '.

התמורות האלה שאינן מחוברות לתמורות אחרות נקראות טרנספורמציות לא מחוברות .הפונקציונליות שלהם משמשת על ידי קריאתם לתמורות אחרות כמו טרנספורמציה של ביטוי. טרנספורמציות אלה אינן חלק מצינור המיפוי.

נעשה שימוש בתמורות הלא מחוברות כאשר הפונקציונליות שלהן נדרשת רק על סמך תנאים מסוימים.לדוגמא, כמתכנת אתה מעוניין לבצע פעולה מסובכת בנתוניםאינך מעוניין להשתמש בטרנספורמציות של Informatica כמו ביטויים או טרנספורמציות סינון כדי לבצע פעולה זו. במקרה כזה, אתה יכול ליצור DLL חיצוני או ספרייה משותפת של UNIX עם הקודים לביצוע הפעולה ולקרוא להם בשינוי הליך חיצוני.

ישנם 3 טרנספורמציות אינפורמטיקה, כלומר. נוהל חיצוני, בדיקה ופרוצדורה מאוחסנת אשר ניתן לחברם במיפוי חוקי (מיפוי אותו יכול שירות האינטגרציה לבצע).

2) סוגי טרנספורמציות אינפורמטיקה המבוססות על השינוי במספר השורות

• טרנספורמציות אקטיביות
• טרנספורמציות פסיביות

טרנספורמציות אקטיביות :- שינוי פעיל יכול לבצע אחת מהפעולות הבאות:

• שנה את מספר השורות שעוברות את השינוי: למשל, טרנספורמציית המסנן פעילה מכיוון שהיא מסירה שורות שאינן עומדות בתנאי המסנן.
• שנה את גבול העסקה: גבול העסקה הוא גבול העוטף את כל העסקאות לפני קריאת התחייבות או בין שתי שיחות התחייבות. לדוגמא, במהלך פעולת עסקה, המשתמש מרגיש כי לאחר עסקאות מסוימות נדרשת התחייבות וקורא לפקודת commit ליצור נקודת שמירה ועל ידי כך המשתמש משנה את גבול העסקה המוגדר כברירת מחדל. כברירת מחדל, גבול העסקה נמצא בין תחילת הקובץ לנקודת התחייבות אוטומטית או EOF.
• שנה את המאפיין rowtype: המאפיין Rowtype הוא סוג רשומה המייצג שורה בטבלה. הרשומה יכולה לאחסן שורה שלמה של נתונים שנבחרה מהטבלה או לאחזר ממצביע או משתנה מצביע. לדוגמה, שינוי אסטרטגיית העדכון מסמן את סוג השורות כ- 0 להכנסת ערכים, 1 לעדכון, 2 למחיקה או 3 לדחייה.
• Aggregator, Filter, Joiner, Normalizer וכו 'הם כמה דוגמאות לשינוי פעיל.

טרנספורמציה פסיבית : טרנספורמציה פסיבית היא זו שתספק את כל התנאים הללו:

• מספר השורות לפני ואחרי השינוי זהה.
• שומר על גבול העסקה.
• שומר על המאפיין rowtype.
• ביטוי, ExternalProcedure, HTTP וכו 'הם כמה דוגמאות לשינוי פסיבי.

בשינוי הפסיבי, לא נוצרות שורות חדשות או שורות קיימות נושרות.

אתה בטח תוהה מדוע משתמשים בתמורות פסיביות אם הם לא משנים את מספר השורות. הם משמשים בדרך כלל לעדכון ערכים, קריאה להליך חיצוני מספרייה משותפת ולהגדרת קלט ופלט של מייפלטים. מייפל הוא אוסף של התמורות בלבד מהמיפוי. לדוגמא, עבור מסד נתונים של סטודנטים אנו רוצים לעדכן את ערכי עמודות הסימנים לאחוזון במקום האחוז, ניתן לעשות זאת באמצעות טרנספורמציית ביטוי שתמיר את הערכים ותעדכן באותן עמודות תוך שמירה על מספר השורות הכללי אחרי התמורות.

אין מגבלה שאם נעשה שימוש בטרנספורמציה כטרנספורמציה פסיבית, לא ניתן להשתמש בה מאוחר יותר כטרנספורמציה פעילה. באופן דומה, טרנספורמציה לא מחוברת יכולה לשמש כטרנספורמציה מחוברת לפי הצרכים. ניתן ליצור את כל השילובים האפשריים בין קטגוריות אלה וזה הקסם של טרנספורמציות אינפורמטיקה. תוכלו לקבל מושג טוב יותר בהמשך הבלוג הזה לגבי הסוגים האפשריים שהטרנספורמציה יכולה להיות שייכת אליהם.

עכשיו שקיבלנו הבנה של הסוגים השונים של טרנספורמציות אינפורמטיקה, נתחיל לחקור אותם.להלן כמה סוגים עיקריים של טרנספורמציות אינפורמטיקה:

בואו נתחיל עכשיו להסתכל על השינויים בזה אחר זה.

טרנספורמציה צבירה

טרנספורמציה צבירה היא טרנספורמציה פעילה ומחוברת. שינוי אינפורמטיקה זה שימושי לביצוע חישובים כגון ממוצעים וסכומים (בעיקר לביצוע חישובים במספר שורות או קבוצות). לדוגמא, לחישוב המספר הכולל של המכירות היומיות או לחישוב הממוצע של המכירות החודשיות או השנתיות. ניתן להשתמש בפונקציות מצטברות כגון AVG, FIRST, COUNT, PERCENTILE, MAX, SUM וכו '.

שינוי בדיקת מידע

טרנספורמציית בדיקת מידע היא טרנספורמציית Informatica הפופולרית והנפוצה ביותר. בהתבסס על הדרישה של המשתמש, ניתן להשתמש בשינוי החיפוש כטרנספורמציה מחוברת או לא מחוברת המשלבת אותה כטרנספורמציה אקטיבית או פסיבית. אניt משמש בעיקר כדי לחפש את הפרטים ממקור, ממוקד המקור או ממטרה על מנת לקבל נתונים נדרשים רלוונטיים. אתה יכול גם לחפש 'קובץ שטוח', 'טבלת יחס', 'תצוגה' או 'שם נרדף'. אפשר להשתמש בתמורות בדיקת מידע מרובות במיפוי.

טרנספורמציית החיפוש נוצרת עם היציאות הבאות (נקודות לוגיות להעברת מידע):

• יציאת קלט (I)
• יציאת יציאה (O)
• חפש יציאות (L)
• יציאת החזרה (R) (רק במקרה של חיפוש לא מחובר)

ההבדלים בין טרנספורמציית בדיקת מחוברים ללא מחוברים:

היתרונות של עומס יתר בשיטה בג'אווה

• חיפוש מחובר מקבל ערכי קלט ישירות מצינור המיפוי, ואילו חיפוש לא מחובר מקבל ערכים מהחיפוש ביטוי משינוי אחר. מיפוי ב- Informatica עשוי להכיל מקור, טרנספורמציות ויעדים המחוברים יחד נחשבים כצינור.
• חיפוש מחובר מחזיר מספר עמודות מאותה שורה שכן יש להם מספר יציאות החזרה, היכןסלחיפוש לא מחובר יש יציאת החזרה אחת בלבד ומחזיר עמודה אחת מכל שורה. לדוגמא, אם אנו משתמשים בחיפוש מחובר במסד נתונים לעובדים עבור מזהה מחלקה ספציפי כפרמטר, אנו יכולים לקבל את כל הפרטים הקשורים לעובדי אותה מחלקה כמו שמותיהם, מספר תעודת הזהות שלהם, כתובת וכו ', ואילו עם בדיקה לא מחוברת אנו יכולים לקבל רק מאפיין אחד של העובד כמו שם או מספר תעודת זהות לעובד או כל מאפיין שצוין על ידי המשתמש.
• חיפושים מחוברים שומרים במטמון את כל עמודות החיפוש, ואילו חיפוש לא מחובר שומר רק את פלט החיפוש ותנאי החיפוש.
• חיפוש מחובר תומך בערכי ברירת מחדל המוגדרים על ידי המשתמש, ואילו חיפוש לא מחובר אינו תומך בערכים המוגדרים על ידי המשתמש. לדוגמא, אם ברצונך לשנות את כל הערכים של עמודה מסוימת ל- NULL לאחר בדיקה, תוכל להגדיר את ערך ברירת המחדל של העמודות הללו ל- NULL בביטויי החיפוש. עם זאת, תכונה זו אינה אפשרית במקרה של חיפוש לא מחובר.

נניח ממאגר לקוחות, ברצוני לדעת את פרטי הלקוחות שיש להם יותר מחשבונית שאינה מבוטלת. כדי להשיג נתונים אלה, אנו יכולים להשתמש בשינוי בדיקת מידע.

להלן השלבים.

1. התחל על ידי טעינת טבלת החשבוניות כמקור למעצב המיפוי. במקרה שלא ברור לך כיצד לטעון נתוני מקור למעצב, לחץ כאן .
2. בואו נסנן כעת את החשבוניות שאינן מבוטלות. לשם כך צור מסנן חדש בשם fil_ODS_CUSTOMER_ACTIVE למוקדמת המקור עם הנכס לא (ISNULL (DATE_CLOSED)) ובוטל = 0.
3. כעת הוסף טרנספורמציה של המעצב כפי שנראה למטה עם שם כ- lkp_CUSTOMER :
   
   
4. ציין את טבלת החיפוש כטבלת הלקוחות.
5. לחץ פעמיים על הכותרת של lkp_CUSTOMER כדי לפתוח את תפריט העריכה. בכרטיסיה תנאי הגדר את מצב החיפוש כ- CUST_ID = CUST_NO.
6. בכרטיסיה מאפיינים שנה את פרטי החיבור ל מקור $ ולחץ על בסדר כדי להציל את השינוי:
7. קשר את lkp_CUSTOMER יציאות אל ODS_CUSTOMER_ACTIVE יציאות להשלמת השינוי הנדרש היכן ODS_CUSTOMER_ACTIVE הוא קובץ היעד הנדרש:
8. המפה האייקונית הסופית הכוללת שינוי בדיקת החיפוש צריכה להיות להלן:

שינוי ביטוי

טרנספורמציית ביטוי היא טרנספורמציה אינפורמטיקה פסיבית ומחוברת. שינויי ביטוי משמשים למניפולציה בשורה. עבור כל סוג של מניפולציה שתרצו לבצע ברשומה בודדת, השתמשו בשינוי ביטוי. טרנספורמציית הביטוי מקבלת את הנתונים בשורה, מטפלת בהם ומעבירה אותם ליעד. לדוגמא, כדי לחשב את ההנחה עבור כל מוצר או לשרשר שמות פרטיים ושמות משפחה או להמיר תאריכים לשדה מחרוזת.

הצטרפות טרנספורמציה

• נוֹרמָלִי
• מאסטר חיצוני
• פרט חיצוני
• מלא חיצוני

איננו יכולים להצטרף ליותר משני מקורות המשתמשים במצטרף יחיד. כדי להצטרף לשלושה מקורות, עלינו לקיים שתי טרנספורמציות של נגרות.

נניח, אנו רוצים להצטרף לשלושה טבלאות - עובדים, מחלקות ומיקומים - באמצעות Joiner. נצטרך שני מצטרפים. מצטרף -1 יצטרף, עובדים ומחלקות ומצטרף -2 יצטרפו, הפלט מטבלת המצטרפים -1 ומיקומים.

להלן השלבים:

1. הכניסו שלושה מקורות למעצב המיפוי.
   
2. צור את המצטרף -1 כדי להצטרף לעובדים ולמחלקות באמצעות Department_ID.
   
   
3. צור את המצטרף הבא, Joiner-2. קח את הפלט מ- Joiner-1 והיציאות משולחן Locations והביא אותם ל- Joiner-2. הצטרף לשני מקורות הנתונים הללו באמצעות Location_ID.
   
4. השלב האחרון הוא לשלוח את הנדרשיציאותממצטרף -2 למטרה או דרך ביטויטרנספורמציהלשולחן היעד.
   

שינוי האיחוד

טרנספורמציית האיחוד היא טרנספורמציה פעילה ומחוברת של אינפורמטיקה. הוא משמש למיזוג מערכי נתונים מרובים מזרמים או צינורות שונים למערך נתונים אחד. טרנספורמציה זו של Informatica עובדת בדומה לפקודה UNION ALL ב- SQL אך היא אינה מסירה שורות כפולות כלשהן. מומלץ להשתמש באגרגטור כדי להסיר כפילויות שאינן צפויות ביעד.

שינוי נורמליזציה

מנרמל טרנספורמציה היא טרנספורמציה פעילה ומחוברת של אינפורמטיקה. זהו אחד השינויים הנפוצים ביותר ב- Informatica, בעיקר עם מקורות COBOL, שם רוב הזמן הנתונים נשמרים בפורמט לא מנורמל. כמו כן, ניתן להשתמש בטרנספורמציה של Normalizer ליצירת מספר שורות משורת נתונים אחת.

בואו ננסה לטעון קובץ שטוח נתונים מופרד באמצעות פסיק מקובץ שטוח / מקור קובול.

להלן השלבים:

1. התחל על ידי טעינת החנות (קובץ שטוח) עם שם החנות והכנסות רבעוניות:
2. צור טרנספורמציה חדשה של Normalizer בשם NRM_STORE_EXP עם שתי יציאות חנות ורבע (חוזר 4 פעמים מכיוון שיש לנו נתונים לארבעה רבעים) כפי שנראה למטה:
3. הכרטיסייה יציאות צריכה להיות כפי שנראה למטה:
4. העתק / קשר את העמודות הבאות והתחבר לשינוי נורמליזציה.
   חנות
   רבעון 1
   רבע 2
   רבע 3
   רבע 4
   המיפוי צריך להראות כך:
5. צור שינוי ביטוי חדש עם exp_STORE . העתק / קשר את העמודות הבאות והתחבר לשינוי ביטוי כפי שנראה למטה:
   חנות
   רובע
   GK_QUARTER
   GCID_QUARTER
6. קשר את הביטוי ליעד הסופי להשלמת המיפוי באמצעות טרנספורמציה של נורמליזציה.

טרנספורמציה של XML

טרנספורמציות XML היא טרנספורמציה פעילה ומחוברת של Informatica. בתמורות Informatica נעשה שימוש בעיקר בשינוי XML כאשר קובץ המקור הוא מסוג XML או הנתונים הם מסוג XML. ניתן לסווג טרנספורמציה XML בעיקר לשלוש טרנספורמציות:

• טרנספורמציה של מקור ה- XML ​​למקור.
• טרנספורמציה של מנתח XML.
• טרנספורמציה של מחולל XML.

מקצה ל- XML ​​המקור טרנספורמציה : XML Source Qualifier הוא שינוי פעיל ומחובר. XML Source Qualifier משמש רק עם הגדרת מקור XML. הוא מייצג את אלמנטים הנתונים ששרת Informatica קורא כאשר הוא מבצע הפעלה עם מקורות XML. ל- XML ​​Source Qualifier יש יציאת קלט או פלט אחת לכל עמודה במקור. אם תסיר מיפוי הגדרת מקור XML, המעצב גם מסיר את השינוי המקביל ל- XML ​​Source Qualifier.

טרנספורמציה של מנתח XML: XML Parser Transformation הוא טרנספורמציה פעילה ומחוברת. טרנספורמציה של מנתח XML משמשת לחילוץ XML בתוך צינור ואז להעביר את זה ליעד. ה- XML ​​מופק ממערכות המקור כמו קבצים או בסיסי נתונים. טרנספורמציית XML Parser קוראת נתוני XML מיציאת קלט אחת וכותבת נתונים ליציאת פלט אחת או יותר.

טרנספורמציה של מחולל XML: מחולל XML הוא טרנספורמציה פעילה ומחוברת. טרנספורמציה של מחולל XML משמשת ליצירת XML בתוך צינור. XML Generator Transformation קורא נתונים מיציאת קלט אחת או יותר ויוצא XML דרך יציאת פלט אחת.

דרג טרנספורמציה

טרנספורמציה בדרגה היא טרנספורמציה פעילה ומחוברת. זהו טרנספורמציות Informatica המסייעות לך בבחירת דרגת הנתונים העליונה או התחתונה. לדוגמה, לבחור 10 אזורים מובילים שבהם נפח המכירות היה גבוה מאוד או לבחור 10 מוצרים במחיר הנמוך ביותר.

שקול שברצונך לטעון את הרשומה הראשונה והאחרונה לטבלת יעד ממאגר העובדים שלי. הרעיון שמאחורי זה הוא להוסיף מספר רצף לרשומות ואז לקחת את הדירוג הראשון 1 ואת הדירוג התחתון 1 מהרשומות.

1. גרור ושחרר יציאות ממוקדמות המקור לשתי טרנספורמציות דרגה.
   
2. צור מחולל רצפים רב פעמי בעל ערך התחלה 1 וחבר את הערך הבא לשתי טרנספורמציות הדירוג.
   
3. הגדר מאפייני דירוג כדלקמן. יש לבחור את יציאת הרצף שנוספה לאחרונה כ- Port Port. אין צורך לבחור יציאה כקבוצה לפי נמל. דירוג - 1
   
4. דרגה - 2
   
5. בצע שני מקרים של היעד.חבר את יציאת הפלט למטרה.
   

שינוי נתב

הנתב הוא שינוי פעיל ומחובר. זה דומה לשינוי פילטר. ההבדל היחיד הוא, שינוי פילטר מפיל את הנתונים שאינם עומדים בתנאי ואילו לנתב יש אפשרות לתפוס את הנתונים שאינם עומדים בתנאי. כדאי לבדוק מספר מצבים. יש לו קבוצות קלט, פלט וברירת מחדל.

נניח שברצונך להפריד בין הרשומות המוזרות והאחידות של הטבלה, ניתן לעשות זאת באמצעות שינוי נתב.

הרעיון הוא להוסיף מספר רצף לרשומות ואז לחלק את מספר הרשומה ל- 2. אם זה מתחלק, העבירו אותו למטרה אחידה ואם לא אז העבירו אותו למטרה מוזרה.

1. גרור את המקור והתחבר לשינוי ביטוי.
2. הוסף את הערך הבא של מחולל רצפים לשינוי ביטוי.
   
3. בטרנספורמציה ביטוי הפוך שתי פורט, אחת 'מוזרה' ואחרת 'אפילו'.
4. כתוב את הביטוי להלן
   
5. חבר טרנספורמציה של נתב לביטוי.
6. הפוך שתי קבוצות תחת שינוי הנתב.
7. תן תנאי כמפורט להלן
   
8. לאחר מכן שלח את שתי הקבוצה ליעדים שונים. זה כל הזרימה.
   

אני מקווה שבלוג זה של Informatica Transformation היה מועיל לבנות את הבנתך על השינוי השונה ב- Informatica ויצר מספיק עניין כדי ללמוד עוד על Informatica.

אם מצאת את הבלוג הזה מועיל, אתה יכול גם לבדוק את סדרת הבלוגים שלנו בנושא מדריכי Informatica ו מדריך אינפורמטיקה: הבנת אינפורמטיקה 'מבפנים החוצה' .אם אתה מחפש פרטים על הסמכת Informatica, אתה יכול לבדוק את הבלוג שלנו הסמכת Informatica: כל מה שצריך לדעת .

תוכנית java לבדיקת הפלינדרום

אם כבר החלטת לקחת את אינפורמטיקה כקריירה, אמליץ לך למה שלא תסתכל על שלנו דף קורס. הכשרת הסמכת אינפורמטיקה באדוריקה תהפוך אותך למומחה באינפורמטיקה באמצעות מפגשים חיים בהדרכת מדריכים והכשרה מעשית תוך שימוש במקרי שימוש אמיתיים.