מאגרי מידע יחסיים במשך זמן רב הספיקו לטיפול בערכות נתונים קטנות או בינוניות. אך הקצב העצום בו גדלים הנתונים הופך את הגישה המסורתית לאחסון נתונים ולאחזור בלתי אפשרית. בעיה זו נפתרת על ידי טכנולוגיות חדשות יותר שיכולות להתמודד עם ביג דאטה. Hadoop, Hive ו- Hbase הם הפלטפורמות הפופולריות להפעלת ערכות נתונים גדולות מסוג זה. מאגרי מידע NoSQL או לא רק SQL כגון MongoDB מספקים מנגנון לאחסון נתונים ולאחזורם במודל עקביות מפסיד עם יתרונות כמו:
- קנה מידה אופקי
- זמינות גבוהה יותר
- גישה מהירה יותר
צוות ההנדסה של MongoDB עדכן לאחרונה את מחבר MongoDB עבור Hadoop כדי שיהיה לו אינטגרציה טובה יותר. זה מקל על משתמשי Hadoop:
- שלב נתונים בזמן אמת מ- MongoDB עם Hadoop לניתוח מעמיק ומחוצה לה.
- המחבר חושף את העוצמה האנליטית של MapReduce של Hadoop לנתוני יישומים חיים מ- MongoDB, ומניב ערך מהביג דאטה במהירות וביעילות רבה יותר.
- המחבר מציג את MongoDB כמערכת קבצים תואמת ל- Hadoop המאפשרת עבודת MapReduce לקרוא ישירות מ- MongoDB מבלי להעתיק אותה תחילה ל- HDFS (מערכת קבצי Hadoop), ובכך להסיר את הצורך להעביר טרה-בתים של נתונים לרשת.
- עבודות MapReduce יכולות להעביר שאילתות כמסננים, וכך להימנע מהצורך לסרוק אוספים שלמים, והן יכולות לנצל את יכולות האינדקס העשירות של MongoDB הכוללות אינדקס גיאו-מרחבי, חיפוש טקסט, מערך, מורכב ודל.
- בקריאה מ- MongoDB, ניתן לכתוב את תוצאות עבודות Hadoop גם בחזרה ל- MongoDB, כדי לתמוך בתהליכים תפעוליים בזמן אמת ובשאילתות אד-הוק.
Hadoop ו- MongoDB מקרי שימוש:
בואו נסתכל על תיאור ברמה גבוהה של איך MongoDB ו- Hadoop יכולים להשתלב יחד בערמת Big Data טיפוסית. בעיקר יש לנו:
סוגים שונים של מסגרת בסלניום
- MongoDB משמש כ- חנות נתונים 'תפעולית' בזמן אמת
- Hadoop עבור עיבוד וניתוח נתוני אצווה לא מקוון
המשך לקרוא כדי לדעת מדוע ו כיצד נעשה שימוש ב- MongoDB על ידי חברות וארגונים כמו Aadhar, Shutterfly, Metlife ו- eBay .
יישום של MongoDB עם Hadoop בצבירת אצווה:
ברוב התרחישים פונקציונליות הצבירה המובנית שמספקת MongoDB מספיקה לניתוח נתונים. עם זאת, במקרים מסוימים ייתכן שיהיה צורך בצבירת נתונים מורכבת יותר באופן משמעותי. זה המקום בו Hadoop יכול לספק מסגרת חזקה לניתוח מורכב.
ההבדל בין דריסה לעומס יתר
בתרחיש הזה:
- הנתונים נשלפים מ- MongoDB ומעובדים בתוך Hadoop באמצעות משרה אחת או יותר של MapReduce. נתונים עשויים להימצא גם ממקומות אחרים בתוך עבודות MapReduce אלה לפיתוח פתרון למקור רב-נתונים.
- לאחר מכן ניתן להחזיר פלט ממשרות MapReduce אלה למונגו-דב לצורך שאילתות בשלב מאוחר יותר ולכל ניתוח על בסיס אד-הוק.
- לכן יישומים שנבנו על גבי MongoDB יכולים להשתמש במידע מניתוח אצווה כדי להציג ללקוח הקצה או לאפשר תכונות אחרות במורד הזרם.
יישום באחסון נתונים:
במערך ייצור טיפוסי, נתוני היישום עשויים להימצא במספר מאגרי נתונים, כל אחד עם שפת השאילתה והפונקציונליות שלהם. כדי להפחית את המורכבות בתרחישים אלה, Hadoop יכול לשמש כמחסן נתונים ולשמש כמאגר מרכזי לנתונים מהמקורות השונים.
print_r ב- php
בתרחיש מסוג זה:
- מפה צמצום תקופתי טוען נתונים מ- MongoDB ל- Hadoop.
- לאחר שהנתונים מ- MongoDB וממקורות אחרים יהיו זמינים ב- Hadoop, ניתן לבחון את מערך הנתונים הגדול יותר.
- לאנליסטים של נתונים יש כעת אפשרות להשתמש ב- MapReduce או ב- Pig כדי ליצור משרות השואלות את מערכי הנתונים הגדולים יותר המשלבים נתונים מ- MongoDB.
הצוות שעובד מאחורי MongoDB הבטיח כי עם האינטגרציה העשירה שלו עם טכנולוגיות ביג דאטה כמו Hadoop, הוא מסוגל להשתלב היטב בערימת הביג דאטה ולסייע בפתרון בעיות ארכיטקטוניות מורכבות בכל הנוגע לאחסון נתונים, אחזור, עיבוד, צבירה ואחסון. . הישאר מעודכן לפוסט הקרוב שלנו בנושא סיכויי הקריירה עבור אלו שלוקחים את Hadoop עם MongoDB. אם אתה כבר עובד עם Hadoop או סתם אוסף את MongoDB, עיין בקורסים שאנו מציעים עבור MongoDB