כשהייתי צעיר אהבתי את סדרת סרטי מלחמת הכוכבים. כל כך אהבתי את זה שהיו לי קלטות הווידיאו האלה של כל אחד ואחד מהם. נהגתי לצפות בהם שוב ושוב. ואז הגיע הזמן של נגני ה- DVD והייתי צריך לקבל את הסרטים האלה שוב ב- DVD. לא היו לי שום חששות לקנות את כל הסט שוב ב- DVD, כיוון שרציתי לחוות את הטכנולוגיה החדשה ולהמשיך ליהנות גם מהסרטים האהובים עלי. הדברים היו נהדרים עד שהופיעה טכנולוגיה חדשה נוספת, Blu-ray. לאחר שקניתי את הסרטים כבר פעמיים, לא ציפיתי לקנות אותם מחדש. במשך זמן מה לא התאמץ 'לעדכן' את עצמי וחשבתי שאצליח בסדר גמור בלי הטכנולוגיה הזו. והצלחתי בסדר. זה ממילא לא השפיע על חיי. אבל יכולתי לראות שינוי במגמה ולא יכולתי לשתף את הסרטים שלי עם החברים שלי, כמו שעשו זה עם זה. הרגשתי באמת שמא בחוץ.
סוף סוף יצאתי ולקבל את הסרט בבלו ריי. אני זוכר את זה לא בגלל שאני אוהב את הסרט, אלא בגלל האיכות של הסרטון. ולסיום הכל, קיבלתי את כל מערך הסרטים בדיסק Blu-ray יחיד.
הצורך או הדחף להתעדכן הם החזקים ביותר בכל הנוגע למקצוע שלנו שכן הסיכונים גדולים יותר. זה הפך להיות חיוני להישאר בראש המשחק שלך.
4 סיבות מעשיות ללימוד Hadoop 2.0:
ככל שיהיה בלתי נמנע, הישארות מעודכנת במקצוענו הפכה לחלק חשוב בחיינו. עד כמה שזה נשמע מרתיע אין צורך להיבהל מכיוון שטכנולוגיות לא באמת משתנות כל כך מהר או דרסטי. אך השיחות והמידע אודות הטכנולוגיות הללו והדברים שאנו יכולים לעשות איתן זוכים לנראות. הנה כמה סיבות מדוע כדאי לכם להתעדכן:
מס '1: אל תיתפס
אי תשומת לב לעדכון האחרון בטכנולוגיה יכולה לגרום לך להיראות כמו צבי שנתפס בפנס. לא בדיוק תמונה קורנת של היכולות המקצועיות שלך. להיות מעודכן יכבד אותך על ידי עמיתים על כישוריך המקצועיים. יתכן שלא יהיה צורך ליישם כל דבר חדש שתלמד, אך הכרה בעדכונים היא הכרחית.
לדוגמא, כאשר יש שיחה על Hadoop, אתה יכול ליידע את עמיתייך כי ל- Hadoop 2.5.0 יש שיפורי אימות בעת שימוש בשרת proxy HTTP. וגם באותה גרסה של Hadoop יש הוראה לכתיבה ישירה ל- Graphite.
זה הופך להיות חיוני להיות בראש העדכונים האחרונים כאשר ארגונים חושבים לעבור להדופ. ו'ידיעה 'יכולה לעשות הבדל עצום בקריירה שלך.
# 2: בעל יתרון תחרותי
מכובדים אנשי מקצוע המיומנים בתחומם. ולהישאר מעודכנים זו הדרך הטובה ביותר להיות בראש. הצורך שלך להישאר מעודכן משקף את התשוקה שלך כלפי העבודה שלך. על ידי פיתוח מומחיות בתפקידך ובתעשייה שלך, תרוויח את האמון והכבוד של האנשים סביבך. מנקודת מבט של מנהיגות, זה לא יסולא בפז!
גם אם הארגון שלך עדיין עובד עם Hadoop 1.0, ידיעת כל התכונות העדכניות ביותר של Hadoop 2 תשמור אותך על המסלול מכיוון שהוא חדש יחסית ובהחלט טוב יותר. היותך הראשון ללמוד זאת ייתן לך יתרון על בני גילך.
# 3: הזדמנויות חדשות
זו מציאות עצובה שתפקידנו הנוכחי ממשיך להשתנות. עם הזמן מתווספות אחריות והזדמנויות לבצע משימות חדשות. בכך שאתה מתעדכן במגמות בענף אתה נמצא במצב הטוב ביותר לנצל הזדמנויות אלה.
חברות כמו מייסי'ס, לוקהיד מרטין, קליפורניה פתרונות יצירתיים, קפיטל וואן, CSpring, CACI אינטרנשיונל בע'מ, אורקל, יאהו !, אמריקן אקספרס, BlueHawk, אטנה, המעבדה הלאומית לורנס ליברמור ורבים אחרים מחפשות אנשים המיומנים בתכונות העדכניות ביותר של Hadoop 2, כמו YARN.
מס '4: קבל החלטות טובות יותר
המידע הנוסף יאפשר לך לבצע בחירות מושכלות והחלטות טובות יותר. זה יעזור לך לזהות הזדמנויות ולהוסיף ערך לאסטרטגיה של הארגון שלך.
ל- Hadoop 2 יש תכונות המשפרות את המהירות וכן מצמצמות את העלות. הצעת אפשרויות לשיפור הביצועים ולהגברת המהירות בהחלט יכולה להגביר את התפוקה של הארגון. להלן מספר מאפיינים של Hadoop 2 אשר יועילו לארגון ומציעים להם לתגבר את הקריירה שלך.
תמיכה להפעלת Hadoop ב- Microsoft Windows
הפצה פשוטה של קבצים בינאריים של MapReduce דרך HDFS במטמון מבוזר YARN.
תמיכה משופרת ביישומים חדשים ב- YARN באמצעות שרת היסטוריית היישומים ושרת ציר הזמן של היישומים
תמיכה מלאה ב- HTTPS ב- HDFS
שילוב של Kerberos לחנות ציר הזמן של YARN.
תמיכה בהיררכיית אחסון הטרוגנית ב- HDFS.
מטמון זיכרון לנתוני HDFS עם ניהול וניהול מרכזי.
הפצה פשוטה של קבצים בינאריים של MapReduce דרך HDFS במטמון מבוזר YARN.
יש לא רק סיבות מעשיות להישאר מעודכן יש גם סיבות טכניות. ל- Hadoop תכונות רבות המועילות לארגונים. התבוננות מעמיקה בהם תתן לך תמונה ברורה מהם היתרונות.
מה העדכון האחרון ב- Hadoop?
כל מוצר עובר שלבי גרסאות שונים ומגיע עם גרסאות שונות של עצמו. Hadoop אינו יוצא מן הכלל והגיע עם Hadoop 2.0. קרן אפאצ'י הגיעה עם גרסאות עוקבות של Hadoop כמו Hadoop 2.1.0, Hadoop 2.4.0 והגיעה ל- Hadoop 2.5.1, שהיא הגרסה האחרונה שיצאה בספטמבר 2014.
מדוע Hadoop 2 שוחרר?
עם גרסה חדשה מגיעים תכונות נוספות ובאגים קבועים. כך שבכל פעם שאתה משתמש בגרסה מסוימת של Hadoop וחושב שאפשר להוסיף תכונה מסוימת או לתקן כמה באגים, תתן לחבר'ה בקרן Apache לדעת על זה. החבר'ה האלה בתורם עובדים על זה ונותנים לך מוצר טוב יותר בגרסה הבאה.
Hadoop 2 - לא רק מספר
Hadoop 2 היא לא רק הגרסה האחרונה של Hadoop. בגדול, זוהי אדריכלות דור שני. ארון מרתי, מייסד ואדריכל במפיץ Hadoop Hortonworks, מתעקש שההבחנה חשובה מכיוון שכמות ההנדסה המחודשת הנדרשת כדי להעביר את Hadoop מעבר לעיבוד אצווה ולעולם הניתוח בזמן אמת הייתה משמעותית.
בואו נדון עד כמה שונה Hadoop 2.0 מקודמו Hadoop 1.0. ברור שהגרסה המאוחרת שפורסמה הולכת להיות עדיפה על המהדורה הקודמת. להלן ארבעת השיפורים העיקריים ב- Hadoop 2.0 לעומת Hadoop 1.x:
HDFS Federation - מדרגיות אופקית של NameNode
זמינות גבוהה של NameNode - NameNode אינה עוד נקודת כשל אחת
YARN - יכולת לעבד טרה-בתים ופטא-בייטים של נתונים הזמינים ב- HDFS באמצעות יישומים שאינם MapReduce כגון MPI, GIRAPH
מנהל משאבים - מחלק את שתי הפונקציות העיקריות של JobTracker עמוס (ניהול משאבים ותזמון עבודה / ניטור) לשני דמונים נפרדים: מנהל משאבים גלובלי ו- ApplicationMaster לכל יישום
ישנן תכונות נוספות כגון מתזמן קיבולת (אפשר תמיכה בריבוי שכירות ב- Hadoop), תמונת מצב של נתונים, תמיכה ב- Windows, גישה ל- NFS, המאפשרת אימוץ Hadoop מוגבר בתעשייה כדי לפתור בעיות ביג דאטה.
Hadoop 2.X לעומת Hadoop 1.X
בואו נעשה השוואה קטנה ונראה באילו אופנים Hadoop 2.0 טוב יותר ושונה מ Hadoop 1.0
לקרוא ולכתוב קובץ Excel ב- Java
מדוע עדיפה Hadoop 2 על Hadoop 1.0?
Hadoop 2.0 מציע שיפורי ביצועים המועילים לטכנולוגיות הקשורות במערכת האקולוגית Hadoop. מלבד התכונות פורצות הדרך של HDFS וארכיטקטורת הדור השני (YARN), ישנן סיבות רבות ויותר להעדיף את Hadoop 2 על פני Hadoop 1.0:
ל- Hadoop 2 כבר אין הגבלת שפה. כלומר, מגוון רחב של אנשי מקצוע יכולים כעת להשתמש ב- Hadoop.
עם Hadoop 2, מכשולים כמו מחסור בקודני MapReduce מתגברים.
מהיר פי 2 מה- Hadoop 1.0
פי 2 מהחזר ה- ROI עם חומרה קיימת.
עם YARN, ממשק תכנות היישומים הוא הרבה יותר פתוח וגמיש.
Hadoop 2 מרחיב את האפשרויות לשימוש ב- Hadoop בפרויקטים של Big Data.
באמצעות Hadoop 2, מפתחים יכולים כעת לבצע מגוון עצום של משימות לריסוק נתונים, מעבר להיקף העיבוד האצווה של Hadoop.
מציע הזדמנויות חדשות למנהלי מידע ומתייחס לחסרונות בגרסאות קודמות.
למהדורה החדשה הזו יש את התכונה הייחודית של הפעלת עומסי עבודה מרובים באותו אשכול Hadoop.
Hadoop כבר לא מוגבלת לתכונה אחת. היישום שלה חורג כעת מעבר ל- HDFS ו- MapReduce.
היתרונות העיקריים של חוט
אנו מודעים לכך ש- YARN הוא אדריכלות דור שני, בואו נראה מה הופך אותו לכל כך נהדר.
סוּלָם
מודלים ושירותי תכנות חדשים
שימוש משופר באשכול
זְרִיזוּת
הרבה יותר מג'אווה
ועוד רבים
דרישה למיומנויות של Hadoop 2
ארגונים משיקים כעת או מתנסים ב- Hadoop 2. כתוצאה מכך נוצר צורך באנשי מקצוע המיומנים ב- Hadoop 2. ארגונים רבים כבר החלו לחפש באופן פנימי אנשים שיעבדו עם Hadoop. יש אינדיקציות ברורות לכך ש- YARN נמצא בעלייה ובסופו של דבר יחליף את הדרישה למיומנות MapReduce.
להלן מספר דעות לגבי הביקוש הנוכחי והמתוכנן למיומנויות Hadoop:
לדברי אנליסטים מ- Gartner, Hadoop 2 הוא התפתחות חיונית מכיוון שמפעלים גדולים ברחבי העולם מצאו שה Hadoop הוא מחליף משחק בניהול הביג דאטה שלהם.
על פי אריק קוואנה, מקבוצת בלור, Hadoop 2.0 צבר תאוצה בקרב עובדי המידע המבקשים לחסל ביג דאטה.
אימוץ Hadoop 2.0 ממשיך לעלות וכעת הוא נכנס לשלב הבגרות.
ארגונים מודעים ליתרונות של YARN ומתרגשים מכך.
להלן תמונת מצב של משרות עבור Hadoop 2.0 / YARN ב Indeed.com
מי עובר ל- Hadoop 2 או כבר יש?
יאהו:
יאהו! , המובילה בכל מה שהדופ יישמה את YARN (0.23.x). לדברי מרתי, אשכול 35,000 הצמתים של יאהו מעבד כעת 130-150 משרות ביום לעומת 50-60 לפני YARN.
כשמדברים על הביצועים הכוכבים, מרתי מצטט, 'כאשר יש לך פי שניים מעל 35,000 עד 40,000 צמתים, זה פנומנלי'. הוא הוסיף גם, 'זה סיפור די מרתק לספר למנהל מידע, שאם רק תשדרג את התוכנה שלך מ- Hadoop 1 ל- Hadoop 2, תראה פעמיים שיפורים בתפוקה בעבודות שלך.'
מדריך למפתחי salesforce למתחילים
eBay:
ל- eBay יש אחד מאשכולות Hadoop הגדולים בענף, שם הנתונים הם בפטא-בייטים. הם גם העבירו את אשכולותיהם ל- Hadoop 2.
סיכום:
עם Hadoop 2 להיות בוגר וקל יותר ליישום, הם אפילו משכנעים את הספקנים ויותר ויותר ארגונים נודדים ל- Hadoop 2.0. ישנן סיבות חוקיות להימנע מגרסאות 1.x. אך עם Hadoop 2, גם הכופרים שוקלים זאת מכיוון שהוא יכול לשמש למגוון רחב של שימושים. אם אתה לומד את Hadoop 2.0 ומיישם אותו לביצוע חישובים על Big Data, תפתח את השערים לקריירה מתקדמת ומתגמלת כלכלית.
יש לך שאלה עבורנו? אנא הזכר אותם בסעיף ההערות ונחזור אליך.
פוסטים קשורים: