בעולם של היום, הנתונים הם המרכיב העיקרי של יישומי אינטרנט ובדרך כלל כולל את הדברים הבאים:
- ביקורים וקליקים בדף
- פעילויות משתמש
- אירועים המתאימים לכניסות
- פעילויות רשתות חברתיות כמו לייקים, שיתופים ותגובות
- מדדים ספציפיים ליישום (למשל יומנים, זמן טעינת דף, ביצועים וכו ')
זֶה ניתן להשתמש בנתונים להפעלת ניתוחים בזמן אמת המשרתים מטרות שונות, חלקן:
- העברת פרסומות
- מעקב אחר התנהגויות חריגות של משתמשים
- מציג חיפוש על סמך רלוונטיות
- מציג המלצות על סמך פעילויות קודמות
בְּעָיָה: איסוף כל הנתונים אינו קל מאחר שנוצרים נתונים ממקורות שונים בפורמטים שונים
פִּתָרוֹן: אחת הדרכים לפתור בעיה זו היא שימוש במערכת העברת הודעות. מערכות העברת הודעות מספקות אינטגרציה חלקה בין יישומים מבוזרים בעזרת הודעות.
אפאצ'י קפקא:
אפאצ'י קפקא היא מערכת העברת הודעות מנויים מבוזרת, אשר פותחה במקור ב- LinkedIn ובהמשך הפכה לחלק מפרויקט אפאצ'י. קפקא מהיר, זריז, ניתן להרחבה ומופץ על ידי עיצוב.
כיצד להכריז על מערך דינמי
ארכיטקטורה וטרמינולוגיה של קפקא:
נושא: זרם מסרים השייכים לקטגוריה מסוימת נקרא נושא
מפיק: מפיק יכול להיות כל יישום שיכול לפרסם הודעות לנושא
צרכן : צרכן יכול להיות כל יישום שמנוי לנושאים ומצרך את ההודעות
מתווך: אשכול קפקא הוא קבוצה של שרתים, שכל אחד מהם נקרא מתווך
קפקא ניתן להרחבה ומאפשר ליצור מספר סוגים של אשכולות.
- אשכול מתווכים יחיד יחיד צומת
- אשכול מתווכים מרובה של צומת יחיד
- צמתים מרובים אשכול מתווכים מרובה
מתווך יחיד צומת יחיד
מה התפקיד של ZooKeeper?
כל מתווך של קפקא מתואם עם מתווכים אחרים של קפקא המשתמשים ב- ZooKeeper. שירות ZooKeeper מקבל הודעה על יצרנים וצרכנים על הימצאותם של מתווכים חדשים או כשל של המתווך במערכת קפקא.
מתווכים מרובים עם צומת יחיד
מספר צמתים מתווכים מרובים
קפקא @ לינקדאין
LinkedIn Newsfeed מופעל על ידי קפקא
המלצות של LinkedIn מופעלות על ידי קפקא
התראות LinkedIn מופעלות על ידי קפקא
הערה: מלבד זאת, LinkedIn משתמשת בקפקא למשימות רבות אחרות כמו ניטור יומנים, מדדי ביצועים, שיפור חיפוש, בין היתר.
מי עוד משתמש בקפקא?
DataSift: DataSift משתמש ב- Kafka כאספן של ניטור אירועים וכדי לעקוב אחר צריכת זרמי הנתונים של המשתמשים בזמן אמת
וווגה: ווגה משתמשת בקפקא כדי לצבור ולעבד נתוני מעקב מכל משחקי הפייסבוק שלהם (המתארחים אצל ספקים שונים) במיקום מרכזי
ספוגצ'ל: Spongecell משתמשת ב- Kafka כדי להריץ את צינור הניתוח והניטור שלה ומניע יישומים בזמן אמת ו- ETL
מה ניתן לשינוי בג'אווה
לוגלי: Loggly הוא ניהול היומנים הפופולרי ביותר בעולם. הוא משתמש בקפקא לאיסוף בולי עץ.
מחקר השוואתי: קפקא מול ActiveMQ לעומת RabbitMQ
לקפקא יש פורמט אחסון יעיל יותר. בממוצע, לכל הודעה תקורה של 9 בתים בקפה, לעומת 144 בתים ב- ActiveMQ
הן ב- ActiveMQ והן ב- RabbitMQ, המתווכים שומרים על מצב המסירה של כל הודעה על ידי כתיבה לדיסק, אך במקרה של קפקא, אין כתיבת דיסקים, ולכן הופכת אותה למהירה יותר.
עם האימוץ הרחב של קפקא בייצור, נראה שזה פיתרון מבטיח לפתרון בעיות בעולם האמיתי. אימונים של אפאצ'י קפקא יכולים לעזור לכם להקדים את חבריכם בקריירת ניתוח בזמן אמת. התחל בעבודה עם מדריך Apache Kafka כאן .
יש לך שאלה עבורנו? אנא הזכיר זאת בסעיף ההערות ונחזור אליך.
פוסטים קשורים: