היעד הנקודתי לכל חובב סרטים הוא, כמובן, נטפליקס. אבל מה אם היית צופה בסרט האהוב עליך והוא ממשיך להתאגר מדי פעם? אתה פשוט היה סוגר את היישום ובוחר באפשרות אחרת. אבל, איך היא מנהלת את התנועה של מיליוני משתמשים במהירות? הודות ל . במאמר זה, בואו לחקור כיצד נטפליקס משתמשת בפייתון.
בדיקות מונעות נתונים בסלניום
נתחיל במבט מהיר על הנושאים שממלאים מאמר זה:
אז בואו נתחיל. :)
מבוא לנטפליקס
נטפליקס היא חברה אמריקאית המעבירה שירותי וידאו לפי דרישה (VOD). מטה המטה בלוס גאטוס, קליפורניה, לנטפליקס כ -148 מיליון מנויים ברחבי העולם והמספר עם זאת ממשיך לגדול מדי יום. בתקופה של כשני עשורים, נטפליקס התגלתה כ'מלך השבט 'לסדרות הטלוויזיה והסרטים הגדולים ביותר ברחבי העולם. להיות המותג הצומח ביותר באמריקה והכנסות של 20.5 מיליארד דולר בשנת 2019, זה מספיק כדי להיות 'לוכד עיניים', ובכך מעניין את כל התחומים הטכנולוגיים שלו.
בהתבסס על אותו תחום עניין, נטפליקס חשפה כיצד היא משתמשת בשפה הטרנדית ביותר, פִּיתוֹן , על התשתית שלה.
אז עכשיו בואו נמשיך לראות איך בעצם נטפליקס משתמשת בפייתון?
כיצד נטפליקס משתמשת בפייתון?
'אנו משתמשים בפייתון לאורך מחזור חיי התוכן המלא, החל מההחלטה איזה תוכן יממן כל הדרך ועד להפעלת ה- CDN המשרת את הסרטון הסופי ל -148 מיליון חברים' - מהנדסים בנטפליקס.
החל from תחומים אדמיניסטרטיביים לאמינות ו מדע נתונים ל וכו ', נטפליקס משתמשת בפייתון כמעט בכל קצה העסק.
עכשיו בואו נסתכל לעומק כיצד משמש בתחומים שונים ב- Netflix:
פתח את Connect:
ה- CDN (רשת משלוח תוכן) שנטפליקס עושה בה שימוש היא Open Connect. Open connect בעצם נכנסים לתמונה כשלוחצים על כפתור 'הפעל'. כל התוכן המועבר למשתמש הקצה מטופל על ידי CDN זה.
Connect connect דורש מערכות תוכנה שונות אחרות לתכנון, בנייה ותפעול שלה אשר כתובות בתורן ב- Python. לא רק זה, התקני הרשת העומדים בבסיס ה- CDN הזה הם יישומי פייתון מכיוון שפייתון בולט בפתרון בעיות רשת.
צוות הנדסת ביקוש:
צוות הנדסת הביקוש אחראי על הטיפול בכשלים אזוריים של ענן נטפליקס, מינהל התעבורה, ניהול פעולות קיבולת (לדאוג למגבלה בה ניתן יהיה לשמש את התוכן) ויעילות צי. האלמנטים של Python המשמשים צוות זה הם:
NumPy ו- SciPy:
ו SciPy הן הספריות המשמשות למחשוב מדעי. נטפליקס משתמשת בספריות הפייתון הללו לביצוע ניתוחים מספריים ובכך מאפשרת ניהול נכשלים אזוריים.
מה זה מהדר jit בג'אווה
בוטו 3:
Boto3 היא ערכת פיתוח התוכנה (SDK) של לפייתון. זה עוזר למפתחי Python לשלב את Python ב- AWS ובכך לאפשר פיתוח בתשתית.
RQ (תור Redis):
זוהי ספריית פייתון המסייעת במעקב אחר משימות הקיימות בתור ומאפשרת ביצוען ובכך מאפשרת ניהול עומסי עבודה אסינכרוניים.
בקבוק:
לבסוף, נטפליקס משתמשת ב- API של Flask (Python Web Development Library) כדי לאגד את כל הסגמנטים הקודמים יחד.
נטפליקס עושה שימוש שהיא אפליקציית אינטרנט עם קוד פתוח, המשמשת לפיתוח פיתון יחד עם נטרקט (הרחבה עבור Jupyter) בקנה מידה גדול. Jupyter ידוע כפופולרי לניתוח נתונים. הוא משמש היטב בניתוח נתונים תפעולי והדמיה אשר בתורו עוזרים בזיהוי רגרסיות יכולת.
תשתית למידת מכונה:
נע בין יצירת אלגוריתמי התאמה אישית לבין חישוב מקרי השימוש. אלגוריתמי התאמה אישית עוזרים להכשיר את המודלים של Machine Learning בהתאם לתקני Netflix. הוא מספק המלצות בהתאמה אישית, מתארים ביום יום, תווית דורות וכו '.
הספריות הנדרשות ללמוד רשתות עצביות עמוקות הם TensorFlow , קָשֶׁה , ו פיטורץ ' ואילו XGBoost ו LightGBM לעצי החלטה שהועברו לשיפוע.הם גם פיתחו לא מעט ספריות ברמה גבוהה יותר המסייעות בשילוב עם תחומי העבודה כמו רישום עובדות, מיצוי תכונות, פרסום וכו '. מלבד כל זה, נטפליקס משתמשת גם MetaFlow ליצור פרויקטים של למידת מכונה.
'מטפלו דוחף את גבולות הפיתון: אנו ממנפים קוד פייתון מקביל ומותאם היטב כדי להביא נתונים במהירות של 10 ג'יגה-סיביות, לטפל במאות מיליוני נקודות נתונים בזיכרון, ולבצע חישוב על פני עשרות אלפי ליבות מעבד' - נטפליקס
נתונים גדולים:
ה הצוות אחראי על ביצוע צינורות ETL (חילוץ, שינוי, העמסה) וצינורות Adhoc. חלק עיקרי מתזמור זה כתוב בפייתון. צוות זה משתמש במתזמן הפועל במחברות Jupyter עם מכונת נייר לייצור סוגי משרות עם תבניות, למשל, , בקרוב וכו '.
בנוסף לכך, הצוות יצר גם פלטפורמה מונעת אירועים אשר בנויה לחלוטין על Python. הם יצרו מספר אירועים ושילבו אותו לאחד המאפשר לנטפליקס לסנן, להגיב ולנתב אירועים. פיג'ני הוא גם חלק מתשתית זו שמתממשקת עם Genie (שירות ביצוע עבודות מובלט).
ניסויים מדעיים:
זו פלטפורמה שיצר צוות הניסויים המדעי כדי לאפשר בדיקת A / B יחד עם כמה ניסויים אחרים. כאן, מדענים ומהנדסים יכולים להציג חידושים חדשים בנתונים, סטטיסטיקה והדמיה.
הפיתון המיושם כאן הוא מדדים רפו שמבוסס על PyPika ומאפשר כתיבה של שאילתות פרמטריות לשימוש חוזר. למגזר הסטטיסטי PyArrow ו RPy2 משמשים לחישוב סטטיסטיקה ב- Python או ב- R. בעליל עוזר להדמיה.
מתי להשתמש בג'אווה זו
קידוד וידאו / הנדסת ענן מדיה:
צוות זה אחראי על קידוד וקידוד מחדש של משימות עבור קטלוג Netflix. Python משמש בערך עבור 50 פרויקטים כגון VMAF (מיזוג הערכת וידאו רב-שיטות) ו- MezzFS (מערכת קבצי ביניים), פתרונות ראיית מחשב (עוסק בתמונות) באמצעות קַשָׁת , וכו.
אנימציה של נטפליקס ו- NVFX:
פייתון מהווה את הבסיס לכל הנפשות וההשפעות החזותיות (VFX) ב- Netflix. כל האיגודים של מאיה ונוק נעשים בפייתון.
IS (אבטחת מידע):
נטפליקס משתמשת במערכות IS המופעלות על ידי Python לתיקון אוטומטי, אוטומציה של אבטחה, סיווג סיכונים וכו '. פרויקט ה- Python הקוד הפתוח הפעיל ביותר של צוות זה הוא קוף ביטחון . גם נטפליקס משתמשת לברך (שירות ה- SSH של ארמון למבדה) להגן SSH (מאובטח מעטפת) משאבים. RepoKid משמש להענקה כְּבָר הרשאות ותעודות TLS מוקצות דרך למור. שתי המשימות הללו נשענות בעיקר על Python.
ניטור ותיקון אוטומטי:
צוות זה ידוע כצוות Insight Engineering. הם בונים ומבצעים כליםלתובנה תפעולית, אבחון, תיקון אוטומטי ושינוי. עבור מרבית שירותיו, צוות זה עושה שימוש בפייתון, למשל, בספריית הלקוחות של ספקטור פייתון. ספרייה זו משמשת להקלטת סדרות זמן ממדיות. יחד עם ספריות אלה, מוצרים כמו ווינסטון ובולט בנויים גם על מסגרות פיתון שהן , גוניקורן ו- Flask-RestPlus.
לסיכום הכל, אפשר לטעון בקלות שפייתון הוא הכוח המניע של נטפליקס. בכך הגענו לסוף הבלוג הזה בנושא 'כיצד נטפליקס משתמשת בפייתון?'. אני מקווה שברור לך כל מה שנדון.
כדי לקבל ידע מעמיק על Python יחד עם היישומים השונים שלו, אתה יכול להירשם לשידור חי עם תמיכה 24/7 וגישה לכל החיים.
יש לך שאלה עבורנו? אנא הזכיר זאת בקטע ההערות בבלוג 'כיצד פיתון משתמש בנטפליקס' ונחזור אליך בהקדם האפשרי.