כיצד Apache קפקא משמן את הגלגלים עבור נתונים גדולים

Analytics מתואר לעתים קרובות כאחד האתגרים הגדולים ביותר הקשורים לנתונים גדולים, אך עוד לפני שהצעד הזה יכול לקרות, יש לבלוע את הנתונים ולהעמידם לרשות המשתמשים בארגון. זה המקום שבו אפאצ'י קפקא נכנס.

למעשה, הוא פועל כמעין ארגון ". מקור חדשות לפי נושאים: קפקא היא מערכת קוד פתוח לניהול נתונים בזמן אמת של אתרי אינטרנט, יישומים וחיישנים. מערכת העצבים המרכזית ", אשר אוספת נתונים בנפח גבוה על דברים כמו פעילות משתמש, יומנים, מדדי יישומים, טיקרס מניות ומכשור מכשירים, למשל, והופכת אותו לזמין כזרם בזמן אמת לצריכה על ידי משתמשים ארגוניים. קריאה נוספת: הנורות הלבנות הטובות ביותר של LED הלבנה]

קפקא מושווה לעתים קרובות לטכנולוגיות כמו ActiveMQ או RabbitMQ ליישומים מקומיים, או עם Kinesis של אמזון שירותי אינטרנט ללקוחות ענן, אומר סטיבן או'גראדי, ממקימי ואת אנליסט ראשי עם RedMonk. "זה הופך להיות יותר גלוי כי זה פרויקט קוד פתוח באיכות גבוהה, אבל גם בגלל היכולת שלה להתמודד עם זרמי המידע במהירות גבוהה יותר ויותר הביקוש לשימוש בשירות עומסי עבודה כמו IoT, בין היתר, "הוסיף או'גראדי. מאז שהונפקה ב- LinkedIn, קפקא זכתה לתמיכה גבוהה מצד חברות כמו Netflix, Uber, Cisco ו- Goldman Sachs. ביום שישי, היא קיבלה דחיפה חדשה של יבמ, שהודיעה על זמינותם של שני שירותים חדשים המבוססים על קפקא באמצעות פלטפורמת Bluemix שלה.

שירות הזרמת Analytics החדש של יבמ נועד לנתח מיליוני אירועים לשנייה עבור זמני תגובה של תת-מילי-שניות קבלת החלטות מיידית. IBM Message Hub, כעת בגרסת ביתא, מספק מסרים ניתנים להרחבה, הפצה, תפוקה גבוהה, אסינכרוני ליישומי ענן, עם אפשרות להשתמש בממשק API של REST או Apache קפקא (ממשק תכנות יישומים) כדי לתקשר עם יישומים אחרים.

קפקא היה אשר נפתח ב -2011. בשנה שעברה, שלושה מיוצרי קפקא השיקו קונפלונט, חברת סטארט-אפ שהוקדשה לסייע לארגונים להשתמש בה בהפקה בהיקף.

"במהלך שלב הצמיחה שלנו ב- LinkedIn, לא הצלחנו לשמור על קשר עם המשתמש הגדל הבסיס והנתונים שניתן להשתמש בהם כדי לסייע לנו לשפר את חוויית המשתמש ", אמר ניהא נרכדה, אחד מיוצרי קפקא ומייסדי קונפלונט.

" מה שקפקא מאפשר לך לעשות הוא להעביר נתונים על פני החברה ולהפוך אותה זמין כמו זרם זורם ללא הרף בתוך שניות לאנשים שצריכים לעשות את זה ", הסביר Narkhede. "והוא עושה את זה בקנה מידה." "השפעה על לינקדאין היתה "ממירה", אמרה. כיום, LinkedIn נותרת פריסת קפקא הגדולה ביותר בייצור; זה עולה על 1.1 טריליון הודעות ביום.

confluent, בינתיים, מציעה תוכנת ניהול מתקדמת באמצעות מנוי כדי לסייע לחברות גדולות להפעיל קפקא עבור מערכות הייצור. בין לקוחותיה נמנית קמעונאית ענקית גדולה, "אחת מנפיקות כרטיסי האשראי הגדולות ביותר בארה"ב", אמרה נרקדה.

האחרונה משתמשת בטכנולוגיה להגנה מפני הונאה בזמן אמת. "קפקא הוא" אוטובוס להעברת הודעות מהיר מאוד ", אמר ג'ייסון סטמפר, אנליסט בחברת המחקר 451. "בגלל זה הוא מתפתח כאחת האפשרויות הפופולריות ביותר".

מלבד ActiveMQ ו- RabbitMQ, מוצר נוסף המציע פונקציונליות דומה הוא Apache Flume, הוא ציין; סערה וזרמת ניצוץ דומים גם במובנים רבים.

במתחם המסחרי, המתחרים של קומוולנט כוללים את IBM InfoSphere Streams, את המהדורה המהירה של Informatica Ultra Messaging Streaming Edition ואת מנוע עיבוד האירועים של SAS (ESP) יחד עם אפאמה של Software AG, StreamBase של Tibco אלרי של SAP, הוסיף Stamper. מתחרים קטנים יותר כוללים DataTorrent, Splunk, Loggly, Logentries, X15 תוכנה, סומו לוגיקה ו Glassbeam.בענן, שירות עיבוד הזרמים של KENSIS של AWS "יש יתרון נוסף לשילוב עם מחסן הנתונים של Redshift ופלטפורמת האחסון של S3", אמר.

The Terenerata זה עתה הכריז על Listen הוא מתחרה נוסף, והוא מבוסס על קפקא כמו כן, ציין בריאן הופקינס, סגן נשיא ומנהל אנליסט בכיר בחברת Forrester Research. באופן כללי, יש מגמה ניכרת לנתונים בזמן אמת, אמר הופקינס. עד שנת 2013, "הנתונים הגדולים היו כולם על כמויות אדירות של נתונים דחוסים בהדופ, "אמר. "עכשיו, אם אתה לא עושה את זה, אתה כבר מאחורי עקומת הכוח." היום, נתונים של טלפונים חכמים ומקורות אחרים נותנים לארגונים הזדמנות לעסוק עם הצרכנים בזמן אמת ולספק חוויות הקשר, הוא אמר. זה, בתורו, נשען על היכולת להבין את הנתונים מהר יותר. "האינטרנט של דברים הוא כמו גל שני של ניידים", הסביר הופקינס. "כל ספק הוא מיקום עבור מפולת של נתונים."

כתוצאה מכך, הטכנולוגיה היא להתאים בהתאם.

"עד 2014 זה היה הכל על Hadoop, אז זה היה ספארק", אמר. "עכשיו זה הדופ, ספארק וקפקא, אלה שלושה עמיתים שווים בצינור בליעת הנתונים בארכיטקטורה האנליטית המודרנית".