GitLab ओपन सोर्स डेटा इंटीग्रेशन प्लेटफॉर्म Meltano को बाहर निकालता है

GitLab ओपन सोर्स डेटा इंटीग्रेशन प्लेटफॉर्म Meltano को बाहर निकालता है

Posted on

एआई अपनाने की अवस्था में आपका उद्यम कहां खड़ा है? पता लगाने के लिए हमारे एआई सर्वेक्षण में भाग लें।


होने दें ओएसएस एंटरप्राइज न्यूजलेटर अपनी ओपन सोर्स यात्रा का मार्गदर्शन करें! पंजी यहॉ करे.

गिटलैब ने आज घोषणा की कि वह अपने ओपन सोर्स ईएलटी (एक्सट्रैक्ट, लोड, ट्रांसफॉर्म) प्लेटफॉर्म मेल्टानो को एक स्टैंडअलोन बिजनेस के रूप में कताई कर रहा है, जिसमें अल्फाबेट के जीवी सहित कई उल्लेखनीय वीसी और एंजेल निवेशकों से वित्तीय सहायता मिलती है।

डेवलपर ऑपरेशंस (DevOps) पावरहाउस ने 2018 में वापस Meltano की शुरुआत की, और विभिन्न पुनरावृत्तियों के माध्यम से डेटा एकीकरण और परिवर्तन के लिए एक ओपन सोर्स प्लेटफॉर्म के रूप में समाप्त हुआ।

संदर्भ के लिए, आधुनिक डेटा स्टैक में आम तौर पर अंतर्ग्रहण से लेकर वेयरहाउसिंग तक विभिन्न उपकरण शामिल होते हैं जो कंपनियों को कच्चा डेटा लेने, इसे सिस्टम के बीच स्थानांतरित करने और इसे अधिक उपयोगी प्रारूप में परिवर्तित करने में सक्षम बनाता है जिसे अंतर्दृष्टि उत्पन्न करने के लिए पूछताछ की जा सकती है। डेटा वेयरहाउस में आने से पहले इस डेटा को रूपांतरित किया जा सकता है, एक प्रक्रिया जिसे “एक्सट्रेक्ट, ट्रांसफ़ॉर्म, लोड” (ETL) के रूप में जाना जाता है – इसे आमतौर पर “पुराने स्कूल” चीजों को करने के तरीके के रूप में देखा जाता है, जब भंडारण अधिक महंगा था और डेटा को बदलना दर्दनाक रूप से धीमा हो सकता है।

आधुनिक समय का विकल्प ईएलटी के माध्यम से सीधे वेयरहाउस से डेटा ऑन-डिमांड को बदलना है, जो तेज़ है लेकिन इसके लिए अधिक प्रोसेसिंग पावर की आवश्यकता होती है जैसे कि डेटाब्रिक्स, स्नोफ्लेक, Google के बिगक्वेरी और अमेज़ॅन के रेडशिफ्ट जैसे आधुनिक क्लाउड-आधारित डेटा वेयरहाउस द्वारा प्रदान किया जाता है। .

“के साथ एक बड़ी चुनौती [the old ETL way] यह है कि यदि आपके व्यावसायिक तर्क या परिवर्तनों को बदलना पड़ा, तो आपको सभी डेटा को फिर से निकालना होगा, जो समय को धीमा कर देगा, ”मेल्टानो के सीईओ डौवे मान ने वेंचरबीट को बताया। “सस्ता भंडारण समाधान और ‘बड़े डेटा’ के व्यापक रूप से आगमन के साथ, ईएलटी पैटर्न अधिक सामान्य है।”

तो Meltano क्या करता है, बिल्कुल?

मान लें कि किसी कंपनी का डेटा विभिन्न CRM, मार्केटिंग, ग्राहक सहायता और उत्पाद विश्लेषण टूल में फैला हुआ है। उस डेटा को पूल करने से उन्हें उपभोक्ता खरीदारी के रुझान और अंतर्दृष्टि उत्पन्न करने की अनुमति मिल सकती है जो कि उनके अपने व्यक्तिगत डेटा साइलो में संभव नहीं होगा। लेकिन इसे प्राप्त करने के लिए, कंपनियों को इस डेटा को एक केंद्रीकृत भंडार (यानी एक डेटा वेयरहाउस) में संयोजित करना होगा और इसे एक ऐसे प्रारूप में बदलना होगा जिससे विश्लेषण करना आसान हो। या किसी अन्य उपयोग के मामले में, एक कंपनी बस एक डेटाबेस को MongoDB से PostgreSQL में माइग्रेट करना चाह सकती है।

वह, अनिवार्य रूप से, वही है जो मेल्टानो प्राप्त करता है – यह डेटाबेस या सास एप्लिकेशन को क्वेरी करके डेटा “निष्कर्षण” को सक्षम बनाता है; डेटा को वेयरहाउस या फ़ाइल स्टोरेज सिस्टम में स्थानांतरित करके “लोडिंग”; और इसका पुनर्गठन करके “परिवर्तन”।

ओएसएस उद्यम

वहाँ मालिकाना डेटा एकीकरण उपकरण की कोई कमी नहीं है, जैसे कि Google के स्वामित्व वाली Alooma और भारी VC-समर्थित Matillion। हालाँकि, GitLab से स्वतंत्र एक समुदाय-संचालित ओपन सोर्स प्रोजेक्ट के रूप में, Meltano डेटा इंजीनियरिंग क्षेत्र में एक अधिक लचीला, अनुकूलनीय और एक्स्टेंसिबल प्लेटफ़ॉर्म लाने की उम्मीद करता है, जिसे जहाँ भी उपयोगकर्ता चाहता है होस्ट किया जा सकता है और अपने स्वयं के ऑर्केस्ट्रेशन टूल के माध्यम से एक्सेस किया जा सकता है। Meltano के वेब-आधारित इंटरफ़ेस के माध्यम से।

“अधिकांश समाधान अभी पे-टू-प्ले हैं, जो सीमित करता है कि कितनी कंपनियों के पास उच्च गुणवत्ता वाले टूलिंग तक पहुंच है,” मान ने कहा। “मालिकाना होने का मतलब यह भी है कि आपको हर उस स्रोत के लिए अर्क और लोड क्षमताओं को जोड़ने के लिए एक विक्रेता पर निर्भर रहना होगा, जिसकी आप परवाह कर सकते हैं, जिनमें से दर्जनों हो सकते हैं। ओपन सोर्स होने का मतलब है कि एक बड़े समुदाय द्वारा एकीकरण की लंबी पूंछ को बेहतर ढंग से परोसा जा सकता है, क्योंकि विक्रेता आमतौर पर केवल 150 का समर्थन करते हैं।”

इसके अलावा, एक ओपन सोर्स प्रोजेक्ट के रूप में, मेल्टानो को शौक से लेकर अरबों डॉलर के व्यवसायों तक, किसी भी उद्देश्य के लिए इस्तेमाल किया जा सकता है। मान ने कहा, “हमने देखा है कि अन्य लोग व्यक्तिगत डेटा उपयोग के मामलों के लिए इसका इस्तेमाल करते हैं, जैसे व्यक्तिगत वित्तीय अनुप्रयोगों के बीच डेटा को खर्च को ट्रैक करने के लिए स्थानांतरित करना।”

हालांकि मेल्टानो अपने आप में एक ओपन सोर्स प्लेटफॉर्म (एक अनुमेय एमआईटी लाइसेंस के तहत जारी) है, यह वास्तव में सिंगर सहित कई अन्य ओपन सोर्स टूल्स पर निर्भर करता है, जो डेटा एकीकरण लिखने के लिए “ओपन सोर्स स्टैंडर्ड” के रूप में स्थापित हो रहा है। सैकड़ों पूर्व-निर्मित कनेक्टर्स के साथ स्क्रिप्ट; डीबीटी, डेटा परिवर्तन के लिए एक कमांड-लाइन उपकरण; और आर्केस्ट्रा के लिए अपाचे एयरफ्लो। जल्द ही, मेल्टानो डेटा विज़ुअलाइज़ेशन के लिए अपाचे सुपरसेट पर भी निर्भर करेगा।

एक साइड नोट के रूप में, डीबीटी लैब्स – वह कंपनी जो ओपन सोर्स डीबीटी प्रोजेक्ट का रखरखाव और मुद्रीकरण करती है – ने आज ही $150 मिलियन की फंडिंग की घोषणा की, और यह विशुद्ध रूप से ईएलटी के “ट्रांसफॉर्म” हिस्से के लिए है। यह बाजार के आकार के बारे में कुछ संकेत देता है जिसमें मेल्टानो प्रवेश कर रहा है। जबकि मेल्टानो संपूर्ण डेटा जीवनचक्र पर केंद्रित है, इसका प्रारंभिक ध्यान डेटा एकीकरण यात्रा के पहले दो चरणों पर केंद्रित होगा।

“डेटा पेशेवर अधिक व्यापक रूप से लचीलेपन और विस्तारशीलता के लिए खुले स्रोत के मूल्य और ज्ञान के आदान-प्रदान के लिए खुले स्रोत समुदायों को समझने लगे हैं,” मान ने जारी रखा। “डीबीटी एक डेटा ट्रांसफॉर्मेशन टूल है जो इस स्पेस में अग्रणी है, क्योंकि उनके पास इसके चारों ओर एक मजबूत समुदाय के साथ एक महान ओपन सोर्स उत्पाद है। हमारा मानना ​​है कि यह डेटा जीवनचक्र के सभी हिस्सों के लिए संभव है, और हम किसी भी डेटा यात्रा के शुरुआती चरण – एक्सट्रेक्ट और लोड पर बहुत अधिक ध्यान केंद्रित कर रहे हैं।”

धनोपार्जक

एक स्वतंत्र व्यवसाय के रूप में कंपनी का आधिकारिक लॉन्च, जीवी के नेतृत्व में $4.2 मिलियन के सीड फंडिंग राउंड के साथ, वर्डप्रेस के संस्थापक मैट मुलेनवेग के एंजेल निवेश के साथ था; प्रारंभिक Google निवेशक और संस्थापक बोर्ड के सदस्य राम श्रीराम; और मैक्स ब्यूचेमिन, जिन्होंने अपाचे एयरफ्लो और सुपरसेट बनाया।

एक उद्यम-समर्थित व्यवसाय के रूप में, मेल्टानो को एक पैसा बनाने वाले व्यवसाय में बदलने का कुछ दबाव होगा, जो कि अनगिनत अन्य वाणिज्यिक ओपन सोर्स कंपनियों के समान है। हालांकि, कुछ समय के लिए, मेल्टानो समुदाय के साथ काम करने और विकसित करने, और मेल्टानो – और सिंगर – को “डेटा एकीकरण और सामान्य डेटा जीवनचक्र चुनौतियों को हल करने के लिए पसंदीदा उपकरण” के रूप में मान के अनुसार, लेजर-केंद्रित है।

मान ने कहा, “आखिरकार हम अतिरिक्त कार्यक्षमता के साथ सास समाधान और एंटरप्राइज़ संस्करण दोनों की पेशकश करने की योजना बना रहे हैं, जैसे कि गिटलैब अपने खरीदार-आधारित ओपन कोर मॉडल के साथ कैसे काम करता है।”

जहां तक ​​GitLab का सवाल है, तो वह पहली बार में Meltano को बाहर क्यों निकालना चाहेगा – निश्चित रूप से यह एक स्थापित डेवलपर-केंद्रित कंपनी के विंग के तहत ही फल-फूल सकता है? मान के अनुसार, यह प्राथमिकताओं के लिए नीचे आता है – GitLab और Meltano के बहुत अलग उपयोगकर्ता हैं और मामलों को ध्यान में रखते हैं। इसके अलावा, GitLab एक सार्वजनिक कंपनी बनने की तैयारी कर रहा है और Meltano वास्तव में अभी अपनी यात्रा शुरू कर रहा है, दोनों संस्थाएं अलग दुनिया हैं।

“प्राथमिक कारण यह है कि GitLab है [so] पूरे DevOps जीवनचक्र के लिए एक एकल एप्लिकेशन के निर्माण पर ध्यान केंद्रित किया, कि हमने बहुत अलग बाजारों और लक्षित दर्शकों के कारण Meltano को हिस्सा बनते नहीं देखा,” मान ने समझाया “जैसे ही Meltano का विकास हुआ, यह स्पष्ट हो गया कि दो उत्पाद सबसे अच्छे होंगे GitLab दोनों को कवर करने का प्रयास करने के बजाय अपने स्वयं के संगठनों द्वारा सेवा की। उत्पाद भी विकास और विकास के बहुत अलग चरणों में हैं, और मेल्टानो को बाजार में जितनी जल्दी हो सके आगे बढ़ने के लिए स्टार्टअप की तरह काम करने में सक्षम होना चाहिए।

जबकि मेल्टानो के पास अभी तक कोई भुगतान करने वाले उद्यम ग्राहक नहीं हैं, मान ने कहा कि उन्हें उम्मीद है कि परियोजना के दो मौजूदा उपयोगकर्ता – गिटलैब और नेटलिफाई – सड़क के नीचे और अधिक भुगतान करने वाले ग्राहक बन जाएंगे।

वेंचरबीट

तकनीकी निर्णय लेने वालों के लिए परिवर्तनकारी तकनीक और लेनदेन के बारे में ज्ञान हासिल करने के लिए वेंचरबीट का मिशन एक डिजिटल टाउन स्क्वायर बनना है।

जब आप अपने संगठनों का नेतृत्व करते हैं तो हमारा मार्गदर्शन करने के लिए हमारी साइट डेटा तकनीकों और रणनीतियों पर आवश्यक जानकारी प्रदान करती है। हम आपको हमारे समुदाय का सदस्य बनने के लिए आमंत्रित करते हैं:

  • आपकी रुचि के विषयों पर अप-टू-डेट जानकारी
  • हमारे समाचार पत्र
  • गेटेड विचार-नेता सामग्री और हमारे बेशकीमती आयोजनों के लिए रियायती पहुंच, जैसे रूपांतरण 2021: और अधिक जानें
  • नेटवर्किंग सुविधाएँ, और बहुत कुछ

सदस्य बने

Leave a Reply

Your email address will not be published. Required fields are marked *