Airbyte’s AWS S3 connector brings open source data integration to data lakes

ओपन सोर्स डेटा इंटीग्रेशन प्लेटफॉर्म Airbyte ने अपने पहले डेटा लेक इंटीग्रेशन की घोषणा की है, जिससे यूजर्स असंख्य स्रोतों से डेटा को Amazon की सिंपल स्टोरेज सर्विस (S3) में कॉपी कर सकते हैं। सैन फ्रांसिस्को स्थित स्टार्टअप ने कहा कि वह “अन्य क्लाउड प्रदाताओं” से डेटा झीलों का समर्थन करने की योजना बना रहा है – जिसमें डेटाब्रिक्स का ओपन सोर्स डेल्टा लेक भी शामिल है – जल्द ही।

सभी आकार के व्यवसायों में सीआरएम, मार्केटिंग, ग्राहक सहायता और उत्पाद विश्लेषण जैसे असंख्य उपकरणों में फैले डेटा की बहुतायत है। डेटा तक पहुँचने में समस्या नहीं है, विभिन्न स्थानों और स्वरूपों में संग्रहीत डेटा से सार्थक अंतर्दृष्टि प्राप्त करना है – इसलिए व्यवसायों को इसे एक केंद्रीकृत स्थान में संयोजित करना होगा और इसे एक सामान्य प्रारूप में बदलना होगा जिससे विश्लेषण करना आसान हो जाए।

ईटीएल से ईएलटी तक

ऐतिहासिक रूप से, इसे प्राप्त करने के लिए एक विशिष्ट प्रक्रिया वह होगी जिसे “एक्सट्रैक्ट, ट्रांसफॉर्म, लोड” (ETL) के रूप में जाना जाता है, जिसमें डेटा को केंद्रीय डेटा वेयरहाउस में आने से पहले बदलना शामिल है – यह महंगे ऑन-प्रिमाइसेस स्टोरेज के साथ अधिक समझ में आता है, भले ही परिवर्तन प्रक्रिया दर्दनाक रूप से धीमी हो सकती है और यदि उपयोगकर्ता की ज़रूरतें बदल जाती हैं तो उपयोगकर्ता को अक्सर डेटा को फिर से निकालना होगा। आधुनिक विकल्प – “एक्सट्रैक्ट, लोड, ट्रांसफॉर्म” (ईएलटी) – कंपनियों को कच्चे डेटा को ऑन-डिमांड बदलने की अनुमति देता है जब यह पहले से ही गोदाम में होता है। इसे आधुनिक क्लाउड-आधारित स्टोरेज और डेटाब्रिक्स, स्नोफ्लेक, Google के BigQuery और अमेज़ॅन के रेडशिफ्ट जैसे कंप्यूटिंग प्लेटफॉर्म के लिए जिम्मेदार कम लागत के माध्यम से सक्षम किया गया है।

एयरबाइट मुख्य रूप से ईएलटी के “ईएल” भाग से संबंधित है, हालांकि यह डीबीटी जैसे तृतीय-पक्ष टूल के साथ एकीकरण के माध्यम से परिवर्तन चरण का भी समर्थन करता है। कंपनी ने हाल ही में अपने स्वयं के कस्टम डेटा स्रोत कनेक्टर बनाने के लिए व्यवसायों को सक्षम करने के लिए अपना कनेक्टर डेवलपमेंट किट (सीडीके) लॉन्च किया, हालांकि यह दर्जनों पूर्व-निर्मित कनेक्टर भी प्रदान करता है। इससे कंपनियों के लिए डेटा पाइपलाइन बनाना और सीआरएम (जैसे सेल्सफोर्स), डेटाबेस (जैसे MySQL, PostreSQL), और एनालिटिक्स (जैसे एम्प्लिट्यूड) जैसे स्रोतों से अपने डेटा को डेटाबेस (जैसे BigQuery), डेटा वेयरहाउस सहित गंतव्यों तक पहुंचाना आसान हो जाता है। (जैसे स्नोफ्लेक) और – अब – डेटा झीलें।

डेटा लेक और डेट वेयरहाउस बहुत अलग उद्देश्यों की पूर्ति करते हैं – पूर्व के घर कच्चे, असंरचित डेटा जो अधिक लचीले लेकिन भंडारण-गहन होते हैं, जबकि बाद वाले सभी संरचित डेटा के बारे में होते हैं जिन्हें पहले से ही विशिष्ट उपयोग-मामलों के लिए संसाधित और फ़िल्टर किया जाता है। कंपनी। इस प्रकार, S3 का समर्थन करने के लिए Airbyte का निर्णय समझ में आता है, यह देखते हुए कि इसे यथासंभव अधिक से अधिक संभावित डेटा एकीकरण परिदृश्यों के लिए खुद को खोलने की आवश्यकता है।

व्यापार के लिए खुला

ओपन सोर्स डेटा इंटीग्रेशन टूल हाल ही में बड़ी खबर रही है। पिछले हफ्ते GitLab ने घोषणा की कि वह अपने ओपन सोर्स ELT (एक्सट्रैक्ट, लोड, ट्रांसफॉर्म) प्लेटफॉर्म Meltano को एक स्टैंडअलोन बिजनेस के रूप में तैयार कर रहा है, एक प्रोजेक्ट जो Airbyte के समान कुछ हासिल करने के लिए तैयार है। इसके अलावा, एक स्वतंत्र व्यवसाय के रूप में, मेल्टानो ने अल्फाबेट के जीवी और वर्डप्रेस के संस्थापक मैट मुलेनवेग सहित कुछ बड़े नाम वाले निवेशकों को आकर्षित करने में भी कामयाबी हासिल की है। कहीं और, डीबीटी लैब्स (पूर्व में फिशटाउन एनालिटिक्स) ने पिछले हफ्ते अपने ओपन सोर्स डीबीटी डेटा ट्रांसफॉर्मेशन टूल को बनाने के लिए $ 1.5 बिलियन वैल्यूएशन पर $ 150 मिलियन जुटाए, जिसका मेल्टानो और एयरबाइट दोनों अपने-अपने उत्पादों में लाभ उठाते हैं।

एयरबाइट ने अपने हिस्से के लिए, पिछले कुछ महीनों में $ 31 मिलियन का उत्तर उठाया है, मार्च में $ 5.2 मिलियन बीज वृद्धि के साथ शुरू हुआ, इसके तुरंत बाद $ 26 मिलियन श्रृंखला ए दौर तीन महीने से भी कम समय में। ऐसा लगता है कि ओपन सोर्स डेटा ईटीएल उद्योग गर्म हो रहा है।

अभी के लिए, एयरबाइट का मुख्य उत्पाद मुफ़्त और एमआईटी-लाइसेंस प्राप्त सामुदायिक संस्करण है, हालांकि यह अंततः एक होस्टेड क्लाउड अवतार के माध्यम से व्यावसायिक रूप से जाने की योजना बना रहा है, साथ ही कार्यों में एक अतिरिक्त उद्यम-ग्रेड की पेशकश भी है।