एआई वीकली: एनआईएसटी एआई पूर्वाग्रह की पहचान करने और उसे दूर करने के तरीकों का प्रस्ताव करता है

Posted on

नेशनल इंस्टीट्यूट ऑफ स्टैंडर्ड एंड टेक्नोलॉजी (एनआईएसटी), अमेरिकी एजेंसी जो “नवाचार और औद्योगिक प्रतिस्पर्धात्मकता” को बढ़ावा देने के लिए तकनीकी मीट्रिक विकसित करने के लिए जिम्मेदार है, ने इस सप्ताह एआई में पूर्वाग्रह के जोखिम को कम करने के लिए फीडबैक और सिफारिशों को रेखांकित करते हुए एक दस्तावेज प्रकाशित किया। पेपर, जिसके बारे में एनआईएसटी अगस्त तक टिप्पणियों को स्वीकार कर रहा है, “हानिकारक” पूर्वाग्रहों को पहचानने और प्रबंधित करने के लिए एक दृष्टिकोण का प्रस्ताव करता है जो एआई में सार्वजनिक विश्वास को नुकसान पहुंचा सकता है।

जैसा कि एनआईएसटी वैज्ञानिक रेवा श्वार्ट्ज, जिन्होंने पेपर का सह-लेखन किया, बताते हैं, एआई मनुष्यों की तुलना में डेटा को अधिक तेज़ी से समझने की क्षमता में परिवर्तनकारी है। लेकिन जैसे-जैसे एआई दुनिया में व्याप्त है, यह स्पष्ट होता जा रहा है कि इसकी भविष्यवाणियां एल्गोरिथम और डेटा पूर्वाग्रहों से प्रभावित हो सकती हैं। मामलों को बदतर बनाते हुए, कुछ एआई सिस्टम जटिल अवधारणाओं को मॉडल करने के लिए बनाए गए हैं जिन्हें सीधे डेटा द्वारा सीधे नहीं मापा जा सकता है। उदाहरण के लिए, हायरिंग एल्गोरिदम परदे के पीछे का उपयोग करते हैं – जिनमें से कुछ खतरनाक रूप से अभेद्य हैं – जैसे “निवास का क्षेत्र” या “शिक्षा स्तर” – उन अवधारणाओं के लिए जिन्हें वे पकड़ने का प्रयास करते हैं।

प्रभाव अक्सर विनाशकारी होते हैं। एआई में पूर्वाग्रहों ने कुछ अन्यायों को नाम देने के लिए गलत गिरफ्तारी, नस्लवादी पुनरावृत्ति स्कोर, सेक्सिस्ट भर्ती, गलत हाई स्कूल ग्रेड, आक्रामक और बहिष्कृत भाषा जनरेटर, और खराब प्रदर्शन करने वाली भाषण पहचान प्रणाली को जन्म दिया है। अप्रत्याशित रूप से, एआई सिस्टम में विश्वास कम हो रहा है। केपीएमजी द्वारा किए गए सर्वेक्षण के अनुसार, पांच देशों – यूएस, यूके, जर्मनी, कनाडा और ऑस्ट्रेलिया में – एक तिहाई से अधिक आम जनता का कहना है कि वे सामान्य रूप से एआई सिस्टम पर भरोसा करने को तैयार नहीं हैं।

प्रस्तावित ढांचा

एनआईएसटी दस्तावेज़ एक प्रणाली के जीवनचक्र में विभिन्न बिंदुओं पर एआई पूर्वाग्रहों को पहचानने और संबोधित करने के लिए एक रूपरेखा तैयार करता है, गर्भाधान, पुनरावृत्ति और डिबगिंग से लेकर रिलीज तक। यह डिजाइन और विकास और अंत में, परिनियोजन पर जाने से पहले पूर्व-डिज़ाइन या विचार चरण में शुरू होता है।

पूर्व-डिज़ाइन चरण में, चूंकि कई डाउनस्ट्रीम प्रक्रियाएं यहां किए गए निर्णयों पर निर्भर करती हैं, इसलिए एनआईएसटी सह-लेखकों ने नोट किया कि “चीजों को सही करने” के लिए बहुत दबाव है। इन निर्णयों के केंद्र में यह है कि उन्हें कौन बनाता है और किन लोगों या टीमों के पास उन पर सबसे अधिक शक्ति या नियंत्रण है, जो सीमित दृष्टिकोणों को प्रतिबिंबित कर सकते हैं, बाद के चरणों और निर्णयों को प्रभावित कर सकते हैं और पक्षपातपूर्ण परिणाम दे सकते हैं।

उदाहरण के लिए, पहले से ही भेदभाव के लिए जाने जाने वाले परिदृश्यों के लिए भविष्य कहनेवाला मॉडल बनाने का एक स्पष्ट जोखिम है, जैसे कि काम पर रखना। फिर भी डेवलपर्स अक्सर एआई से संबंधित बढ़ी हुई अपेक्षाओं की संभावना को संबोधित नहीं करते हैं। वास्तव में, विकास में वर्तमान धारणाएं अक्सर तकनीकी समाधानवाद के विचार के इर्द-गिर्द घूमती हैं, यह धारणा कि प्रौद्योगिकी केवल सकारात्मक समाधान की ओर ले जाएगी।

डिजाइन और विकास के चरण चुनौतियों के अन्य, संबंधित सेट पेश करते हैं। यहां, डेटा वैज्ञानिक अक्सर अकेले प्रदर्शन और अनुकूलन पर केंद्रित होते हैं, जो उनके अपने अधिकारों में पूर्वाग्रह के स्रोत हो सकते हैं। उदाहरण के लिए, मॉडलर लगभग हमेशा सबसे सटीक मशीन लर्निंग मॉडल का चयन करेंगे। लेकिन संदर्भ को ध्यान में नहीं रखने से कुछ आबादी के लिए पक्षपाती परिणाम हो सकते हैं, जैसा कि व्यक्तिगत व्यवहार के बारे में भविष्यवाणियां करने के लिए समूहों के बारे में एकत्रित डेटा का उपयोग हो सकता है। यह बाद का पूर्वाग्रह, जिसे “पारिस्थितिक भ्रम” के रूप में जाना जाता है, अनजाने में कुछ कारकों का वजन करता है जैसे कि सामाजिक असमानताएं बढ़ जाती हैं।

स्वास्थ्य देखभाल मॉडलिंग में पारिस्थितिक भ्रम व्यापक है, जहां रोगों के निदान और उपचार के लिए एल्गोरिदम को प्रशिक्षित करने के लिए उपयोग किए जाने वाले अधिकांश डेटा को असमानताओं को बनाए रखने के लिए दिखाया गया है। हाल ही में, यूके के वैज्ञानिकों की एक टीम ने पाया कि लगभग सभी नेत्र रोग डेटासेट उत्तरी अमेरिका, यूरोप और चीन के रोगियों से आते हैं, जिसका अर्थ है कि नेत्र रोग-निदान एल्गोरिदम कम प्रतिनिधित्व वाले देशों के नस्लीय समूहों के लिए अच्छी तरह से काम करने के लिए कम निश्चित हैं। एक अन्य अध्ययन में, स्टैनफोर्ड विश्वविद्यालय के शोधकर्ताओं ने दावा किया कि एआई के चिकित्सा उपयोग से जुड़े अध्ययनों के लिए अधिकांश अमेरिकी डेटा न्यूयॉर्क, कैलिफोर्निया और मैसाचुसेट्स से प्राप्त किए गए हैं।

जब एआई सिस्टम परिनियोजन चरण में पहुंच जाता है – यानी, जहां लोग उनके साथ बातचीत करना शुरू करते हैं – पहले के चरणों में खराब निर्णयों का प्रभाव पड़ने लगता है, आमतौर पर प्रभावित लोगों के लिए यह अनजान होता है। उदाहरण के लिए, गतिविधि पूर्वाग्रहों की क्षतिपूर्ति के लिए डिज़ाइन न करके, एल्गोरिथम मॉडल केवल सबसे सक्रिय उपयोगकर्ताओं के डेटा पर बनाए जा सकते हैं। एनआईएसटी के सह-लेखक इस समस्या को इस तथ्य पर पेश करते हैं कि एल्गोरिदम का आविष्कार करने वाले समूहों के बारे में जागरूक होने की संभावना नहीं है – कभी-कभी जानबूझकर – सभी संभावित समस्याग्रस्त तरीकों से उन्हें फिर से तैयार किया जाएगा। इसके अलावा, लोग एआई मॉडल की भविष्यवाणियों की व्याख्या कैसे करते हैं, इसमें अलग-अलग अंतर हैं, जो निर्णयों के “ऑफलोडिंग” को मोटे, गलत स्वचालित उपकरणों का कारण बन सकते हैं।

यह भाषा क्षेत्र में विशेष रूप से स्पष्ट है, जहां मॉडल व्यवहार को सार्वभौमिक मानकों तक कम नहीं किया जा सकता है क्योंकि “वांछनीय” व्यवहार आवेदन और सामाजिक संदर्भ से भिन्न होता है। कैलिफोर्निया विश्वविद्यालय, बर्कले और वाशिंगटन विश्वविद्यालय के शोधकर्ताओं द्वारा किया गया एक अध्ययन इस बिंदु को दर्शाता है, यह दर्शाता है कि उत्पादन में तैनात भाषा मॉडल अल्पसंख्यक भाषाओं और बोलियों के पहलुओं को समझने के लिए संघर्ष कर सकते हैं। यह मॉडल का उपयोग करने वाले लोगों को “श्वेत-संरेखित अंग्रेजी” पर स्विच करने के लिए मजबूर कर सकता है ताकि यह सुनिश्चित हो सके कि मॉडल उनके लिए बेहतर काम करते हैं, उदाहरण के लिए, जो अल्पसंख्यक वक्ताओं को मॉडल के साथ जुड़ने से हतोत्साहित कर सकता है।

एआई in में पूर्वाग्रह से निपटना

नुकसान के बारे में क्या करना है? एनआईएसटी सह-लेखक एआई विकास प्रक्रिया में “विविधता” को बनाए रखते हुए पूर्वाग्रहों की पहचान करने की सलाह देते हैं – जिसमें नस्लीय, लिंग, आयु शामिल है – सामाजिक रेखाओं के साथ, जहां पूर्वाग्रह एक चिंता का विषय है। हालांकि वे स्वीकार करते हैं कि प्रभावों की पहचान करने में समय लग सकता है और इसके लिए अंतिम उपयोगकर्ताओं, चिकित्सकों, विषय विशेषज्ञों और कानून और सामाजिक विज्ञान के पेशेवरों की भागीदारी की आवश्यकता होती है, सहलेखकों का कहना है कि ये हितधारक सभी पर विचार करने की चुनौती को सहन करने के लिए अनुभव ला सकते हैं। संभावित नतीजे।

सुझावों को माइक्रोसॉफ्ट के शोधकर्ताओं के एक समूह द्वारा पिछले जून में प्रकाशित एक पेपर के साथ जोड़ा गया है। इसने अपने काम में भाषा, शक्ति और पूर्वाग्रह के बीच संबंधों की एक करीबी परीक्षा और अन्वेषण की वकालत की, यह निष्कर्ष निकाला कि मशीन सीखने के अनुसंधान क्षेत्र में आमतौर पर पूर्वाग्रह के स्पष्ट विवरण की कमी होती है और यह समझाने में विफल रहता है कि यह पूर्वाग्रह कैसे, क्यों और किसके लिए हानिकारक है। .

“प्रौद्योगिकी या डेटासेट जो एक समूह के लिए गैर-समस्याग्रस्त प्रतीत होते हैं, उन्हें दूसरों द्वारा विनाशकारी माना जा सकता है। जिस तरह से विभिन्न उपयोगकर्ता समूह कुछ अनुप्रयोगों या उपकरणों को खेल सकते हैं, वह एआई-आधारित तकनीक को बाजार में लाने के आरोप वाली टीमों के लिए भी इतना स्पष्ट नहीं हो सकता है, “एनआईएसटी पेपर पढ़ता है। “इस प्रकार के प्रभावों को कभी-कभी प्रारंभिक परीक्षण चरणों में पहचाना जा सकता है, लेकिन आमतौर पर प्रासंगिक अंत-उपयोग के लिए बहुत विशिष्ट होते हैं और समय के साथ बदल जाएंगे।”

इसके अलावा, सह-लेखक “सांस्कृतिक प्रभावी चुनौती” की वकालत करते हैं, एक ऐसा अभ्यास जो एक ऐसा वातावरण बनाने का प्रयास करता है जहां डेवलपर्स पूर्वाग्रह को जड़ से खत्म करने में मदद करने के लिए इंजीनियरिंग में कदम उठा सकते हैं। एआई प्रैक्टिशनर्स को अपनी तकनीकों का बचाव करने की आवश्यकता है, सह-लेखक मानते हैं, सोच के नए तरीकों को प्रोत्साहित कर सकते हैं और संगठनों और उद्योगों द्वारा दृष्टिकोण में बदलाव लाने में मदद कर सकते हैं।

कई संगठन निशान से कम हो जाते हैं। 2019 के एक शोध पत्र के बाद यह प्रदर्शित किया गया कि व्यावसायिक रूप से उपलब्ध चेहरे के विश्लेषण उपकरण डार्क स्किन वाली महिलाओं के लिए काम करने में विफल हैं, अमेज़ॅन वेब सर्विसेज के अधिकारियों ने कई ब्लॉग पोस्ट में अध्ययन सह-लेखक जॉय बुओलामिनी और देब राजी को बदनाम करने का प्रयास किया। हाल ही में, Google ने एआई नैतिकता टीम में प्रमुख एआई शोधकर्ता टिमनीत गेब्रू को उनके पद से हटा दिया, जो उनका दावा है कि कंपनी के प्रबंधकीय प्रथाओं के लिए सहकर्मियों को एक ईमेल भेजने के लिए प्रतिशोध था।

लेकिन अन्य, विशेष रूप से अकादमिक क्षेत्र में, प्रारंभिक कदम उठाए हैं। उदाहरण के लिए, स्टैनफोर्ड में एक नया कार्यक्रम – द एथिक्स एंड सोसाइटी रिव्यू (ईएसआर) – एआई शोधकर्ताओं को वित्त पोषण के लिए हरी-रोशनी होने से पहले समाज पर किसी भी संभावित नकारात्मक प्रभाव के लिए अपने प्रस्तावों का मूल्यांकन करने की आवश्यकता है। 2020 से शुरू होकर, स्टैनफोर्ड ने स्टैनफोर्ड एचएआई ग्रांट फंडिंग की मांग करते हुए 41 प्रस्तावों में ईएसआर चलाया। पैनल ने आमतौर पर अल्पसंख्यक समूहों को नुकसान, अनुसंधान योजना में विविध हितधारकों को शामिल करने, दोहरे उपयोग और डेटा में प्रतिनिधित्व के मुद्दों की पहचान की। बुजुर्ग वयस्कों के लिए घर में देखभाल के लिए परिवेश एआई के उपयोग की जांच करने वाली एक शोध टीम ने एक ईएसआर बयान लिखा, जिसमें उनके शोध में गोपनीयता नैतिकता पर विचार किया गया था, जिसमें चेहरे के धुंधलापन, बॉडी मास्किंग और प्रतिभागियों को सुरक्षित रखने के लिए अन्य तरीकों के उपयोग के लिए सिफारिशों को रेखांकित किया गया था। .

अंत में, परिनियोजन चरण में, सह-लेखक यह मामला बनाते हैं कि निगरानी और ऑडिटिंग पूर्वाग्रह जोखिमों को प्रबंधित करने के प्रमुख तरीके हैं। यह क्या हासिल कर सकता है इसकी एक सीमा है – उदाहरण के लिए, यह स्पष्ट नहीं है कि “डिटॉक्सिफिकेशन” विधियां एक निश्चित आकार के भाषा मॉडल को पूरी तरह से विचलित कर सकती हैं या नहीं। हालांकि, काउंटरफैक्टुअल फेयरनेस जैसी तकनीकें, जो “निष्पक्ष” एल्गोरिदम का उत्पादन करने के लिए कारण विधियों का उपयोग करती हैं, शायद प्रयोगशाला और वास्तविक दुनिया के वातावरण के बीच अंतराल को पाटना शुरू कर सकती हैं।

एनआईएसटी के प्रस्तावित दृष्टिकोण पर टिप्पणियां 5 अगस्त, 2021 तक एक टेम्प्लेट फॉर्म को डाउनलोड करके और उसे पूरा करके और एनआईएसटी के समर्पित ईमेल खाते में भेजकर प्रस्तुत की जा सकती हैं। सहलेखकों का कहना है कि वे आने वाले महीनों में एनआईएसटी द्वारा आयोजित आभासी घटनाओं के एजेंडे को आकार देने में मदद के लिए प्रतिक्रियाओं का उपयोग करेंगे, जो भरोसेमंद और जिम्मेदार एआई के विकास का समर्थन करने के लिए एजेंसी के व्यापक प्रयास का एक हिस्सा है।

“एआई में पूर्वाग्रह के जोखिम का प्रबंधन भरोसेमंद एआई सिस्टम विकसित करने का एक महत्वपूर्ण हिस्सा है, लेकिन इसे प्राप्त करने का मार्ग स्पष्ट नहीं है। श्वार्ज़ ने एक बयान में कहा, हम एआई पूर्वाग्रह के प्रबंधन और हानिकारक परिणामों के जोखिम को कम करने के लिए स्वैच्छिक, सर्वसम्मति-आधारित मानकों को विकसित करने में समुदाय को शामिल करना चाहते हैं। “एक एआई उपकरण अक्सर एक उद्देश्य के लिए विकसित किया जाता है, लेकिन फिर इसका उपयोग अन्य बहुत अलग संदर्भों में किया जाता है। कई एआई अनुप्रयोगों का भी अपर्याप्त परीक्षण किया गया है, या उस संदर्भ में बिल्कुल भी परीक्षण नहीं किया गया है जिसके लिए उनका इरादा है। ये सभी कारक पूर्वाग्रह को अनिर्धारित होने की अनुमति दे सकते हैं … [Because] हम जानते हैं कि पूर्वाग्रह पूरे AI जीवनचक्र में प्रचलित है… [not] यह जानना कि आपका मॉडल कहाँ पक्षपाती है, या यह मान लेना कि कोई पूर्वाग्रह नहीं है, खतरनाक होगा। इसे पहचानने और प्रबंधित करने के तरीकों का निर्धारण एक महत्वपूर्ण अगला कदम है।”

Leave a Reply

Your email address will not be published. Required fields are marked *