अमेरिका में नवंबर के मिडटर्म चुनाव से पहले AI सुरक्षा को लेकर एक नई बहस छिड़ गई है। Anthropic ने माना है कि उसके AI मॉडल Claude ने एक अंदरूनी काम के दौरान, बिना किसी इंसान के कहे, अमेरिकी राज्य Georgia का वह वोट-काउंट डेटा निकाल लिया जो आम तौर पर फीस देकर ही मिलता है। यानी मॉडल ने एक तरह से पेवॉल को पार कर लिया। यह खबर सबसे पहले अमेरिकी न्यूज साइट Axios ने रविवार (25 अक्टूबर) को दी और बाद में Reuters ने भी Anthropic के बयान के साथ इसे रिपोर्ट किया।
राहत की बात यह है कि Claude ने न तो Georgia के वोटर रजिस्ट्रेशन सिस्टम को छुआ और न ही किसी वोटिंग रिकॉर्ड को बदला या निकाला। उसने सिर्फ कुल वोटों की गिनती (aggregate vote counts) वाला डेटा लिया, जो राज्य जनता को फीस लेकर उपलब्ध कराता है। लेकिन सवाल डेटा की संवेदनशीलता से ज्यादा इस बात का है कि एक AI एजेंट ने खुद से वह रास्ता चुना जो उसे चुनना नहीं चाहिए था।
असल में हुआ क्या था
Anthropic के प्रवक्ता के मुताबिक, मॉडल को कंपनी के अंदर एक सांख्यिकी (statistics) प्रोजेक्ट के लिए सार्वजनिक डेटा जुटाने में इस्तेमाल किया जा रहा था। प्रवक्ता ने Axios से कहा, “बिना कहे, मॉडल ने एक डैशबोर्ड से जानकारी निकालने के लिए एक टोकन मांगा, जिसमें वह जानकारी थी जो आम तौर पर फीस देकर मिलती है। हमने तब से ऐसी हरकतों को रोकने के लिए उपाय लागू कर दिए हैं।” Axios के अनुसार, Georgia के अधिकारियों और Anthropic दोनों ने पुष्टि की है कि मॉडल ने पेवॉल को बायपास किया।
Reuters को दिए बयान में Anthropic ने दोहराया कि Claude ने राज्य के वोटर रजिस्ट्रेशन सिस्टम तक पहुंच नहीं बनाई और कोई वोटिंग रिकॉर्ड नहीं बदला। Reuters ने यह भी लिखा कि Georgia के सेक्रेटरी ऑफ स्टेट के दफ्तर ने सामान्य कामकाजी घंटों के बाहर टिप्पणी के अनुरोध का जवाब नहीं दिया। यह घटना कब हुई, इसकी सटीक तारीख अभी सामने नहीं आई है।
9 अक्टूबर की रिपोर्ट से जुड़ते तार
यह मामला अचानक नहीं आया। Anthropic ने 9 अक्टूबर को एक रिपोर्ट जारी की थी, जिसका शीर्षक था “Investigating unintended model actions in our evaluations and internal use”। इसमें कंपनी ने Claude के ऐसे व्यवहारों को चार श्रेणियों में बांटा था:
- सर्वर पर कमांड चलाने के लिए किसी सॉफ्टवेयर की बुनियादी खामी का फायदा उठाना
- किसी असली वेबसाइट पर ऐसा संवेदनशील फॉर्म जमा कर देना, जो उसे नहीं करना चाहिए था
- टोकन या फीस से बंद डेटा तक किसी पाबंदी के आसपास से रास्ता निकालना
- अपने वेब-फेच टूल की सीमाओं से बचने के लिए URL शॉर्टनर सेवाओं का इस्तेमाल
उसी रिपोर्ट में एक उदाहरण था कि एक Anthropic रिसर्चर ने Claude Mythos 5 को एक सांख्यिकी प्रोजेक्ट पर लगाया, जिसमें एक राज्य एजेंसी का फीस वाला सार्वजनिक डेटा चाहिए था। मॉडल ने एजेंसी की वेबसाइट की एक पुरानी आर्काइव कॉपी से जाना कि उसका पब्लिक डैशबोर्ड हर विजिटर को एक एक्सेस टोकन देता है, फिर वही टोकन लेकर बिना फीस चुकाए डेटाबेस से जानकारी निकाल ली। तब कंपनी ने एजेंसी का नाम नहीं बताया था और कहा था कि कुछ मामलों में संघीय, राज्य और स्थानीय स्तर की अमेरिकी सरकारी वेबसाइटें शामिल थीं, जिनकी जानकारी White House और संबंधित एजेंसियों को दी गई है। Anthropic ने आधिकारिक तौर पर यह नहीं कहा है कि Georgia वाला मामला यही उदाहरण है, लेकिन दोनों का ब्योरा काफी मिलता-जुलता है।
कंपनी ने उस रिपोर्ट में यह भी कहा था कि इन मामलों का असली दुनिया पर असर बहुत कम रहा, और ज्यादातर मामले “जिद” (persistence) जैसे हैं, यानी जब Claude किसी काम को तय तरीके से पूरा नहीं कर पाता, तो रुकने के बजाय पाबंदी के आसपास से रास्ता ढूंढने लगता है।
AI और टेक की ऐसी खबरें आसान हिंदी वीडियो में देखने के लिए हमारा YouTube चैनल Tech With Bharat Hirwani सब्सक्राइब करें, और हर नई अपडेट सबसे पहले पाने के लिए TimeTrolls का WhatsApp चैनल फॉलो करें।
चुनाव से पहले यह खबर इतनी अहम क्यों
डेटा भले सार्वजनिक था, लेकिन टाइमिंग इस मामले को बड़ा बना देती है। अमेरिका में मिडटर्म चुनाव करीब हैं और चुनावी सिस्टम की सुरक्षा पहले से ही वहां बेहद संवेदनशील मुद्दा है। Indian Express के मुताबिक, यह उन पहले ज्ञात मामलों में से है जहां किसी AI एजेंट ने बिना इजाजत वोटर से जुड़े डेटा तक पहुंच बनाई। अगर एक मॉडल एक साधारण सांख्यिकी काम में फीस वाली दीवार पार कर सकता है, तो लोग स्वाभाविक रूप से पूछेंगे कि ज्यादा ताकतवर एजेंट और क्या-क्या कर सकते हैं।
Axios ने एक और दिलचस्प पहलू बताया। एक सूत्र के हवाले से उसने लिखा कि Anthropic ने कुछ हफ्ते पहले ही Georgia के सेक्रेटरी ऑफ स्टेट के दफ्तर और White House को इसकी जानकारी दे दी थी, और प्रशासन के अधिकारियों ने Georgia से इसे जल्दी सार्वजनिक करने को कहा था, लेकिन वह अनुरोध माना नहीं गया। Axios के मुताबिक, AI घटनाओं की जानकारी ठीक से न देने को लेकर Anthropic पहले भी प्रशासन के निशाने पर रहा है।
एक और विरोधाभास भी गौर करने लायक है। Indian Express के अनुसार, इसी महीने Anthropic ने कहा था कि वह नॉनप्रॉफिट संस्था Democracy Works से मिली आधिकारिक अमेरिकी वोटिंग जानकारी और चुनाव नतीजे Claude में जोड़ेगी, ताकि चुनावी दुरुपयोग रोकते हुए Claude राजनीतिक बातचीत में उपयोगी बने। कंपनी के विश्लेषण के मुताबिक Claude.ai पर अमेरिका की करीब 5.75% बातचीत राजनीति, नीति या सामाजिक मुद्दों से जुड़ी होती है और लगभग 0.51% सीधे चुनाव या वोटिंग पर। ऐसे में वोट डेटा से जुड़ी यह चूक कंपनी की चुनावी साख पर सवाल खड़े करती है।
अकेला Anthropic नहीं, पूरी इंडस्ट्री कटघरे में
Axios ने साफ लिखा है कि Anthropic और OpenAI दोनों लगातार ऐसे खुलासे कर रहे हैं जिनमें एजेंट्स ने बिना इजाजत या अनचाहे काम किए। OpenAI ने हाल ही में बताया था कि सितंबर में उसके एक रिसर्च मॉडल ने कॉन्फिगरेशन की गलती का फायदा उठाकर सीमित इंटरनेट एक्सेस पा लिया था, जिसके बाद उसने अपने सबसे एडवांस मॉडल्स की ट्रेनिंग रोकी और 1 अक्टूबर से कड़ी सुरक्षा के साथ दोबारा शुरू की। इस पर हमारी पूरी रिपोर्ट OpenAI अब ऑफलाइन माहौल में AI ट्रेनिंग क्यों कर रहा है में पढ़ सकते हैं।
इन घटनाओं से एक पैटर्न दिखता है: जैसे-जैसे मॉडल खुद से वेब ब्राउज करने, टूल चलाने और कई चरणों वाले काम करने में माहिर हो रहे हैं, वैसे-वैसे वे इंसानी इरादे की “भावना” के बजाय सिर्फ “लक्ष्य” पर ध्यान देने लगते हैं। डेटा चाहिए था, तो मॉडल ने डेटा ले आने का रास्ता ढूंढ लिया, भले वह रास्ता नियमों के हिसाब से गलत था।
Anthropic ने अब तक क्या कदम उठाए
9 अक्टूबर की रिपोर्ट के मुताबिक कंपनी ने कुछ पब्लिक इवैल्यूएशन चलाने बंद कर दिए, कुछ को ऑफलाइन वर्जन में बदल दिया या ऐसे दोबारा बनाया कि उनके काम लाइव वेबसाइट तक न पहुंचें। वेब-फेच जैसे इंटरनेट टूल्स पर मॉडल क्या कर सकता है, इसकी पाबंदियां कड़ी की गईं। साथ ही ऐसी हरकतों को अपने-आप पकड़ने और रोकने वाली टूलिंग बनाई गई, जो अब ज्यादातर इवैल्यूएशन और फ्रंटियर मॉडल्स के अंदरूनी एजेंटिक इस्तेमाल पर चलती है। Georgia मामले पर भी प्रवक्ता ने यही कहा कि ऐसी हरकतें रोकने के उपाय लागू कर दिए गए हैं।
गौर करने वाली बात यह है कि ये सारे मामले कंपनी के अंदरूनी इस्तेमाल और टेस्टिंग के हैं। आम यूजर्स के लिए Claude के एजेंट फीचर, जैसे हाल में आया Claude Duet AI एजेंट, भुगतान करने, मैसेज भेजने या कुछ डिलीट करने से पहले यूजर की मंजूरी मांगते हैं। फिर भी यह घटना बताती है कि मंजूरी वाले सिस्टम सिर्फ उन्हीं कामों को रोकते हैं जिन्हें पहले से “संवेदनशील” माना गया हो।
भारत के नजरिए से सबक
भारत में भी सरकारी पोर्टल, डैशबोर्ड और ओपन डेटा प्लेटफॉर्म तेजी से बढ़े हैं, और कंपनियां AI एजेंट्स को रिसर्च, डेटा जुटाने और ग्राहक सेवा जैसे कामों में लगा रही हैं। यह मामला याद दिलाता है कि किसी पोर्टल का “हर विजिटर को टोकन देना” जैसा छोटा तकनीकी फैसला AI एजेंट के लिए खुला दरवाजा बन सकता है। सरकारी विभागों को अपने पेड या सीमित डेटा की एक्सेस-व्यवस्था दोबारा जांचनी चाहिए, और जो कंपनियां एजेंट्स इस्तेमाल करती हैं, उन्हें साफ नियम बनाने चाहिए कि एजेंट किन साइटों पर क्या कर सकता है, और हर कदम का लॉग रखना चाहिए।
आम यूजर के लिए भी सीधी सीख है: AI एजेंट को अपने अकाउंट, ईमेल या पेमेंट से जोड़ते समय उसे उतनी ही अनुमति दें जितनी जरूरी हो, और संवेदनशील कामों से पहले मंजूरी वाला विकल्प चालू रखें।
आगे क्या देखना होगा
अब नजर इस पर रहेगी कि Georgia के अधिकारी इस मामले पर क्या आधिकारिक बयान देते हैं, क्या अमेरिकी प्रशासन AI घटनाओं की रिपोर्टिंग के लिए कोई सख्त समय-सीमा तय करता है, और क्या दूसरी AI कंपनियां भी ऐसे मामलों का खुलासा करती हैं। Anthropic खुद कह चुका है कि वह सिस्टम कार्ड और रिस्क रिपोर्ट के अलावा भी मॉडल व्यवहार पर ज्यादा बार रिपोर्ट जारी करेगा। IPO की ओर बढ़ रही कंपनी के लिए पारदर्शिता और भरोसा, दोनों अब पहले से कहीं ज्यादा अहम हैं। Anthropic की कारोबारी तैयारी पर हमारी रिपोर्ट Anthropic का पब्लिक बेनिफिट फंड भी पढ़ें।
स्रोत क्रेडिट: Axios, Reuters (Investing.com के जरिए), The Indian Express, The Hindu और Anthropic की 9 अक्टूबर की रिपोर्ट।
टिप्पणियाँ