इंटरनेट पर लिखने वालों के लिए एक बड़ी खबर आई है। AI स्क्रैपिंग को लेकर लंबे समय से चल रही खींचतान के बीच OpenAI, Google, Microsoft और Anthropic ने 30 अक्टूबर 2026 (भारत में 31 अक्टूबर की सुबह तक) ऐलान किया कि वे एक साझा “सिग्नल” को मानेंगे, जिसके जरिए कोई भी वेबसाइट एक ही लाइन में बता सकेगी कि उसका कंटेंट AI मॉडल की ट्रेनिंग में इस्तेमाल न हो। यह सिग्नल वेबसाइट की उसी पुरानी robots.txt फाइल में लिखा जाएगा, जिससे सर्च इंजन के क्रॉलर दशकों से दिशा-निर्देश लेते आए हैं।
अब तक हालत यह थी कि किसी ब्लॉगर या न्यूज़ साइट को AI ट्रेनिंग से बचना हो, तो उसे हर कंपनी के क्रॉलर का नाम अलग-अलग पता करके robots.txt में अलग नियम लिखने पड़ते थे। नए क्रॉलर आते रहते थे और लिस्ट कभी पूरी नहीं होती थी। साझा सिग्नल का मकसद इसी झंझट को खत्म करना है: AI स्क्रैपिंग के खिलाफ एक नियम, कई कंपनियां।
AI स्क्रैपिंग का नया नियम असल में है क्या?
यह प्रस्ताव इंटरनेट के मानक तय करने वाली संस्था IETF (Internet Engineering Task Force) के AI Preferences वर्किंग ग्रुप के काम पर आधारित है। The Verge के मुताबिक इसे Anthropic में स्टैंडर्ड्स के टेक्निकल लीड Kevin Kelley ने प्रस्तावित किया है। IETF पर मौजूद ड्राफ्ट में बताया गया है कि वेबसाइट मालिक robots.txt में एक खास “policy token” को User-Agent की जगह लिखेंगे, यानी User-Agent: __usage_ai-training, और उसके नीचे सामान्य Disallow/Allow नियम। मसलन पूरी साइट को ट्रेनिंग से बाहर रखना हो, पर प्रेस किट वाला हिस्सा खुला छोड़ना हो, तो यह भी संभव होगा।
इसकी खास बात यह है कि कोई नई भाषा या नया कमांड नहीं जोड़ा गया। पुराने robots.txt पार्सर इस ग्रुप को वैसे ही अनदेखा कर देंगे जैसे किसी अनजान बॉट के नियम को करते हैं, इसलिए सर्च इंजन की सामान्य क्रॉलिंग पर असर नहीं पड़ना चाहिए। ध्यान रहे, यह अभी ड्राफ्ट है, अंतिम मानक नहीं, और इसका नाम या ब्योरा आगे बदल भी सकता है।
कौन सी कंपनी कब से लागू करेगी
चारों कंपनियों ने हामी तो भरी है, लेकिन रफ्तार सबकी अलग है। उपलब्ध रिपोर्टों और कंपनियों के आधिकारिक ब्लॉग के हिसाब से तस्वीर कुछ ऐसी है:
| कंपनी | लागू होने की स्थिति |
|---|---|
| Anthropic (Claude) | रोलआउट “पहले ही शुरू” कर दिया |
| OpenAI (ChatGPT) | “आने वाले महीनों” में, ब्योरा बाद में देगी |
| Microsoft (Bing, Copilot) | 1 फरवरी 2027 से |
| Google (Gemini) | 2027 में किसी समय |
Google ने अपने Search Central ब्लॉग में लिखा है कि अगर कोई साइट इस साझा टोकन से ट्रेनिंग के लिए मना करती है और Google-Extended अलग से नहीं लिखा है, तो Google इसे वैसे ही मानेगा जैसे साइट ने Google-Extended को ब्लॉक किया हो। Google-Extended वही कंट्रोल है जो कंपनी 2023 से दे रही है। OpenAI ने साफ किया है कि उसके मौजूदा क्रॉलर कंट्रोल (जैसे GPTBot के नियम) भी चलते रहेंगे, यानी नया सिग्नल उन्हें हटाएगा नहीं, बल्कि उनके ऊपर एक आसान रास्ता जोड़ेगा।
Microsoft ने एक कदम आगे क्या जोड़ा
Microsoft ने Bing ब्लॉग पर ट्रेनिंग के साथ “AI Grounding” नाम की अलग पसंद भी जोड़ी है। ग्राउंडिंग का मतलब है किसी AI जवाब को भरोसेमंद वेब पेज से जोड़कर तैयार करना, ताकि गलत जानकारी (हैलुसिनेशन) कम हो। Microsoft के मुताबिक पब्लिशर पेज-लेवल पर तय कर सकेंगे कि उनका कंटेंट ग्राउंडिंग में इस्तेमाल हो या नहीं, और एक नया विकल्प DisallowExtended ग्राउंडिंग को सिर्फ Microsoft के अपने प्रोडक्ट्स (जैसे Copilot) तक सीमित रखेगा। कंपनी ने यह भी कहा कि इन पसंदों से Bing सर्च रिजल्ट में दिखने की योग्यता नहीं बदलेगी।
जो साइटें अभी NoArchive या NoCache जैसे पुराने निर्देशों पर टिकी हैं, उनके लिए Microsoft ने 1 मार्च 2027 तक नई सेटिंग अपनाने की सलाह दी है, क्योंकि उसके बाद पुराने निर्देश ट्रेनिंग या ग्राउंडिंग की पसंद के तौर पर नहीं पढ़े जाएंगे।
AI और टेक की ऐसी ही खबरें आसान भाषा में वीडियो में देखने के लिए हमारा YouTube चैनल Tech With Bharat Hirwani सब्सक्राइब करें, और ताज़ा अपडेट सीधे फोन पर पाने के लिए TimeTrolls का WhatsApp चैनल जॉइन करें।
यह कदम अभी क्यों उठाया गया
पिछले दो-तीन साल में AI कंपनियों और पब्लिशरों के बीच रिश्ते लगातार खराब हुए हैं। Reuters की रिपोर्ट (CNA पर प्रकाशित) याद दिलाती है कि New York Times ने दिसंबर 2023 में OpenAI और Microsoft पर मुकदमा किया था कि लाखों लेख बिना अनुमति और भुगतान के ChatGPT की ट्रेनिंग में इस्तेमाल हुए। दोनों कंपनियां अमेरिकी कॉपीराइट कानून के “फेयर यूज़” अपवाद का हवाला देती रही हैं। इसी बीच Cloudflare ने जुलाई 2025 से नई साइटों पर AI बॉट्स को डिफॉल्ट रूप से ब्लॉक करना शुरू किया और Really Simple Licensing (RSL) जैसे मानक आए, जिनसे पब्लिशर बॉट्स से पैसे वसूल सकते हैं।
ऐसे माहौल में बड़ी AI कंपनियों का एक साझा, स्वैच्छिक नियम पर आना एक तरह से दबाव कम करने की कोशिश भी है। पहले भी ट्रेनिंग डेटा को लेकर बहस होती रही है, जिस पर हमने OpenAI की ऑफलाइन AI ट्रेनिंग वाली रिपोर्ट में भी चर्चा की थी। Meta के कम्युनिकेशन प्रमुख Andy Stone ने भी X पर इस पहल का समर्थन किया, हालांकि Meta खुद इस सिग्नल को मानेगा या नहीं, यह उन्होंने साफ नहीं किया।
पूरी तस्वीर: सीमाएं भी समझ लें
यह AI स्क्रैपिंग पर कोई जादुई ताला नहीं है। Reuters और Microsoft दोनों के मुताबिक यह सेटिंग सिर्फ भविष्य की ट्रेनिंग पर लागू होगी; जो डेटा पहले ही इस्तेमाल हो चुका है, उस पर इसका असर नहीं। दूसरा, यह क्रॉलिंग को रोकता नहीं, सिर्फ इस्तेमाल की पसंद बताता है। तीसरा, जब तक पब्लिशर खुद यह सेटिंग नहीं लगाते, स्क्रैपिंग डिफॉल्ट रूप से चालू रहेगी। और यह पूरी व्यवस्था स्वैच्छिक है: जो कंपनी इसमें शामिल नहीं, उस पर कोई कानूनी बाध्यता नहीं।
एक और बात पर Microsoft और Google दोनों ने इशारा किया है: ट्रेनिंग से बाहर निकलने पर किसी साइट के AI ऐप्स और AI अनुभवों में दिखने की संभावना कम हो सकती है। Google ने यह भी कहा कि जो साइटें Google-Extended को खुलकर अनुमति देती हैं, वे Gemini ऐप्स में ग्राउंडिंग के जरिए जवाबों में दिख सकती हैं और क्लिक पा सकती हैं। यानी हर पब्लिशर को अपने हिसाब से तौलना होगा कि ट्रैफिक ज़्यादा ज़रूरी है या कंटेंट पर नियंत्रण।
AI स्क्रैपिंग से बचने के लिए भारतीय ब्लॉगर क्या करें
हिंदी और क्षेत्रीय भाषाओं में कंटेंट बनाने वाली छोटी साइटों के लिए यह राहत की बात है, क्योंकि अब उन्हें दर्जनों बॉट्स की लिस्ट नहीं संभालनी पड़ेगी। फिलहाल समझदारी यही है कि अपनी robots.txt फाइल देखें, मौजूदा नियम (GPTBot, Google-Extended आदि) समझें और जब कंपनियां लागू करने की तारीख और तरीका पक्का करें, तब साझा टोकन जोड़ने पर विचार करें। अगर आपकी साइट Bing से ट्रैफिक पाती है और NoArchive या NoCache इस्तेमाल करती है, तो मार्च 2027 की समयसीमा नोट कर लें।
AI कंपनियों की होड़ जिस तेज़ी से बढ़ रही है, जैसे Gemini 4 Carbon लॉन्च और Anthropic के IPO की तैयारी, उसमें डेटा सबसे कीमती कच्चा माल बन गया है। ऐसे में पब्लिशरों को एक साझा आवाज़ मिलना छोटा लेकिन अहम कदम है। आगे की नज़र IETF पर रहेगी, जहां यह ड्राफ्ट अंतिम मानक बनता है या बदलता है, और इस पर भी कि Meta, xAI और दूसरी AI कंपनियां इसमें शामिल होती हैं या नहीं।
जानकारी के आधार: OpenAI, Google Search Central, Microsoft Bing ब्लॉग, IETF ड्राफ्ट, The Verge, Reuters/CNA।
टिप्पणियाँ