CloudFlare गूगल ने अपनी छठी वार्षिक 'ईयर इन रिव्यू' रिपोर्ट जारी की है, जिसमें इंटरनेट, सुरक्षा और एआई की तेज़ी से बढ़ती दुनिया की स्थिति का विस्तृत विश्लेषण प्रस्तुत किया गया है। रिपोर्ट में वेब क्रॉलिंग गतिविधि में एक बड़ा अंतर उजागर किया गया है। आंकड़ों के अनुसार, गूगल बॉट ने अपने एआई-आधारित प्रतिस्पर्धियों की तुलना में कहीं अधिक वेब पेज क्रॉल किए। विशेष रूप से, गूगल के बॉट ने पर्प्लेक्सिटी बॉट की तुलना में 200 गुना अधिक पेज देखे।
यह व्यापक क्लाउडफ्लेयर समीक्षा यह अध्ययन 125 देशों के 330 से अधिक शहरों में फैले एक विशाल नेटवर्क से डेटा जुटाता है। निष्कर्षों से पता चलता है कि 2025 के अंत तक Googlebot 11.6% अद्वितीय वेब पेजों तक पहुँच चुका था। तुलनात्मक रूप से, OpenAI का GPTBot गूगलबॉट की पहुंच केवल 3.6% तक ही रही, जबकि परप्लेक्सिटीबॉट ने मात्र 0.06% ही क्रॉल किया। रिपोर्ट से पता चलता है कि यह प्रभुत्व इसलिए मौजूद है क्योंकि गूगल दोहरे उद्देश्य वाला दृष्टिकोण अपनाता है। गूगलबॉट सर्च इंजन इंडेक्सिंग और एआई मॉडल ट्रेनिंग दोनों के लिए क्रॉल करता है। परिणामस्वरूप, वेब प्रकाशक अपनी साइटों को हटाए बिना गूगल की एआई ट्रेनिंग को ब्लॉक नहीं कर सकते। Google खोज परिणाम.
क्लाउडफ्लेयर समीक्षा: 2025 रिपोर्ट के मुख्य निष्कर्ष
एआई क्रॉलिंग के अलावा, रिपोर्ट वैश्विक कनेक्टिविटी और सुरक्षा खतरों से संबंधित महत्वपूर्ण डेटा प्रदान करती है। यहाँ कुछ मुख्य बिंदु दिए गए हैं:
- यातायात वृद्धि: वैश्विक इंटरनेट ट्रैफिक में पिछले वर्ष की तुलना में 19% की वृद्धि हुई, जिसमें अगस्त के मध्य के बाद उल्लेखनीय तेजी देखी गई।
- सुरक्षा संबंधी कार्य-स्थानांतरण: पहली बार, नागरिक समाज और गैर-लाभकारी संगठन सबसे अधिक हमले झेलने वाले क्षेत्र बन गए हैं, जुलाई तक इन पर 23.2% हमले हुए हैं।
- अवरोधक रुझान: प्रकाशक अक्सर robots.txt फ़ाइलों के माध्यम से GPTBot जैसे AI-विशिष्ट बॉट्स को ब्लॉक कर देते हैं, जबकि Googlebot और Bingbot को लॉगिन पृष्ठों की सुरक्षा के लिए ज्यादातर आंशिक प्रतिबंधों का सामना करना पड़ता है।
- क्रॉल-टू-रेफर अनुपात: एन्थ्रोपिक ने रेफरिंग की तुलना में क्रॉलिंग का उच्चतम अनुपात दिखाया, जिसका अर्थ है कि यह सामग्री को गहनता से स्कैन करता है लेकिन बहुत कम उपयोगकर्ताओं को मूल वेबसाइटों पर वापस भेजता है।
- उपयोगकर्ता-क्रिया क्रॉलिंग: उपयोगकर्ताओं की ओर से काम करने वाले बॉट्स (जैसे चैटजीपीटी द्वारा किसी विशिष्ट प्रश्न का उत्तर देना) की संख्या में पूरे वर्ष में 15 गुना से अधिक की वृद्धि हुई।
यह भी पढ़ें: पॉडकास्ट के आंकड़े: बाजार की वृद्धि, रुझान और सफलता की रणनीतियाँ
रिपोर्ट में ट्रैफ़िक संरचना में बदलाव का भी उल्लेख किया गया है। हालांकि मानव-जनित ट्रैफ़िक अभी भी प्रमुख है, गैर-एआई बॉट ट्रैफ़िक भी इसके करीब है। दिसंबर तक, मनुष्यों द्वारा 47% अनुरोध उत्पन्न किए गए थे, जबकि बॉट्स द्वारा 44% अनुरोध उत्पन्न किए गए थे। जैसे-जैसे एआई उपकरण विकसित होते जा रहे हैं, यह क्लाउडफ्लेयर समीक्षा यह समझने के लिए एक महत्वपूर्ण आधार के रूप में कार्य करता है कि ये स्वचालित एजेंट खुले वेब के साथ कैसे बातचीत करते हैं।
अधिक समाचार पढ़ने के लिए: प्रकाशक एआई साझेदारी: गूगल ने अपने संबंधों को मजबूत किया
एआई एजेंट एसईओ को बदल रहे हैं: मैरी हेन्स की कार्रवाई की अपील
