Robots.txt फाइल क्या होती है जानिए हिंदी में

इंटरनेट पर उपस्थित सभी वेबसाइट की robots.txt जरूर होती है और यह फाइल सर्च इंजन ऑप्टिमाइजेशन के नजरिए से बहुत महत्वपूर्ण होती है। इस फाइल के अंदर जो भी कंटेंट होता है वह UTF-8 अर्थात text के फॉर्मेट में होता है। चलिए robots.txt फाइल के बारे  में और  अधिक जानकारी प्राप्त करते है। 

Robots.txt फाइल क्या होता है?

Robots.txt फाइल को Robots exclusion Protocol And Standard फाइल के नाम से भी जाना जाता है, और यह टेक्स्ट फाइल वेब रोबोट्स को यह बताती है की आपकी साइट पर मौजूद कौन से पेजेज को crawl करना है कौन से pages को नहीं करना है कोई वेब bot या सर्च इंजन का क्रॉलर आपकी वेबसाइट को विजिट करता है तो वह सबसे पहले आपकी वेबसाइट की robots.txt फाइल को विजिट करता है। 

Robots.txt को हमेशा वेबसाइट के root में अपलोड किया जाता है और इसका यूआरएल पैटर्न कुछ इस तरह का होना चाहिए, जैसे की root url - https://www.example.com है तो इस फाइल का यूआरएल कुछ इस तरह से होगा - https://www.example.com/robots.txt 

Robots.txt क्यों जरुरी है?

हमारी वेबसाइट पर बहुत सारे ऐसे पेजेज और डायरेक्टरी पाथ (जैसे कि साइट एडमिन लॉगिन पेज) होते है जिनको हम नहीं चाहते है कि वह सर्च इंजन में इंडेक्स न हो और नहीं कोई वेब bot उसे क्रॉल न करे। तो इस तरह कि यूआरएल blocks को हम robots.txt के जरिए आसानी से किया जा सकता है। 

गूगल के नई गाइडलाइन के मुताबिक आपकी वेबसाइट पर robots.txt फाइल होना अनिवार्य है यदि गूगल सर्च इंजन बोट्स को आपके वेबसाइट पर यह फाइल नहीं मिलती है तब आपकी साइट को गूगल सर्च इंजन क्रॉलर्स के द्वारा क्रॉल नहीं किया जायेगा। तो ऐसे में robots.txt फाइल seo के नजरिए से बेहद महत्वपूर्ण हो जाती है। 

Robots.txt फाइल कैसे बनाए?

एक robots.txt को बनाने की कुछ बेसिक गाइडलाइन है, जिनके बारे में आपको नीचे दिया गया है। और इन सभी नियमों का पालन कर आप अपनी साइट के लिए एक बेहतर robots.txt फाइल बना सकते हैं। 

• एक Robots.txt फाइल को बनाने के लिए आपको एक ऐसा text editor उपयोग करना है जो कि UTF-8 स्टैंडर्ड फाइल बना सके।   
• Robots.txt फाइल में सबसे पहली लाइन में user-agent: * होता है यहाँ पर आप किसी विशेष bot के नाम को specify कर सकते है या फिर यहाँ पर * का sign add करके सभी bots को परमिशन दे सकते है। ज्यादातर केसेस में यहाँ पर * का सिंबल ही होता है जो की इस बात की पुष्टि करता है की इसे सभी web bots crawl कर सकते हैं। 
• फाइल का दूसरी लाइन Disallow: होती है जहाँ पर specify कर सकते है कि किस पेज या किस डायरेक्टरी पाथ को क्रॉल नहीं करना है। 
• फाइल की तीसरी  लाइन Allow: होती है जिसका उपयोग हम disallow प्रॉपर्टी  को ओवरराइड कर उसके subdirectory को क्रॉल करने के लिए उसके पाथ को यहा पर include कर सकते हैं या फिर यहाँ पर / का sign ऐड  कर सकते हैं 
• चौथी लाइन पर हम अपने वेबसाइट के sitemap को include करते है

ये कुछ बेसिक स्टेप्स हैं जिनका पालन कर एक सिंपल robots.txt फाइल बना सकते हैं और अधिक जानकारी के लिए गूगल की robots.txt की ऑफिसियल डॉक्यूमेंटेशन को विजिट कीजिए

User-agent: *
Disallow: /ENTER HERE THE PATH YOU WANT TO BLOCK
Allow: /
Sitemap: https://www.example.com/sitemap.xml