How to Add Custom Robots.txt File in Blogger ?? - Full Guide - In Hindi

दोस्तों आज मैं आपको Blogging का बहुत ही उपयोगी Topic बताने जा रहा हूं। ब्लॉगर में इसे Custom Robots.txt के रूप में जाना जाता है। जिसका अर्थ है कि आप अपनी पसंद के अनुसार इस File को कस्टमाइज़ कर सकते हैं। आज के Tutorial में, हम इस शब्द के बारे मे गहरी चर्चा करेंगे। और इसकी उपयोग और लाभों के बारे में जानेंगे। मैं आपको बताऊंगा कि Blogger में Custom Robots.txt File कैसे जोड़ें। तो चलिये शुरु करते है।

Robots.txt क्या है??

Robots.txt एक Text File है। जिसमें सरल कोड की कुछ पंक्तियाँ हैं। यह  Blog के सर्वर पर सहेजा जाता है। जो Web Crawlers को Search results में अपने Blog को Index और Crawl करने का निर्देश देता है। इसका मतलब है कि आप अपने Blog पर  Web Crawlers से किसी भी Web Page को प्रतिबंधित(Restricted) कर सकते हैं, ताकि इसे अपने Blog Labels Page, आपके Demo Page या किसी अन्य Page जैसे Search Engines में Indexed नहीं किया जा सकते। जो Indexed करने के लिए महत्वपूर्ण नहीं हैं। हमेशा याद रखें कि Search Crawlers किसी भी Web Page को Crawl करने से पहले Robots.txt File को स्कैन करते हैं।

• Blog मे Categories को कैसे ADD करे?? और ADD करने से Blog को क्या लाभ है??

Blogger पर Hosted किए गए प्रत्येक Blog की अपनी Default robots.txt File होती है जो कुछ इस तरह दिखती है।

✓User-agent: Mediapartners-Google

✓Disallow:

✓User-agent: *

✓Disallow: /search

✓Allow: /

✓Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Explanation (व्याख्या)
यह Code तीन खंडों में विभाजित है। चलो पहले उनमें से प्रत्येक का अध्ययन करें, हम सीखें कि Blogspot Blogs में Custom Robots.txt File कैसे जोड़ें।

• Blog मे Social Media Share बटन कैसे ADD करे??

1.User-agent: Media partners-google

यह कोड Google Ad sense Robots के लिए है। जो उन्हें अपने Blog पर बेहतर ADD देने में मदद करता है। तो आप अपने Blog पर Google Ad sense का उपयोग कर रहे हैं। केवल इसे छोड़ दें।

2.User-agent:*

यह तारांकन(Asterisk) चिह्न (*) के साथ चिह्नित सभी Robots के लिए है। डिफ़ॉल्ट सेटिंग में हमारे Blog के Labels Link Search Crawl द्वारा Indexed करने के लिए प्रतिबंधित(Restricted) हैं। जिसका मतलब है कि Web Crawl हमारे Labels Page Link को नीचे Code के कारण नहीं दिखाएंगे।

Disallow: /search
इसका अर्थ है कि Keyword Search वाले Link केवल Domain नाम के Ignored होने के बाद। नीचे दिए गए उदाहरण देखें। जो SEO नाम के Lable Page का Link है।

https://mrtechindian.blogspot.com/search/label/SEO

और अगर हम  Disallow: /Search उपरोक्त Code से Search करें तो Crawlers हमारे संपूर्ण Blog को Index में एक्सेस करेंगे और इसकी सभी सामग्री(Content) और Web Page Crawl करेंगे।

यहां Allow: / Home Page से संदर्भित(Refers) करता है जिसका मतलब है कि Web Crawlers हमारे Blog के Home Page को Crawl और Index कर सकते हैं।

Disallow विशिष्ट(Particular) पोस्ट
अब मान लीजिए कि यदि हम Indexing से एक विशेष पोस्ट को बाहर करना चाहते हैं तो हम Code में नीचे Line जोड़ सकते हैं।

Disallow: /yyyy/mm/post-url.html

यहां yyyy और MM क्रमशः(Respectively) Post के Publishing वर्ष और महीने को संदर्भित(Referenced) करता है। उदाहरण के लिए, अगर हमने मार्च 2014 के महीने में एक पोस्ट Publish किया है तो हमें नीचे दिए गए Format का उपयोग करना होगा

Disallow: /2014/04/post-url.html

यह कार्य आसान बनाने के लिए, आप बस पोस्ट URL की Copy बना सकते हैं और शुरुआत से ही Blog का नाम निकाल सकते हैं।

Disallow विशेष(Particular) Page

यदि हमें किसी Particular Page को Disallow करने की आवश्यकता है तो हम इसके बाद के Edition के समान
Method का उपयोग कर सकते हैं। बस Page URL की Copy बनाएँ और उस से Blog पते को हटा दें जो कुछ इस तरह दिखेंगे:

Disallow: /p/page-url.html

• Blog के लिये Privacy Policy केसे तैयार करे??

3.Sitemap: http://example.blogspot.com/feeds/posts/default?
यह कोड हमारे Blog के Sitemap को संदर्भित(Referenced) करता है। यहां Sitemap Link जोड़कर हम बस हमारे Blog की Crawling दर को Customized कर रहे हैं। जब भी Web Crawlers हमारी robots.txt File को स्कैन करते हैं, तब वे हमारे Sitemap का path ले सकते हैं जहां हमारे Published पोस्ट के सभी Link मौजूद होते हैं। Web Crawlers को हमारे सभी Post को Crawl करने में आसान लगता है। इसलिए, बेहतर संभावनाएं हैं कि Web Crawlers किसी भी एक को अनदेखा किए बिना हमारे सभी Blog पोस्ट Crawl करते हैं

Note:- यह Sitemap केवल 25 Crawlers के बारे में बताएगा, जो हाल में 25 Post हैं यदि आप अपने Sitemap में Link की संख्या को बढाना चाहते हैं, तो नीचे एक के साथ डिफ़ॉल्ट Sitemap को बदलें। यह पहले 500 हाल के Post के लिए काम करेगा।

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

यदि आपके पास अपने Blog में 500 से अधिक Publish Post हैं तो आप नीचे दो Sitemap का उपयोग कर सकते हैं।

sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000

• Blog Post के Search Description केसे enable करे? और क्यो??

Blog मे Custom Robots.txt को कैसे ADD करे?
अब इस Tutorial का मुख्य काम Blogger में Custom robots.txt को कैसे जोड़ता है। तो नीचे दिए गए Step को Follow करे।

1. सबसे पहले अपने Blogger के Blog मे जाईए।
2. अब आप Setting >> Search Preferences >> Crawlers And Indexing >> Custom Robots.txt >>Edit >> Yes
3. अब  आप अपने Code को Paste किजिये।
4. अब आप Save Change बटन पर Click किजिये।

अपने Blog कि Robots.txt File को कैसे Check करे?
आप ब्राउजर में अपने Blog URL पर /robots.txt को जोड़कर अपने Blog पर इस File की जांच कर सकते हैं। Demo के लिए नीचे दिए गए उदाहरण पर एक नज़र डालें।

https://mrtechindian.blogspot.com/robots.txt

एक बार जब आप robots.txt फ़ाइल URL पर जाते हैं तो आपको Entire Code दिखाई देगा जो आप अपने Coustom robots.txt File में उपयोग कर रहे हैं। Photo नीचे देखें

मेरे Finel शब्द इस Post के बारे मे!!
Blogger में Coustom robots.txt File को ADD करने का तरीका यह आज का पूरा Tutorial था। इस Tutorial को संभव सरल और सूचनात्मक बनाने के लिए  में अपने दिल से कोशिश करता हूं। लेकिन फिर भी अगर आपके पास संदेह या प्रश्न है तो मुझसे पूछने में संकोच न करें। अपने Coustom robots.txt सेटिंग में इसके बारे में जानने के बिना किसी भी Code को मत डालें। बस अपने प्रश्न पूछने के लिए मुझसे पूछें। मैं आपको सब कुछ विस्तार से बताऊंगा। 

अगर आपको यह पसंद है तो कृपया अपने Social Media प्रोफाइल पर इस पोस्ट को Share करके अपने Word को फैलाने के लिए कृपया मुझे Support करें।

धन्यवाद...

• Tweet
• Share
• Share
• Share
• Share