Semalt: Дародар Robots.txt-ро чӣ тавр бояд блок кард

Файли Robots.txt як файли матнии маъмулист, ки дастурҳоро дар бораи чӣ гуна скрининги веб ё ботҳо бояд сайтро таҳрир мекунад. Истифодаи онҳо дар ботҳо барои системаи ҷустуҷӯӣ, ки дар вебсайтҳои зиёди оптимизатсияи маъмул маъмуланд, ба назар мерасад. Ҳамчун як қисми Протоколи Истиснои Роботҳо (REP), файли robots.txt ҷанбаи муҳими индексатсияи мундариҷаи вебсайтро ташаккул медиҳад ва ба сервер имкон медиҳад, ки дархостҳои корбарро мутобиқи аутентификатсия кунад.

Ҷулия Вашнева, менеҷери калони мизоҷи муваффақияти Semalt шарҳ медиҳад, ки пайвандкунӣ як ҷанбаи оптимизатсияи ҷустуҷӯ (SEO) мебошад, ки ба даст овардани траффик аз дигар доменҳо дар нишонаҳои шуморо дар бар мегирад. Барои интиқол додани афшураи пайванд ба истиноди "пайравӣ", ворид кардани файли robots.txt дар фазои ҷойгиркунии вебсайти шумо ҳамчун омузгори тарзи корбарии сервер бо сайти шумо муҳим аст. Аз ин бойгонӣ дастурҳо тавассути иҷозат додан ё манъ кардани амалҳои муайяни агентҳои корбар мавҷуданд.

Формати асосии файли robots.txt

Як файли robots.txt дорои ду хати муҳим аст:

Корбар-агент: [номи корбар-агент]

Диққат додан: [сатри URL бояд таҳрир карда нашавад]

Як файли пурраи robots.txt бояд ин ду сатрро дар бар гирад. Аммо, баъзе аз онҳо метавонанд якчанд хатҳои агент-корбар ва директиваро дарбар гиранд. Ин фармонҳо метавонанд ҷанбаҳоеро дар бар гиранд, ки имкон медиҳанд, иҷоза диҳанд ё таъхирро аз назар гузаронанд. Одатан танаффуси хат вуҷуд дорад, ки ҳар як маҷмӯи дастурҳоро ҷудо мекунад. Ҳар як дастурамалро иҷозат медиҳад ё манъ мекунад бо ин сатр ҷудо карда мешавад, алалхусус барои robots.txt бо якчанд сатр.

Намунаҳо

Масалан, файли robots.txt метавонад чунин рамзҳоро дар бар гирад:

Корбар-агент: darodar

Дисплей: / плагин

Рад кардан: / API

Беэҳтиётӣ: / _ тафсирҳо

Дар ин ҳолат, ин файли блокҳои robots.txt аст, ки дастрасии веб-скрининги Darodar-ро барои дастрасӣ ба вебсайти шумо маҳдуд мекунад. Дар синтаксиси болоӣ, кодекс ҷанбаҳои вебсайтро, ба монанди плагинҳо, API ва шарҳи қисматҳоро блок мекунад. Аз ин дониш, самаранок иҷро кардани файли матнии робот ба манфиати зиёд ноил шудан мумкин аст. Файлҳои robots.txt барои иҷрои вазифаҳои сершумор қодиранд. Масалан, онҳо метавонанд ба:

1. Иҷозат диҳед ба ҳама мундариҷаи драйверҳои веб ба саҳифаи вебсайт. Масалан;

Корбар-агент: *

Рад кардан:

Дар ин ҳолат, ба ҳама мундариҷаи корбар дастрас шудан мумкин аст аз ҷониби ягон тарроҳи веб дархост карда шавад, ки ба вебсайт ворид шавад.

2. Аз ҷузвдони мушаххас ягон мундариҷаи вебро манъ кунед. Барои намуна;

Корбар-агент: Googlebot

Нобоварӣ: / example-subfolder /

Ин синтаксис дорои номи корбар-агент Googlebot ба Google тааллуқ дорад. Он ботро аз дастрасӣ ба ягон саҳифаи веб дар сатри www.ourexample.com/example-subfolder/ маҳдуд мекунад.

3. Вебсайти муайянро аз як вебсайти мушаххас маҳкам кунед. Барои намуна;

Корбар-агент: Bingbot

Беэҳтиётӣ: /example-subfolder/blocked-page.html

Ботти корбар-агенти Bing ба веб скринингчиёни Bing тааллуқ дорад. Ин навъи файли robots.txt дастрасии веб-скрининги Bing-ро бо сатри www.ourexample.com/example-subfolder/blocked-page маҳдуд мекунад.

Маълумоти муҳим

• На ҳар як корбар файли robts.txt-и шуморо истифода мебарад. Баъзе корбарон метавонанд қарор кунанд, ки ба ин беэътиноӣ кунанд. Аксари чунин скринингҳо троянҳо ва зарароварро дарбар мегиранд.
• Барои он ки файли Robots.txt намоён бошад, он бояд дар директорияи вебсайтҳои сатҳи боло дастрас бошад.
• Аломатҳои "robots.txt" ба ҳарфи калон ҳассос мебошанд Дар натиҷа, шумо бояд онҳоро ба ҳеҷ ваҷҳ тағир надиҳед, аз ҷумла баъзе паҳлӯҳои капитализатсия.
• "/Robots.txt" домени ҷамъиятӣ аст. Ҳар касе метавонад ин маълумотро ҳангоми илова кардани он ба мундариҷаи ҳама гуна URL пайдо кунад. Шумо набояд тафсилоти муҳим ё сафҳаҳое, ки мехоҳед махфӣ монед, нишон диҳед.