Файл robots.txt знаходзіцца ў каранёвым каталогу вашага сайта раскажа вэб - робатаў , як у пошукавых сістэмах павукоў якія каталогі і файлы яны дазволена праглядаць. Гэта лёгка выкарыстоўваць файл robots.txt, але ёсць некаторыя рэчы, якія вы павінны памятаць:
- Чорная капялюш вэб-робаты будуць ігнараваць ваш файл robots.txt. Найбольш распаўсюджаныя тыпы шкоднасных ботаў і робаты шукаюць адрасы электроннай пошты для збору ўраджаю.
- Некаторыя новыя праграмісты пішуць робаты, якія ігнаруюць файл robots.txt. Звычайна гэта робіцца па памылцы.
- Любы карыстальнік можа ўбачыць ваш файл robots.txt. Яны заўсёды называюць robots.txt і заўсёды захоўваюцца ў каранёвым каталогу сайта.
- Нарэшце, калі хто-то спасылкі на файл або каталог, які выключаецца файл robots.txt са старонкі, не выключаецца іх файл robots.txt, пошукавыя сістэмы могуць знайсці яго ў любым выпадку.
Не выкарыстоўвайце файлы robots.txt, каб схаваць што-небудзь важнае. Замест гэтага, вы павінны змясціць важную інфармацыю за бяспечныя паролі ці пакінуць яго ў Інтэрнэце цалкам.
Як выкарыстоўваць гэтыя файлы прыкладаў
Скапіюйце тэкст з ўзору, які знаходзіцца бліжэй за ўсё да таго, што вы хочаце зрабіць, і ўставіць яго ў файл robots.txt. Змена робата, каталог і імёны файлаў, якія адпавядаюць пераважнай канфігурацыі.
Два Асноўныя файлы robots.txt
Агент карыстальніка: *
Disallow: /
Гэты файл кажа, што любы робат (User-агент: *), які звяртаецца ён павінен ігнараваць кожную старонку на сайце (Disallow: /).
Агент карыстальніка: *
Disallow:
Гэты файл кажа, што любы робат (User-агент: *), які атрымлівае доступ дазваляецца праглядаць кожную старонку на сайце (Disallow :).
Вы таксама можаце зрабіць гэта, пакінуўшы свой файл robots.txt пусты або якія не маюць адзін на вашым сайце на ўсіх.
Абарона асобных каталогаў Ад робатаў
Агент карыстальніка: *
Disallow: / CGI-BIN /
Disallow: / Temp /
Гэты файл кажа, што любы робат (User-агент: *), які звяртаецца ён павінен ігнараваць дырэкторыі / CGI-BIN / і / тэмпературы / (Disallow: / CGI-BIN / Disallow: / Temp /).
Абарона Асобных старонак робатаў
Агент карыстальніка: *
Disallow: /jenns-stuff.htm
Disallow: /private.php
Гэты файл кажа, што любы робат (User-агент: *), які звяртаецца ён павінен ігнараваць файлы /jenns-stuff.htm і /private.php (Disallow: /jenns-stuff.htm Disallow: /private.php).
Прадухіліць спецыяльны робат доступ да сайта
User-Agent: Лайкос / хх
Disallow: /
Гэты файл кажа, што Lycos бот (User-агент: Lycos / хх) не мае доступу ў любым месцы на сайце (Disallow: /).
Дазволіць толькі адзін канкрэтны доступ робата
Агент карыстальніка: *
Disallow: /
User-Agent: Googlebot
Disallow:
Гэты файл першы забараняе ўсім робатам, як мы рабілі вышэй, а затым відавочна дазваляе Googlebot (User-Agent: Googlebot) маюць доступ да ўсіх (Disallow :).
Аб'яднанне некалькіх ліній, каб атрымаць менавіта Exclusions вы хочаце
Нягледзячы на тое, што лепш выкарыстоўваць вельмі інклюзіўным радок агента карыстальніка, як User-Agent: *, вы можаце быць як вам падабаецца. Памятаеце, што робаты чытаць файл ў парадку. Так, калі першыя радкі кажуць, што ўсе робаты будуць заблакаваныя ад усяго, а затым пазней у файле ён кажа, што ўсе робаты маюць доступ да ўсяго, што робаты будуць мець доступ да ўсяго.
Калі вы не ўпэўненыя, ці знаходзяцца напісалі файл robots.txt правільна, вы можаце выкарыстоўваць інструменты для вэб-майстроў, каб праверыць свой файл robots.txt або напісаць новы.