Dodatkowe znaczniki <meta>
Plik robots.txt nie jest jedyną formą komunikowania naszych preferencji robotom. Mamy do dyspozycji również specjalne znaczniki, które umieszcza się w nagłówku każdej z podstron. Mamy tutaj na myśli znacznik <meta name=”robots” /> wraz z dodatkowymi atrybutami, które opisaliśmy w dalszej części niniejszego podrozdziału.
Poprawna forma znacznika wraz z atrybutami ma postać:
<meta name=”robots” content“”XYZ” />
Zamiast wartości XYZ należy wpisać wybrane wartości, które omówiliśmy poniżej.
♦ index — strona zostanie zindeksowana przez robota,
♦ follow — robot wyszukiwarki może podążać łączami dostępnymi na stronie,
♦ noindex — strona nie będzie indeksowana przez robota wyszukiwarki,
♦ nofollow — robot wyszukiwarki nie będzie podążał za łączami umieszczonymi na stronie,
♦ all — odpowiada wpisom i ndex i follow,
♦ none — odpowiada wpisom noindex i nofollow.
W praktyce kompletny znacznik może mieć postać:
<meta name=”robots” content=”index.follow”>
<meta name=”robots” content=”noindex.follow”>
<meta name=”robots” content“”index.nofollow”>
<meta name=”robots” content=”noindex.nofollow”>
Pierwsza wersja wpisu zezwala na indeksację strony wraz z odnośnikami na niej dostępnymi. Drugi z przykładów blokuje indeksację strony, ale zezwala na podążanie odnośnikami dostępnymi na stronie. Trzeci z przykładów pozwala na indeksowanie strony, ale zabrania analizy łączy zgromadzonych na stronie. Ostatni z przykładów blokuje indeksację strony oraz odsyłaczy na niej zgromadzonych.
W celu poprawnej indeksacji całej witryny powinieneś skorzystać z pierwszego przykładu — index, follow. Pamiętaj, że jeżeli decydujesz się na używanie znacznika <meta name=”robots” />, to powinien się on znaleźć w kodzie wszystkich podstron witryny. Przypominamy, że miejsce znaczników <meta /> jest w nagłówku <head></head> Twojej strony. W praktyce wygląda to tak:
<!DOCTYPE html PUBLIC „-//W3C//DTD XHTML 1.0 Strict//EN”
„http://www.w3.org/TR/xhtmll/DTD/xhtmll-strict,dtd”>
<html xmlns=”http://www.w3.org/1999/xhtml” xml:lang=”pl” lang=”pl”>
<head>
<meta http-equiv=”Content-Type” content=”text/html; charset=UTF-8″ />
<meta name=”description” content=”0pis strony” />
<meta name-„keywords” content=”Słowa kluczowe” />
<meta name=”robots” content=”mdex.follow” />
<title>Tytuł</title>
</head>
<body>
</body>
</html>