Īss ceļvedis faila Robots.txt rakstīšanai

Vienīgais veids, kā sazināties ar meklētājprogrammas zirnekli vai kāpurķēžu, ir caur failu ar nosaukumu robots.txt. Vai labāk. Iesniedzot savu tīmekļa vietnes piedāvājumu Google, tas saskaras ar vienkārši milzīgu informācijas daudzumu.

Kā jūs varat iepazīties ar tik lielu mācību grāmatu, ka jums šķiet, ka nekad neatradīsit visu, kas jums nepieciešams? Jūs konsultējaties pavediens. Fails robots.txt ir jūsu vietnes rādītājs.

Šis ir viegli aizpildāms dokuments, kas meklētājprogrammas rāpuļprogrammai norāda, ko meklēt. Īsāk sakot: jūs palīdzēsiet viņam saprast, no kā ir izveidota jūsu vietne, lai algoritms varētu jums sniegt rangu, kas atbilst jūsu paveiktajam darbam.

Vai kāds var uzrakstīt failu robots.txt?

Īsā atbilde ir jā. Godīgā atbilde ir nē. Lai gan faila robots.txt gramatika ir ārkārtīgi vienkārša un tā sastāvs sastāv no dažām rindiņām, labāk ir paļauties uz pieredzējuša tīmekļa pārziņa aprūpi, kurš zina, kur likt rokas. Galu galā pietiek ar nelielu kļūdu, lai kompromitētu jūsu vietnes pozicionēšanu un tāpēc visas SEO darbības tiktu apturētas pirms pat sākuma.

Pirms sākat, ziniet vienu lietu: ikviens var apskatīt jebkuras vietnes failu robots.txt, aiz domēna ierakstot /robots.txt.. Jūs pat varat konsultēties ar Google!

Jūs varat rakstīt šādu failu, nelejupielādējot īpašu programmatūru. Faktiski pietiek izmantot piezīmju grāmatiņu un saglabāt, uzmini ko, .txt formātā.

Kopā uzrakstīsim robots.txt: galveni

Sāksim no sākuma, kā tas vienmēr ir loģiski. Faila atvēršana vai drīzāk galvene ir pilnībā veltīta zirnekļa vārdam, pirms tam ir neliels formulējums, kas vienmēr ir vienāds. Pieņemsim, ka vēlaties, lai Google pamanītu. Tātad pirmā rinda būs:

Lietotāja aģents: Googlebot

Šī ļoti īsā virkne norāda Google, ka viss, kas sekos, noteikti to interesēs. Ja vēlaties, lai visi rāpuļprogrammas, kas lasa šāda veida failus, varētu piekļūt dokumentam, aizstājiet Googlebot ar vienkāršu *, zvaigznīte.

Tagad, kad esat norādījis, kurš zirneklis, t.i., KURŠ, jums būs jānorāda arī KAS viņam būs jālasa.

Katra koda rinda pēc definīcijas atbilst kādai mašīnas darbībai. Pats par sevi saprotams, ka katra komanda robots.txt failā atbilst tam, ko iekārtai nevajadzētu darīt. Un šī ir atslēga, kas ļauj uzrakstīt patiešām efektīvu. Mēs runājam par komandu DISALLOW.

Kas ir komanda DISALLOW?

Il neatļaut komandu ļauj pamatot ar izslēgšanu. Citiem vārdiem sakot, kad saka, ka vispirms ir jāsaka, ko nedrīkst darīt, tad jūs spriežat ar izslēgšanu. Papildus atļaušanai ir arī atļauja, kas ir bloka izņēmums.

Ja vēlaties uzrakstīt labu robotu failu, jums būs jādomā otrādi, tāpēc jums būs jāpasaka Google, ko tas nedrīkst lasīt. Ja tu raksti:

neatļaut:

Zirneklis lasīs visu jūsu vietni bez bremzēm.

Ja pēc “Disallow:” ievietojat slīpsvītru (tāpēc Disallow: /), vietne netiks ievadīta meklētājprogrammās, punkts.

Neatļaut: /direktorijas/

Aizstājiet vārdu direktoriju ar mapi, kurai vēlaties liegt zirnekļa skatu. To pašu var izdarīt ar konkrētu failu.

Neatļaut: /mans fails.html

Uzmanību pieturzīmes un burti, lielie vai mazie burti. Šāda veida faili augstu vērtē šāda veida "sīkumus", taču tiem ir liela nozīme.

Kāpēc jūs neļautu Google lasīt lielu daļu jūsu vietnes? Rakstot šāda veida failu, ir svarīgi saprast, kuri faili nedrīkst parādīties meklētājprogrammā, taču tos neizmantojot ļaunprātīgi. Tomēr ziniet, ka ikviens, kurš zina precīzu šī konkrētā faila adresi, varēs tam piekļūt jebkurā gadījumā.

Kas ir komanda ALOW?

Failā varat pievienot izņēmumu ar komandu ATĻAUT. Gramatika ir identiska, taču tas radīs dažus izņēmumus DISALLOW, kas ļaus zirneklim atvērt interesantas izpētes robežas.

Neliels faila paraugs:

Lietotāja aģents: Googlebot

Neatļaut: /images/

Atļaut: /images/holidays.jpg

Būtībā mēs teicām Googlebot neņemt vērā attēlu mapi, izņemot konkrētu fotoattēlu tajā, proti, to no brīvdienām.

Un tas, puiši, tā arī ir. Mēs uzrakstījām savu pirmo robots.txt failu. Protams, tas, ko mēs darīsim konkrētajai vietnei, varētu nedaudz atšķirties, taču ne daudz. Ja šaubāties, vienmēr saņemiet padomu no specializēta tīmekļa pārziņa. Mēs iesakām vispirms mēģināt to uzrakstīt pašam un nosūtīt viņam pārbaudei, lai apgūtu pamatprincipus un labāk saprastu, kā jūsu vietne darbojas.

Kāda ir saistība starp robots.txt un vietņu kartēm?

Vietnes karte ir īpašu spraudņu ģenerēts fails, kurā ir visas vietnē esošās saites. Kad zirneklis nonāk vietnē, tas vispirms nolasa robotus, pēc tam pārmeklē vietni. Ja pārmeklēšanas laikā robots atradīs vietnes kartes adresi, viss process būs daudz vienkāršāks.

Pievienojiet iepriekš norādītajam kodam:

Vietnes karte: http://www.ilnomedeltuositobellissimo.com/sitemap.xml

Noslēgumā

Visi robotu faili ir vienādi. Tas nozīmē, ka Robots fails, kas rakstīts Google, lieliski darbosies arī Bing un ievēro to pašu gramatiku.

Labi sakārtots robots.txt fails ļauj to izdarīt ietaupīt rāpuļprogrammas laiku. Neesiet drosmīgi: tas ir pirmais solis ceļā uz panākumiem!