Kako ponovno poslati ažuriranu ili novu datoteku Robots.txt

roboti txt

Naša agencija radi savjetovanje o organskom pretraživanju za nekoliko dobavljača SaaS-a u industriji. Klijent s kojim smo nedavno započeli suradnju odradio je prilično uobičajenu praksu, postavljajući svoju aplikaciju na poddomenu i premještajući svoju web stranicu s brošurama na osnovnu domenu. To je standardna praksa jer omogućuje i produkcijskom timu i marketinškom timu ažuriranje po potrebi bez ikakve ovisnosti o drugom.

Kao prvi korak u analizi zdravlja organskog pretraživanja, registrirali smo brošure i domene aplikacija u webmasterima. Tada smo identificirali neposredni problem. Tražilice su blokirale indeksiranje svih stranica aplikacije. Otvorili smo njihov unos robots.txt u webmasterima i odmah identificirali problem.

Dok su se pripremali za migraciju, njihov razvojni tim nije želio da se poddomena aplikacije pretraživanjem indeksira, pa im je zabranio pristup tražilicama. Datoteka robots.txt datoteka je koja se nalazi u korijenu vašeg web mjesta - yourdomain.com/robots.txt - to daje tražilici do znanja trebaju li indeksirati stranicu ili ne. Možete napisati pravila koja omogućavaju ili zabranjuju indeksiranje na cijelom web mjestu ili određenim stazama. Također možete dodati redak za određivanje datoteke web-lokacije.

Franjevački robots.txt datoteka imala je sljedeći unos koji je spriječio indeksiranje i indeksiranje web mjesta u poretku rezultata pretraživanja:

Korisnički agent: * Disallow: /

Trebalo je napisati kako slijedi:

Korisnički agent: * Dopusti: /

Potonji daje dozvolu bilo kojoj tražilici koja indeksira web mjesto da može pristupiti bilo kojem direktoriju ili datoteci na web mjestu.

Super ... pa sad kad robots.txt datoteka je savršena, ali kako Google zna i kada će ponovno provjeriti web mjesto? Pa, apsolutno možete zatražiti da Google provjeri vaš robots.txt, ali nije previše intuitivan.

Dođite na Google Search Console Search Console prema Indeksiranje> ispitivač robots.txt. Vidjet ćete sadržaj najnovije indeksirane datoteke robots.txt unutar testera. Ako želite ponovno poslati datoteku robots.txt, kliknite Pošalji i pojavit će se skočni prozor s nekoliko opcija.

ponovno pošaljite robots.txt

Konačna opcija je Zamolite Google da ažurira. Kliknite plavi gumb Pošalji uz tu opciju, a zatim se vratite na Indeksiranje> ispitivač robots.txt opcija izbornika za ponovno učitavanje stranice. Sada biste trebali vidjeti ažuriranu datoteku robots.txt zajedno s datumskim žigom koji pokazuje da je ponovno indeksirano.

Ako ne vidite ažuriranu verziju, možete kliknuti Pošalji i odabrati Pogledajte prenesenu verziju za navigaciju do vaše stvarne datoteke robots.txt. Mnogi će sustavi spremiti ovu datoteku u predmemoriju. Zapravo, IIS generira ovu datoteku dinamički na temelju pravila unesenih kroz njihovo korisničko sučelje. Najvjerojatnije ćete morati ažurirati pravila i osvježiti predmemoriju kako biste objavili novu datoteku robots.txt.

robots-txt-tester

Što vi mislite?

Ova web stranica koristi Akismet za smanjenje neželjene pošte. Saznajte kako se podaci vašeg komentara obrađuju.