Robots.txt Nedir? Neden Kullanılmalıdır?
Robots.txt nedir? Bu protokolün yani ‘robot dışlama protokolünün’ kökenlerini, web robotlarının web sitelerini okumak amacıyla internet üzerinde gezindiği ilk günlere, 1990’ların ortalarına kadar izlemek mümkündür. Bazı web yöneticileri, hangi robotların sitelerini ziyaret ettiği konusunda endişelendi. Sitenin hangi kısımlarının taranması gerektiğine ilişkin yönergeleri içerisinde barındıran ve web sitesi sahiplerine hangi tarayıcıların URL’lerini ziyaret edebileceği ayrıca ne […]