Makalede olduğu gibi Arama motoru nedir? Arama motorlarının web üzerindeki web sitelerinin sayfalarını taramak ve indekslemekle görevli olduğundan bahsetmiştik. İşte bu noktada robotlar devreye giriyor. İyi ve kötü birçok robotumuz olmasına rağmen web sayfalarını tarama ve indeksleme işini…