GSiteCrawler es un programita que sirve para generar Sitemaps de un sitio, para Google y a la vez una lista de vinculos txt llamada urllist y utilizada por Yahoo. Por si no sabes que es un sitemap, es un archivo xml donde están listadas todas las páginas de un sitio y además organizadas jerárquicamente, dicho archivo es usado por Google o Yahoo (motores de busqueda) para rastrear tus sitios e indexarlos rápidamente.
GSiteCrawler además nos mostrará los links rotos junto el sitemap y url list de sitio. Dicha aplicación es muy importante por si no tenes un generador de sitemap automático, para que Google o cualquier buscador te encuentre más rapido que otos sitios con la misma temática y ganes posicionamiento y visitas.