|
|
|
|
Forschungsbereich Web Measurement
|
|
Zielsetzung unserer Projekte im Rahmen des Forschungsbereichs Web Measurement ist die Identifikation von vorher unbekannten, interessanten Zusammenhängen in hochgradig heterogenen und inkosistenten Datenmengen. Zu diesem Zweck führen wir verschiedene, umfangreiche Messstudien auf dem World Wide Web aus. Zur Datengewinnung verwenden wir dabei einen Web-Crawler.
|
|
|
Lastverteilung und robots.txt (für Webmaster)
|
|
Wir beachten selbverständlich beim Web-Crawlen das Robots Exclusion Protocol und die Netiquette, indem wir versuchen, eine Überlastung einzelner Server durch gezieltes URL-Scheduling zu vermeiden. Darüber hinaus befolgen wir das Robots Exclusion Protocol, wodurch Sie die Möglichkeit haben, Ihre Website auf Wunsch vom Zugriff durch unseren Crawler auszuschließen. Eine detaillierte Anleitung dazu finden Sie hier.
Sollten Sie dennoch ein akutes Problem haben, wenden Sie sich bitte in Form einer kurzen E-Mail an complaints(at)rvs.informatik.uni-leipzig.de, damit wir umgehend reagieren können.
|
|
|
