Suchen Engines indizieren kontinuierlich das World Wide Web. Sie setzen effiziente Crawler ein Programme, um Webseiten zu suchen und sie für bessere Suchergebnisse zu indizieren.
However, there are some sensitive pages on a website that we recommend site owners not allow search engines to index and display as it could pose a security breach. One such weblink would be our Content Management System (CMS) login page.
Sollte ein Hacker den Link zu Ihrem CMS-Login herausfinden, könnte er versuchen, sich mit roher Gewalt in Ihr CMS einzumischen und die Kontrolle über Ihre Website zu übernehmen.
Fortunately, there is a way to ‘tell’ the search engines not to display these sensitive pages by way of a file, robots.txt. In the file, you can list the webpages you do not want search engines to index and make it discoverable.
Das robots.txt Datei ist auch für Suchmaschinen unerlässlich. Ein Crawler-Bot aus einer Suche Engine bei der Indizierung Ihrer Website auch nach der robots.txt Datei auf Ihre Website. Sie werden einen Blick darauf werfen, um zu sehen, ob es eine Website für um eine Anzeige zu vermeiden. Wenn es nichts in der robots.txt gibt, werden sie es tun, indem sie Standardmäßig werden alle Seiten auffindbar gemacht.
Anzeigend Eine sensible Seite für die falsche Zielgruppe (d. h. den Hacker) kann dazu führen, dass ein Hacker hackt was zu einer kompromittierten Website führt, etwas, das kein Mensch oder keine Suchmaschine will.
Daher brauchen Suchmaschinen Ihre Hilfe, um das Internet sicherer zu machen. Sie benötigen Websitebesitzer, die speziell Webseiten auflisten, die nicht angezeigt werden sollen.
Wenden Sie sich an uns, wenn Sie in diesem Bereich Hilfe benötigen.
