Impressum

Webcrawler (Computer • Internet • Suchen)

zurück zur Startseite


Artikel nach oben

Überblick

Ein Webcrawler, Spider, Bot oder Robot genannt sind Softwareprogramme welche automatisch die Internet-Webadressen und deren Webseiten im weltweiten Internet (WWW) nach bestimmten Suchkriterien durchsuchen, wobei sie auch den vorhandenen Links innerhalb der Webseiten folgen und den Inhalt der Seiten auswerten.

Die Auswertung wird im Softwareprogramm festgelegt, dazu gehört z.B.

IP-Adressen
Links
E-Mailadressen
Bilderdateien (z.B. mit einer Dateiendung .jpg)
Musikdateien (z.B. mit einer Dateiendung .mp3)
Textdateien (z.B. mit einer Dateiendung .doc)
Bestimmte Suchbegriffe (z.B. Handy)
und das sammeln von weiteren Datenbeständen


Wenn man ein bestimmten Robot oder Crawler komplett von seiner Webseite aussperren möchte, kann man das in seiner eigenen robots.txt (Datei) versuchen, die robots.txt Datei liegt im Root Verzeichnis der eigenen URL, wenn man diese Datei nicht findet, sollte man seinem Provider um Hilfe bitten.



Kategorie nach oben

  • Abacho - Bietet neben der allgemeinen Suche auch thematische Suchen mit speziell darauf zugeschnittenen Suchformularen.
  • Acoon - Deutschsprachige Suchmaschine mit Katalog.
  • AdSuma - Deutschsprachige Suchmaschine mit kleinerem Datenbestand.
  • Ask.com Deutschland - Deutschsprachige Version der Suchmaschine Ask. Die Daten umfassen Website-, Bilder-, Blog- und Produktsuche sowie Software Downloads.
  • CPASE.de - Suchmaschine mit alternativen Ranking auf Basis der realen "Conversion Rate".
  • DeutscheSeiten.de - Suchmaschine und Webkatalog mit einem Schwerpunkt auf deutschsprachige Seiten.
  • Exalead - Suchmaschine mit einem sehr umfangreichen Index.
  • fastbot - Suchmaschine mit der Möglichkeit, Ergebnisse anonym zu öffnen.
  • Fireball - Neben einer Volltextsuche im Internet werden ein nach Rubriken sortiertes Katalogverzeichnis, spezielle Zeitungs- und Produktsuchen sowie eine Bildersuche geboten.
  • Insitor - Datenbestand mit redaktioneller Überprüfung.
  • Lycos Suche - Mit der Suchfunktion des Portals findet man Bilder, PDF-Dokumente, Multimedia-Dateien und Lycos-Inhalte. Die Suchergebnisse lassen sich mit einem Familienfilter belegen und anhand verschiedener Optionen näher eingrenzen.
  • Meteora - Die Reise-Suchmaschine Meteora ist spezialisiert auf die Suche nach deutschsprachigen Seiten zum Thema Reisen in Europa.
  • MSN-Search - Webkatalog und Suchmaschine von Microsoft.
  • netluchs.de - Suchmaschine für deutschsprachige Websites mit automatischer Cluster-Funktion.
  • PiroSearch - Suche im WWW und zusätzliche Wikipedia-Kopie und DMOZ-Verzeichnis.
  • Qualigo - Pay per Click Suchmaschine mit eigenem Index. Positionen werden auch bei anderen Deutschen Suchmaschinen eingeblendet.
  • Seekport - Deutsche Suchmaschine mit automatischer Zuordnung von Themengebieten.
  • Softlook - Suchergebnisse werden als zusätzlich als Screenshot angezeigt.
  • suchen.de - Suchen.de ist eine lokale Suchmaschine für Deutschland, die aus dem Auskunftsportal der Deutschen Telekom hervorgegangen ist.
  • UmkreisFinder - Die Suchmaschine bietet eine Volltext-Umkreissuche über deutsche Webseiten an. Auf Stadtportalen für alle deutschen Städte und Gemeinden wird eine Umkreissuche um den jeweiligen Ort angeboten.
  • Webrover - Suchmaschine mit eigenem Index und Volltextsuche.
  • Witch - Nebem einem Zugriff auf den deutschsprachigen Teil des ODP werden eine normale Suchfunktion und eine Bildersuche geboten.
  • Yahoo Suche - Die Suchmaschine bietet neben einer Volltextsuche die Suche nach Bildern, Videos, Nachrichten und Produkten, sowie eine Suche im Verzeichnis und nach lokalen Gesichtspunkten an.

Dargestellt wird nur ein Auszug aus der entsprechenden Kategorie, hier finden Sie die komplette Kategorie.





 Zahnarzt Essen