Eine Suchmaschine ist ein komplexes System, das aus vielen einzelnen Bausteinen besteht:

Crawler

Der Crawler ist ein Programm welches Links auf Webseiten findet und diesen folgen kann. Der Crawler hat die Aufgabe, neue Seiten und Links für die Suchmaschine zu finden. Die gecrawlten Seiten werden an den Spider weitergegeben.

Spider

Ein Spider ist ein Webbrowser-ähnliches Programm, welches vom Crawler gefundene Webseiten herunterlädt. Bei vielen Suchmaschinen bilden Crawler und Spider eine Einheit.

Indexer

Der Indexer analysiert die vom Spider heruntergeladenen Seiten und bestimmt, welche Keywords wo (z.B. Titel oder Bodytext) und wie häufig auf der Seite vorkommen. Die ermittelten Daten gehen in den Index der Suchmaschine ein.

Index

Der Index ist eine Datenbank, in welcher die vom Indexer über die Webseiten gelieferten Daten gespeichert werden.

Suchengine

Die Suchengine nimmt Suchanfragen vom Benutzer entgegen, und entscheidet anhand der im Index gespeicherten Daten, welche Seiten relevant für die entsprechende Suche sind. Diese Seiten werden dem Benutzer als Suchergebnisse zurückgeliefert.