Οι μηχανές αναζήτησης ανακαλύπτουν τις διάφορες ιστοσελίδες με διάφορους μικρούς ηλεκτρονικούς «κατασκόπους» που εξαπολύουν στον ιστό. Τους κατάσκοπους αυτούς τους συναντάμε με τις ονομασίες Spiders, Bots, Web Crawlers.
Στην πραγματικότητα είναι προγράμματα που καταγράφουν το περιεχόμενο των ιστοσελίδων και το αναφέρουν στις μηχανές αναζήτησης, οι οποίες με τη σειρά τους κατατάσσουν τις ιστοσελίδες για τις διάφορες λέξεις-φράσεις βάση ειδικών αλγορίθμων.
Οι μηχανές αναζήτησης έχουν παραμετροποιηθεί έτσι ώστε όταν πραγματοποιείται η αναζήτηση των λέξεων-φράσεων «κλειδιά», κατατάσσουν τις σχετικές ιστοσελίδες και τις παρουσιάζουν στον χρήστη (που κάνει την αναζήτηση) βάσει της κατάστασης συνάφειας (λέξεων-φράσεων – κατάταξης ιστοσελίδων).
Οι αλγόριθμοι που χρησιμοποιούν οι διάφορες μηχανές αναζήτησης είναι διαφορετικοί. Ο τρόπος δηλαδή που κατατάσσει η κάθε μηχανή αναζήτησης την κάθε ιστοσελίδα είναι διαφορετικός και όχι απόλυτα γνωστός σε εμάς.
Επίσης πολύ συχνά οι αλγόριθμοι αυτοί διαφοροποιούνται από τις εταιρείες ώστε να κατατάσσονται οι ιστοσελίδες βάσει της πραγματικής τους αξίας και όχι κάποιων τεχνασμάτων SEO των δημιουργών που με τον καιρό «αποκωδικοποιούν» τις μηχανές αναζήτησης και τις «εξαπατούν».