ROBOTS.TXT • CRAWLING • TECHNICAL SEO

Robots.txt και SEO: τι ελέγχει και τι δεν πρέπει να μπλοκάρετε

Το robots.txt είναι ένα αρχείο στο root ενός website που δίνει οδηγίες σε crawlers για ποια URLs επιτρέπεται ή δεν επιτρέπεται να ζητήσουν. Χρησιμοποιείται κυρίως για έλεγχο crawling — όχι ως βασικός τρόπος για να αφαιρέσετε μια σελίδα από τα αποτελέσματα αναζήτησης.

Ένα λάθος Disallow μπορεί να εμποδίσει τη Google να προσπελάσει σημαντικά URLs ή resources. Γι’ αυτό το robots.txt πρέπει να είναι απλό, ελεγχόμενο και να χρησιμοποιείται μόνο όταν υπάρχει σαφής λόγος.

Technical SEO → Όλοι οι Οδηγοί SEO →

ROBOTS.TXT BASICS

Τι είναι το robots.txt

ROOT

Αρχείο στο root

Βρίσκεται συνήθως στη διεύθυνση domain.gr/robots.txt και αφορά το συγκεκριμένο host όπου είναι δημοσιευμένο.

BOT

User-agent

Ορίζει σε ποιον crawler ή ομάδα crawlers απευθύνεται η συγκεκριμένη ομάδα κανόνων.

Disallow

Δηλώνει paths που δεν θέλουμε να ζητά ο συγκεκριμένος crawler.

YES

Allow

Μπορεί να χρησιμοποιηθεί για να επιτρέψει πιο συγκεκριμένο path μέσα σε ευρύτερα αποκλεισμένη περιοχή.

CRAWLING ≠ INDEXING

Η πιο σημαντική διάκριση: robots.txt δεν σημαίνει noindex

Robots.txt = Crawl Control

Αν μπλοκάρετε ένα URL στο robots.txt, ο crawler δεν θα μπορεί να διαβάσει το περιεχόμενό του. Αυτό όμως δεν είναι το ίδιο με το να δηλώσετε ότι το URL δεν πρέπει να εμφανίζεται στα αποτελέσματα.

robots.txtΕλέγχει κυρίως αν ένας crawler μπορεί να ζητήσει ένα URL.

noindexΕίναι κανόνας indexing που χρησιμοποιείται για να μην εμφανίζεται περιεχόμενο στα αποτελέσματα.

Προσοχή στον συνδυασμόΑν το URL είναι blocked στο robots.txt, ο crawler μπορεί να μην μπορέσει να δει το noindex που βρίσκεται μέσα στη σελίδα.

Private contentΓια πραγματικά ευαίσθητο ή ιδιωτικό περιεχόμενο χρειάζεται authentication ή άλλο ουσιαστικό access control.

COMMON ROBOTS.TXT RULES

Οι βασικές οδηγίες που θα συναντήσετε σε ένα robots.txt

User-agent Καθορίζει τον crawler στον οποίο εφαρμόζονται οι κανόνες της συγκεκριμένης ομάδας.

CRAWLER

DIS

Disallow Ορίζει URLs ή paths που δεν θέλουμε να ζητηθούν από τον crawler της συγκεκριμένης ομάδας.

BLOCK CRAWL

ALL

Allow Επιτρέπει συγκεκριμένο path όταν υπάρχει ευρύτερος κανόνας αποκλεισμού.

ALLOW PATH

XML

Sitemap Μπορεί να δηλώνει τη διεύθυνση του XML sitemap ώστε οι crawlers να το εντοπίζουν εύκολα.

DISCOVERY

WHEN ROBOTS.TXT HELPS

Πότε έχει νόημα να χρησιμοποιείται robots.txt

DUP

Μη χρήσιμα crawl paths

Σε μεγάλα sites μπορεί να χρειάζεται περιορισμός crawling σε άχρηστους ή επαναλαμβανόμενους URL χώρους.

FAC

Faceted Navigation

Filters, sorting και παράμετροι μπορούν να δημιουργούν τεράστιο αριθμό URLs που χρειάζονται προσεκτική crawl strategy.

BOT

Έλεγχος συγκεκριμένων crawlers

Διαφορετικές ομάδες user-agents μπορούν να έχουν διαφορετικούς κανόνες όταν υπάρχει πραγματικός τεχνικός λόγος.

Σε μικρά εταιρικά websites συνήθως δεν χρειάζεται περίπλοκο robots.txt. Η υπερβολική πολυπλοκότητα αυξάνει τον κίνδυνο να αποκλειστεί κάτι σημαντικό χωρίς λόγο.

COMMON ROBOTS.TXT MISTAKES

Τα πιο συχνά λάθη που μπορούν να δημιουργήσουν πραγματικό SEO πρόβλημα

Αποφεύγουμε

Disallow σε ολόκληρο site μετά από staging migration

Μπλοκάρισμα CSS ή JavaScript που χρειάζεται για σωστό rendering

Χρήση robots.txt ως υποκατάστατο του noindex

Περίπλοκους κανόνες χωρίς πραγματική crawl ανάγκη

Block σε σημαντικές κατηγορίες ή landing pages

Αλλαγές χωρίς έλεγχο σε πραγματικά URLs

Προτιμάμε

Απλούς και τεκμηριωμένους κανόνες

Crawl access σε σημαντικό content και resources

Noindex όταν ο στόχος είναι ο αποκλεισμός από Search

Έλεγχο μετά από migration ή redesign

Σωστό XML sitemap

URL Inspection όταν υπάρχει indexing αμφιβολία

WORDPRESS & ROBOTS.TXT

Τι πρέπει να προσέξετε σε WordPress website

VIS

Search Engine Visibility

Μετά από development ή staging, ελέγξτε ότι το site δεν παραμένει ρυθμισμένο ώστε να αποθαρρύνει την indexing παρουσία.

SEO

SEO Plugin

Yoast, Rank Math και άλλα plugins μπορεί να διαχειρίζονται διαφορετικές indexing ρυθμίσεις. Μην μπερδεύετε αυτές τις ρυθμίσεις με το robots.txt.

XML

XML Sitemap

Βεβαιωθείτε ότι το sitemap περιέχει τα URLs που πραγματικά θέλετε να είναι indexable και σημαντικά.

Launch QA

Μετά από redesign, migration ή αλλαγή hosting, ελέγχετε ξανά robots rules, canonicals, redirects και indexing settings.

WordPress SEO → SEO Audit →

ROBOTS.TXT VS ROBOTS META

Robots.txt, robots meta και X-Robots-Tag έχουν διαφορετικό ρόλο

TXT

robots.txt

Ελέγχει κυρίως crawling σε επίπεδο URL paths και crawler groups.

Robots Meta Tag

Μπαίνει στο HTML μιας σελίδας και μπορεί να δίνει page-level indexing ή serving οδηγίες όπως noindex.

HTTP

X-Robots-Tag

Δίνεται μέσω HTTP header και είναι χρήσιμο και για non-HTML resources, όπως PDFs.

ROBOTS.TXT FAQ

Συχνές ερωτήσεις για robots.txt και SEO

Το robots.txt βγάζει μια σελίδα από τη Google;

Όχι ως αξιόπιστος μηχανισμός deindexing. Το robots.txt ελέγχει crawling. Αν θέλετε μια σελίδα να μην εμφανίζεται στα αποτελέσματα, χρειάζεται κατάλληλος indexing έλεγχος, όπως noindex, και ο crawler πρέπει να μπορεί να προσπελάσει τη σελίδα για να δει τον κανόνα.

Μπορεί ένα blocked URL να εμφανιστεί σε αποτελέσματα;

Ναι, είναι δυνατό να εμφανιστεί το URL αν η μηχανή αναζήτησης το γνωρίζει από άλλες πηγές, ακόμη κι αν δεν μπορεί να διαβάσει το περιεχόμενό του.

Πρέπει να βάζω noindex μέσα στο robots.txt;

Όχι. Το noindex δεν είναι υποστηριζόμενος κανόνας robots.txt για τη Google. Χρησιμοποιείται ως robots meta tag ή X-Robots-Tag HTTP header.

Πρέπει να μπλοκάρω wp-admin;

Το WordPress συχνά έχει δική του λογική για administrative paths. Δεν χρειάζεται να δημιουργείτε πολύπλοκους κανόνες χωρίς λόγο. Το σημαντικό είναι να μην εμποδίζονται resources ή URLs που χρειάζονται για σωστό crawling και rendering.

Πού βρίσκεται το robots.txt;

Συνήθως στη ρίζα του host, για παράδειγμα https://example.com/robots.txt.

Πώς ελέγχω αν το robots.txt δημιουργεί πρόβλημα;

Ελέγξτε το ίδιο το αρχείο, τα patterns που ταιριάζουν στα σημαντικά URLs και χρησιμοποιήστε εργαλεία όπως URL Inspection και technical crawl. Ένα Technical SEO audit μπορεί να συνδυάσει αυτά τα δεδομένα με indexing και canonical checks.

KEEP CRAWL RULES SIMPLE

Το σωστό robots.txt δεν χρειάζεται να είναι μεγάλο. Χρειάζεται να μην εμποδίζει ό,τι έχει πραγματική SEO αξία

Αν ένα website έχει indexing προβλήματα, migration history, πολλά parameters ή σύνθετη αρχιτεκτονική, το robots.txt πρέπει να ελεγχθεί μαζί με canonicals, internal links, sitemap και πραγματική crawl συμπεριφορά.

SEO Audit → Επικοινωνία →