Bei aktivierter CEO-Extension wird unter der PageNum 1533906435 eine Sitemap angelegt. Damit diese als sitempal.xml zugänglich ist, muss folgendes in die /typo3conf/sites/config.yaml eingetragen werden: 

routeEnhancers:
  PageTypeSuffix:
    type: PageType
    map:
      /: 0
      sitemap.xml: 1533906435
  Sitemap:
    type: Simple
    routePath: 'sitemap-type/{sitemap}'
    aspects:
      sitemap:
        type: StaticValueMapper
        map:
          pages: pages
          tx_news: tx_news

Hier können wir direkt die die Einstellung für die 404-Fehlerseite mit übernehmen. Das geht auch über das Modul "Seiten" (s.u.), aber wir sind ja gerade schon mal da:

errorHandling:
  –     errorCode: '404'
    errorHandler: Page
    errorContentSource: 't3://page?uid=10'

Diese Einstellung verweist bei einem 404-Fehler auf die Seite 10. Es kann natürlich auch eine andere Seiten-Id sein. Es können auch unterschiedliche Seiten für diverse Fehlermeldungen erstellt werden, aber den Besucher interessiert in der Regel nicht das Warum. DArum nutzen wir immer nur eine genereische Fehlermeldung oder den Link auf die Startseite. 

Als nächster Schritt wird die robots.txt angelegt. Dies geschieht im TYPO3-Modul "Seiten" in der Configuration der gewünschten Seite auf dem Reiter "Statische Routen". Hier muss eine neue Route angelegt werden mit dem Namen "robots.txt" vom Type "Statischer Text" mit folgendem Inhalt:

User-agent: *
Allow: /
Disallow: /*?id=*
Disallow: /*&id=*
Disallow: /*/Configuration/*
Disallow: /typo3temp/var/*
Disallow: /typo3/
Disallow: *.sql
Disallow: *.sql.gz
Disallow: /*cHash
Disallow: /*tx_powermail_pi1
Disallow: /*tx_form_formframework 
#Disallow weitere 

# folders
Disallow: /fileadmin/intern/*
Disallow: /typo3/
Disallow: /typo3conf/
Allow: /_assets/
Allow: /typo3temp/

# Don't index the search folder
Disallow: /*search*/*

Sitemap: www.domain.de/sitemap-type/pages/sitemap.xml

Nun kann es immer noch sein, dass alte Google-Links auf Dateien in fileadmin verweisen, die es längst nicht mehr gibt. Diese Links erreichen aber TYPO3 nicht, da sie nicht die index.php von TYPO3 durchlaufen. Also muss wir jemanden Bitten, die Umleitung zu übernehmen, die den Fehler mitbekommt. Und das ist die htaccess-Datei. 

Hier ergänzen wir die Behandlung von Fehlern (Beispiel: unsere Fehlerseite hat das URL-Segment (Slug) "fehler":

ErrorDocument 400 %{HTTP_HOST}/fehler
ErrorDocument 401 %{HTTP_HOST}/fehler
ErrorDocument 403 %{HTTP_HOST}/fehler
ErrorDocument 404 %{HTTP_HOST}/fehler
ErrorDocument 500 %{HTTP_HOST}/fehler
ErrorDocument 503 %{HTTP_HOST}/fehler

So werden auch alte Indexeinträge abgefangen und der Besucher erhält eine sinnvolle Fehlermeldung und ein Menü, über dass sie wieder in die Seite einsteigen kann.