# # Primero el contenido adjunto. User-Agent: * User-Agent: Googlebot User-Agent: Googlebot-Mobile User-Agent: Googlebot-Image User-Agent: AdsBot-Google User-Agent: Mediapartners-Google Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-content/themes/ Disallow: /author/ Disallow: /*/author/ Disallow: /wp-includes/ Disallow: /wp-admin/ Disallow: /acceso/ Disallow: /wp-login/ Disallow: /wp-content/themes/enfold/framework/* Disallow: /portfolio_entries/* # Permitiendo rastrear los JS y CSS y otros elementos detectados en webmastertools Allow: /wp-content/uploads/ Allow: /*.js$ Allow: /*.css$ Allow: /wp-content/plugins/cookie-law-info/images/*.png Allow: /wp-content/themes/enfold/images/*.png Allow: /wp-content/themes/enfold/images/*.jpg # # Sitemap permitido, búsquedas no. # Sitemap: https://iiischools.com/sitemap_index.xml Disallow: /?s= Disallow: /search Disallow: /? Disallow: /*/? Disallow: /*/*/? Disallow: /*?replytocom Disallow: /*?utm_source # # Permitimos el feed general para Google Blogsearch. # # Impedimos que permalink/feed/ sea indexado ya que el # feed con los comentarios suele posicionarse en lugar de # la entrada y desorienta a los usuarios. # # Lo mismo con URLs terminadas en /trackback/ que sólo # sirven como Trackback URI (y son contenido duplicado). # Allow: /feed/$ Disallow: /feed Disallow: /*/feed/ Disallow: /*/*/feed Disallow: /comments/feed Disallow: /*/feed/$ Disallow: /*/feed/rss/$ Disallow: /*/trackback/$ Disallow: /*/*/feed/$ Disallow: /*/*/feed/rss/$ Disallow: /*/*/trackback/$ Disallow: /*/*/*/feed/$ Disallow: /*/*/*/feed/rss/$ Disallow: /*/*/*/trackback/$ Disallow: /*/*/*?action=rpx_token Disallow: /attachment/ Disallow: /*/attachment/* Disallow: /*/*/attachment/* Disallow: /*/*/*/attachment/* Disallow: /page/ Disallow: /*/page/* Disallow: /*/*/page/* Disallow: /*/*/*/page/* Disallow: /*/*/*/*/page/* #EXPLICITO PARA BING User-agent: msnbot User-agent: bingbot Crawl-delay: 40 # A partir de aquí es opcional pero recomendado. # # Lista de bots que suelen respetar el robots.txt pero rara # vez hacen un buen uso del sitio y abusan bastante… # Añadir al gusto del consumidor… User-agent: MSIECrawler Disallow: / User-agent: WebCopier Disallow: / User-agent: HTTrack Disallow: / User-agent: Microsoft.URL.Control Disallow: / User-agent: libwww Disallow: / # # Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen # idas de pinza, toca decirles que reduzcan la marcha. # El valor es en segundos y podéis dejarlo bajo e ir # subiendo hasta el punto óptimo. # User-agent: noxtrumbot Crawl-delay: 50 User-agent: msnbot Crawl-delay: 40 User-agent: Slurp Crawl-delay: 10