¿Qué es la etiqueta Meta Robots? ¿Qué es el robots.txt?

La etiqueta Meta Robots es una etiqueta HTML que se utiliza para indicar a los buscadores que traten a una url de una manera determinada.

Esta etiqueta es necesaria si no queremos que nuestra web sea indexada o posicionada en buscadores.

También puede realizarse esta función a través del archivo Robots.txt de la página.

La diferencia entre utilizar la etiqueta Meta Robots y el archivo Robots.txt es la siguiente:

  • Mediante la etiqueta le indicamos a Google que no queremos indexar ciertas páginas, pero sí que nos interesa que los bots las rastreen.
  • Sin embargo, si utilizamos el archivo Robots.txt le indicamos a los bots que directamente no se molesten en entrar y rastrear ciertas páginas.

Esta diferencia es importante que la tengas en cuenta. Lo entenderás mejor con un ejemplo:

Imagina que tienes 2 urls que no quieres que aparezcan en el índice de Google.

Url 1: bloqueada mediante el archivo robots.txt

Esta url no será rastreada ni tampoco será indexada (a priori, nunca te fíes al 100% de Google :-P).

Url 2: bloqueada con la etiqueta meta robots

Esta url, al bloquearla con la etiqueta meta robots, no será indexada pero sí que se podrá rastrear por los buscadores lo que hará que todo el contenido sea analizado y por tanto, que los buscadores puedan rastrear y seguir los enlaces hacia otras páginas.