Quizás estaban probando algo. Por ejemplo, si encontrarían el artículo en el evento de búsqueda después de bloquearlo en robots. Y si haces una búsqueda, está en el índice.
Veamos si notará una mención en Quora y nos iluminará. ¡Hola BuzzFeed!
¿Por qué el archivo robots.txt de BuzzFeed no permite que los bots rastreen un artículo específico sobre los sabores de patatas fritas?
Supreme Content
¿Cuál es la diferencia entre guisantes de jardín y petit pois?
¿Cuáles son los mejores restaurantes en Queens?
¿Qué ingredientes tienen la reputación de “ir bien con todo”?
¿Traes tu propia comida en vuelos largos? ¿Qué traes?
¿Cuáles son algunos de los platos más intensivos en mano de obra en su país / conocimiento?
Se llama honeypot.
Esencialmente es una forma de detectar información no autorizada. Si aparece en un sitio web junto con otros artículos, saben que no respetan el texto de los robots.
De hecho, probablemente podrían usar una búsqueda en Google para encontrarlos.
Luego pueden bloquear específicamente esos bots o tomar otras acciones.
¿Por qué ese artículo? Es probablemente uno de los menos populares o quizás lo escribieron específicamente para este propósito.
Editar: parece que eliminaron esa línea del archivo robots.txt
More Interesting
¿Qué es mejor para el medio ambiente, los paquetes de ketchup o ketchup en botellas?
¿Dónde puedo encontrar sushi con todo lo que pueda comer en el área metropolitana de Nueva York?
¿Hay algún restaurante Kosher en la ciudad de Nueva York que sirva carne de búfalo / bisonte?
¿Cuál es la mejor comida que alguien te haya presentado?
¿Cuáles son los mejores platos principales de dieta?
¿Hay un exprimidor personal de calidad que no sea tan grande como los más grandes?
¿Cuál es la diferencia entre el ñame y la batata?
¿Cuáles son algunas de las mejores comidas que se pueden hacer en uno o dos recipientes?
En las tiendas de té de burbujas, ¿cuál es la diferencia entre una nieve y un granizado?
