M谩s

    Google agrega nueva documentaci贸n para Mystery Crawler

    - Advertisement -

    Google actualiz贸 la lista de sus rastreadores oficiales agregando el nombre y la informaci贸n de un rastreador relativamente desconocido que los editores han estado viendo de vez en cuando pero que anteriormente no exist铆a documentaci贸n al respecto.

    Aunque Google agreg贸 documentaci贸n oficial para este rastreador, la informaci贸n proporcionada parece alentar una mayor aclaraci贸n.

    Rastreadores de casos especiales

    Google tiene varios tipos de rastreadores (tambi茅n conocidos como bots y ara帽as).

    Las diferentes formas de rastreadores son:

    • Rastreadores comunes
      Estos bots se utilizan principalmente para indexar diferentes tipos de contenido. Pero algunos rastreadores comunes tambi茅n sirven para herramientas de prueba de b煤squeda, uso interno del equipo de productos de Google y rastreo relacionado con la IA.
    • Recuperadores activados por el usuario
      Estos son bots activados por los usuarios. Esto incluye usos como la obtenci贸n de feeds o la verificaci贸n de sitios.
    • Rastreadores de casos especiales
      Estos son para casos especiales, como controles de calidad de p谩ginas web de anuncios m贸viles o mensajes de notificaci贸n autom谩tica a trav茅s de las API de Google. Estos bots no obedecen las directivas globales de agentes de usuario en robots.txt que est谩n se帽aladas con el asterisco.

    .

    La nueva documentaci贸n del rastreador es para el agente de usuario de Google-Safety. El rastreador no es nuevo pero la documentaci贸n s铆 lo es.

    Rastreador de seguridad de Google

    La documentaci贸n del rastreador de seguridad de Google de rastreadores de casos especiales es la que utilizan los procesos de Google para encontrar malware.

    脷nico entre los rastreadores de casos especiales, el rastreador de seguridad de Google ignora por completo todas las directivas de robots.txt.

    La nueva documentaci贸n para Google-Safety Crawler:

    鈥淓l agente de usuario de Google-Safety maneja el rastreo de abusos espec铆ficos, como el descubrimiento de malware para enlaces publicados p煤blicamente en las propiedades de Google.

    Este agente de usuario ignora las reglas de robots.txt鈥.

    "Google-Safety"

    La cadena de agente completa para el rastreador:

    Lea la nueva documentaci贸n para el agente de usuario de seguridad de Google en la p谩gina Central de b煤squeda de Google para rastreadores en la secci贸n dedicada a rastreadores de casos especiales.

    Descripci贸n general de los rastreadores y buscadores de Google (agentes de usuario): rastreadores de casos especiales

    Fuente: Google agrega nueva documentaci贸n para Mystery Crawler

    Populares

    M谩s de esta categor铆a

    DEJA UNA RESPUESTA

    Por favor ingrese su comentario!
    Por favor ingrese su nombre aqu铆

    Este sitio usa Akismet para reducir el spam. Aprende c贸mo se procesan los datos de tus comentarios.