Connect with us

Blogs

Google desea que el archivo robots.txt presente en las páginas web se convierta em un estándar de Internet

Published

on

Cualquiera que tenga un mínimo de conocimientos de creación de sitios web, sabrá de la existencia de los archivos robots.txt, que posibilita a los propietarios de sitios web indicar una serie de directivas de acceso a los rastreadores de contenidos en Internet, como Googlebot, de Google.

Pues bien, hasta ahora, los archivos robots.txt, o lo que es lo mismo, el protocolo REP (Robots Exclusion Protocol) en el que es basado, ha sido prácticamente un estándar de facto, generando ciertas ambigüedades tanto a propietarios de sitios web como a desarrolladores de herramientas, aunque desde Google quiere que, después de 25 años de uso, pase a ser un estándar oficial de Internet.

Con ello se quiere normalizar dicho protocolo, adaptándolo además a la era actual, contemplando todos los escenarios de uso posibles, incluyendo los usos actuales.

En este sentido, Google, junto al desarrollador original del protocolo en 1994, Martijn Koster, así como webmasters y otros motores de búsqueda, han desarrollado un borrador en el que se refleja el uso de REP en la web moderna, incluyendo además la experiencia de uso durante más de 20 años, enviándolo a la organización IETF (Internet Engineering Task Force).

Se pretende mejorar REP para cumplir con dicho objetivo, para lo que se pide ayuda a los propios desarrolladores. Google señala que la estandarización de REP significará un “trabajo adicional para los desarrolladores que analizan los archivos robots.txt”.

Por su parte, están haciendo de código abierto la biblioteca C++ usada en sus sistemas de producción “para analizar y combinar reglas en los archivos robots.txt”, usada durante más de 20 años, incluyendo “piezas de código escritas en los años 90″, y también ofrecen una herramienta de prueba en el mismo paquete de código abierto “para ayudarlo a probar algunas reglas”.


Compartimos nuestro contenido con mucho placer, si ha sido de tu agrado no olvides invitarnos un café

Periodista, professor y fanático de la tecnología, los negocios 2.0, el mkt, y la música electrónica. Editor de los portales onedigital.info y pcformat.info http://www.onedigital.info

Borrador automático Borrador automático
Apps10 horas ago

57% de los viajeros mexicanos creen que podrán ir a la playa este próximo verano, según encuesta de Booking.com

Para muchos, la vida se ha sentido como si hubiera estado “en pausa” durante bastante tiempo y la frase “nueva...

Borrador automático Borrador automático
Comunicados de Prensa10 horas ago

Ever Forward da el salto a las consolas en Agosto de 2021

Comienzan los pedidos anticipados para PlayStation 4/5, la familia Xbox y Nintendo Switch Compartimos nuestro contenido con mucho placer, si...

Comunicados de Prensa12 horas ago

85% de los mexicanos considera que todo tendrá un componente virtual en el futuro, de acuerdo a una investigación de Zoom

La investigación global señala los aspectos positivos que los consumidores expresaron sobre la realización de actividades de manera virtual y...

Comunicados de Prensa13 horas ago

Geolocalización de la banca ¿atenta contra tu privacidad?

Experto CETYS explica en qué consiste la reciente disposición promovida por la Asociación de Bancos de México Compartimos nuestro contenido...

Comunicados de Prensa14 horas ago

Tres consejos clave para reducir considerablemente el riesgo de filtración de los datos personales y biométricos de la población

Las bases de datos se convierten en objetivos de gran valor para que los exploten los piratas informáticos oportunistas. Compartimos...

Borrador automático Borrador automático
Comunicados de Prensa16 horas ago

¿Emprender o no emprender? Prestadero explica cómo tomar la decisión con 3 respuestas clave

Gerardo Obregón, Fundador y Director General de Prestadero.com, da respuesta a algunas preguntas frecuentes en cuanto a emprendimiento se refiere:...

Jooble

Advertisement
Conoce como vivir una Vida más Saludable
A %d blogueros les gusta esto: