El contenido del internet se puede dividir en dos partes: Internet Superficial e Internet Profunda (deep web).
La web superficial es la porción de internet que es indexada
por motores de búsqueda, navegan el 85% de usuarios web, pero ésta solo forma
parte de un 5% de todo el contenido que hay en el internet. Las arañas de los buscadores van recorriendo las páginas
web, almacenando información que contienen y buscando enlaces a otros sitios web
para seguir actualizando sus bases de datos.
Características principales:
- Su información no está contenida en bases de datos
- Es de libre acceso
- No se requiere la realización de un proceso de registro para acceder a la información.
- Está formada por páginas Web estáticas, es decir páginas o archivos con una URL fija y accesibles desde otro enlace.
La web profunda es la que esta compuesta por toda la
información y bases de datos a las que los motores de búsqueda y directorios no
tienen acceso directo. Abarca el 95 % del contenido del internet y es 500 veces
mayor que el internet superficial.
Existen 4 tipos de contenidos invisibles en la web
La Web Opaca está
compuesta por archivos que, si bien podrían estar incluidos en los índices de
los buscadores, no lo están por alguno de los siguientes motivos:
- Extensión de la indización: a veces, por economía, no todas las páginas de un sitio son indizadas en los buscadores.
- Frecuencia de la indización: los buscadores no poseen la capacidad de indizar todas las páginas existentes; a diario se agregan y modifican muchas y la indización no se realiza al ritmo que permita incluirlas a todas.
- Número máximo de resultados visibles: aunque los motores de búsqueda arrojan a veces un gran número de resultados, generalmente limitan el número de documentos que se muestran (entre 200 y 1000).
URL
desconectadas: las generaciones más recientes de buscadores, presentan los
documentos por relevancia basada en el número de veces que aparecen
referenciados en otros. Si un documento no tiene un link a él, desde otro
documento, será imposible que la página sea encontrada, pues no se encuentra
indizada.
La Web Privada consiste
en las páginas Web que podrían estar indizadas en los buscadores pero son
excluidas deliberadamente por alguno de estos motivos:
- Las páginas están protegidas por contraseñas.
- Contienen un archivo “robots.txt” para evitar ser indizadas.
- Contienen un campo “noindex” para evitar que el buscador pueda indizar la parte correspondiente al cuerpo de la página. Este segmento de la Web contiene, en general, documentos excluidos deliberadamente por su falta de utilidad. Ya que son los dueños de la información que contienen, los que deciden que no se encuentre disponible, por lo que difícilmente se podrán encontrar mecanismos legítimos para franquear esa barrera.
La Web Propietaria incluye
aquellas páginas en las que es necesario registrarse para tener acceso al
contenido, ya sea de forma gratuita o arancelada.
La Web Realmente Invisible se
compone de páginas que no pueden ser indizadas por limitaciones técnicas de los
buscadores, programas ejecutables y archivos comprimidos, páginas generadas
dinámicamente, es decir, que se generan a partir de datos que introduce el
usuario, información almacenada en bases de datos relacionales, que no puede
ser extraída a menos que se realice una petición específica.
No comments:
Post a Comment