1. La Redología, la nueva disciplina de los "Mundos pequeños"

En el teórico anterior hicimos uso extensivo de la obra de Albert-László Barabási, profesor de física en la Universidad de Notre Dame. Autor de Linked, The New Science of Networks (Enlazados, la nueva ciencia de las redes), que seguramente va a dar mucho que hablar y que esperamos que pronto este traducido al castellano.

No solo porque está tapizado de anécdotas y de antecedentes fascinantes, que muestran como a partir de lo local se puede llegar -y como- muy rápido a lo global, sino porque astutamente Barabási une (bien batesonianamente) lo conocido con lo desconocido, lo archisabido con lo sorprendente, lo previsible con lo inesperado.

Los primeros capítulos el libro son fascinantes no sólo por las anécdotas, sino por el entramado. Porque partiendo de los lugares mas insólitos el autor saca conclusiones de gran alcance y totalmente convincentes.

Retomando análisis hechos en el año 1999 utilizando como carnada a los sitios de IBM, Compaq y Altavista, llevó a cabo un estudio que reveló que Internet es un caos. El trabajo abarcó cerca de 200 millones de páginas -de las 4.400 millones censadas actualmente por Google y demostró que existe un núcleo organizado en el centro de la red compuesto tan sólo por el 30% de los sitios existentes. Los restantes websites, en muchos casos, son inaccesibles -mas abajo desarrollaremos el tema mas en detalle.

Lo interesante no es tanto esta afirmación (o su contraria) sino el nudo que vincula este trabajo con muchos otros remitiendo a redes del mas variado tipo. Porque en los últimos cinco años hemos adquirido (gracias a la intermediacion de Internet) un enorme conocimiento acerca de cómo funcionan las redes y, sobre todo de cuál es su topología que es invariable aunque se trate de células, cadenas tróficas, citas bibliométricas o la WWW.

Como bien revelaba Francis Pisani en Porqué el mundo es pequeño y porqué los ricos se vuelven más ricos una nota periodística publicada por Latinotek, de haberlo sabido a tiempo, un sin número de puntocoms que se lanzaron al ciberespacio pensando que bastaba con llegar rápido (El axioma de Amazon Get Big Fast) para que los internautas acudieran en masa hubieran podido escoger una estrategia más apropiada. O mejor no haber malgastado nunca un peso en una tarea imposible.

Además de los nodos y enlaces, Barabási constató y explicó la presencia de agrupamientos de nodos (cluster, racimos) así como la existencia de un pequeño número de nodos con un enorme número de enlaces a otros nodos (los hubs, cubos).

Aunque suene a un ejercicio de ingenuo antropocentrismo la tendencia humana al agrupamiento, que sin duda corresponder a la búsqueda de seguridad, se encuentra curiosamente en todas las redes.

Según Barabási los cubos (hubs), pueden resultar más importantes todavía, y esto es segun él, el verdadero mensaje de Linked: mantienen la cohesión de la mayoría de las redes. Aunque parezca una obviedad se trata de esas verdades que siempre habían estado ocultas: todo sistema complejo tiene una estructura subyacente en red.

Si algo parecía claro de la web (o del agrupamiento neuronal que la remeda o inspira, vaya uno a saber) es que se trataba de un territorio inmenso, pero al final resulta que las distancias que separan a ese mundo (aparentemente) ilimitado son relativamente cortas.

Desde el principio el autor juega convencido con una noción acuñada por John Guare en su obra teatral Six Degrees of Separation - (para su explicitación y eventual participación en estos juegos ver aquí).

Porque una tesis importante de Barabasi es que vivimos en mundos pequeños. La impresión común según la cual, Internet contribuye al desplome de las distancias ahora tiene base matemática. De hecho, en las redes más complejas, la distancia entre nodos es más bien corta. En este caso, 'distancia' se refiere por supuesto al número de saltos necesarios para ir de un nodo a cualquier otro siguiendo el camino de los enlaces.

Los humanos constituimos una red de seis mil trescientos millones de nodos y la web tiene más de cuatro mil quinientos millones de nodos. Sin embargo, esas redes son 'pequeñas' en el sentido en el cual existe un camino corto entre cualquier par de nodos. La distancia es de 6 entre un par de humanos y de 19 entre un par de páginas de la web.

Lo que mas sorprendió a Barabási fue la ausencia total de democracia, equidad y valores igualitarios en el consumo de estos insumos. La topología de la web nos prohíbe ver casi todo, a no ser un puñado de los miles de millones de documente indexables.

Los nodos no se conectan entre sí al azar y, en un ambiente de constante competencia, buscan a los otros nodos más atractivos. Barabási propone un indicio de fitness (aptitud) lo cual lo lleva a afirmar que la noción según la cual los ricos se vuelven más ricos es el mecanismo clave, que muchas puntocoms no entendieron (y que ya habia sido anticipado en 1996 por Frank Robert H & Cook, Philip en su anticipadora obra The winner takes all society. When the few at the top gets much more than the rest of us.

En el presente teórico iremos desovillando algunas de estas ideas centrales.

2. Robots que no se ven pero que son muy poderosos

Contrariamente a las expectativas de tantos -madres incluídas- los Robots (salvo en éxitos de taquilla como Terminator y Matrix) todavía no aspiran a controlar al mundo. O por lo menos no lo lograrán ese tipo de robots que nosotros creíamos que ocuparían la banda media, el espacio tridimensional newtoniano que es nuestro hábitat cotidiano.

Pero pensándolo un poco mejor los robots -otro tipo- están aspirando a colonizarlo todo. Pero en otra escala claro, la microscópica o en todo caso la invisible. Porque los robots del siglo XXI son invisibles e inmateriales. Claro que no aparecerán flotando en la pantalla o dando vueltas por nuestro escritorio, pero una cuidadosa lectura de los archivos de cualquiera de nuestras máquinas mostrará que los robots se dedican incansablemente de hacer algo clave, indexar las paginas.

Albert Laszlo-Barabasi y sus coequipers se dieron cuenta muy pronto de la que la muestra de 300.000 páginas que les había allegado su pequeño robot era lo máximo a lo que podían aspirar analizar, pero que aun en su dimensión minúscula había revelado un secreto que merecía ser atesorado, a saber que la web es una red scale-free.

Porque otro grupo de investigadores que se animaron a seguir el experimento y analizaron bloques mucho mas numerosos de páginas llegaron a la imprevista conclusión de que la web está fragmentada en continentes y comunidades que determinan nuestro comportamiento on line. Y correlativamente descubrieron que hay una terra incognita donde nadie se ha aventurado aun -semejante a la que exploran los expedicionarios de Star Trek tratando de ir mas alla de lo que cualquier ser humano haya aventurado previamente.

Pero por si todos esos resultados no fueran de por si increíblemente interesantes, lo que el estudio de la dinámica de la web ha demostrado es que su estructura tiene impacto en todo desde la navegación hasta la democracia.

La situación es muy diferente de la que vivíamos apenas 4 o 5 años atrás. En ese momento nuestra fe ciega en los robots y el carácter supuestamente isotrópico de la red nos hacia suponer que si buscábamos algo y buscadores como Altavista o Hotbot no lo encontraban, era porque sencillamente no existía en la red.

Todo cambio en abril de 1998 cuando un paper publicado en la prestigiosa revista Science saludó la importancia de la calidad por encima de la cantidad y determinó que era preferible indexar sitios de calidad antes que meramente apilar la mayor cantidad de sitios posibles unos sobre otros acudiendo a buscadores. Correlativamente, lo que este enunciado decía era que el universo web estaba pletórico de páginas que no valían la pena ser visitadas nunca. Y que esa cualidad calificaba a la gran mayoría de páginas que hay en la web.

Como sucede muchas veces con las investigaciones científicas nada estaba mas lejano de los intereses de Steve Lawrence y Lee Giles utilizando el buscador Hotbot redactores del paper que pondría en tela de juicio a los buscadores entonces existentes.

Sus preocupaciones eran muy diferentes. A ellos les interesaba el área del aprendizaje robótico y por ello habían construido un robot llamado Inquirus capaz de interrogar a otros robots por la existencia de documentos que cumplieran con cierta estructura de búsqueda.

Embarcados en este interesante proyecto de pronto se dieron cuenta de que el robot podía arrojar un beneficio secundario mas valioso que el buscado primigeniamente. Ya que el dichoso robot podría llegar a estimar el tamaño real de la red -un número que en ese momento nadie conocía a ciencia cierta.

3. El "verdadero" tamaño de la red

Entre los resultados que produjo Hotbot fue descubrir que la web en 1997 contaba con alrededor de 320 millones de documentos por lo menos el doble de lo que se creia entonces. Y no solo eso. Hotbot que se preciaba de ser el mas exitoso y exigente de los robots en esa época de pronto se encontró devaluado al descubrirse que solo indexaba 34% de toda la web. Claro como premio consuelo pudo jactarse de que a los otros robots les iba aun peor. Altavista solo cubria 28% y otros buscadores como Lycos -que pronto caería en manos de Terra y Telefónica- apenas cubría un 2% de la red.

Mostrando el divorcio que hay entre la investigación y los negocios, la mayoría de las empresas propietarias de los robots no se mosquearon por el irritante resultado y siguieron como si tal cosa. Lo que quedó atestiguado por cuanto al repetir en Febrero de 1999 el ejercicio los mismos investigadores encontraron que la red había crecido hasta tener 800 millones de documentos pero la capacidad de recuperación de los robots curiosamente había empeorado.

Un excelente buscador de la época como Northern Light habia ocupado la pool position cubriendo 16% de la W3, Altavista había bajado al 15% y Hotbot reseñaba apenas 11% de las paginas existentes, mientras que Google que era un benjamín entre los pesos pesados apenas veía en ese entonces un 7.8% de las páginas estimadas.

Pero ese resultado era bastante mas importante que el aparentemente encogimiento de hombros de las empresas involucradas, y en Junio del 2001 Google cubrió por primera vez 1.000 millones de documentos, seguido de cerca por allthewb (FAST). Y si miramos las cosas hoy nos encontramos con que Google está próximo a alcanzar los 5.000 millones de documentos.

Sin embargo esta carrera se parece a la de Aquiles contra la Tortuga. Por mas impresionante que sea la capacidad de indexación de los motores, la web crece infinitamente mas rápido que su posbilidad de analizarla. Y para peor -además de la web superficial a la que alcanzan estos robots- tenemos una web profunda que es por lo menos 550 veces mas grande que la anterior, con lo que la asimetría entre existente y visible se ahonda muchisimo mas.

Cuando pasamos de una cantidad finita y alcanzable de páginas a los continentes de (des)-información que tenemos hoy mucho mas importante que un buscador que encuentre todas las páginas es otro que encuentre las "mejores" paginas.

Lo que estas investigaciones dejaron en claro es que para recorrer la web no solo cuentan los incentivos económicos sino que por su propia topologia la red tiene una estructura que tanto enfatiza su visibilidad como su invisibilidad. La W3 es una red libre-de escala (del mismo tipo como lo es Internet en su conjunto, o del tipo el ganador se queda con todo que es tan propio en la economía de las estrellas).

Esto significa que la red está dominada por hubs y nodos con una gran cantidad de links. Pero al mismo tiempo esta topología de gran escala coexiste con numerosas etructuras de pequeña escala que limitan lo que podemos explorar simplemente haciendo click aquí y allá al tun tun.

4. El carácter asimétrico de los links

Aunque en en la web hay miles de millones de páginas -sólo contando la web superficial- las investigaciones de Reka Albert y Alberto Lazslo-Barabasi-demostraron que el grado de separación entre dos sitios web -a diferencia de lo que sucede entre dos personas físicas- es de apenas 19 saltos, por lo cual esta inmensidad de información es a pesar de su vastedad, navegable.

Sin embargo describir un poco simplistamente a la web así no dice mucho. Porque si bien es cierto que si existe un link entre dos nodos, éste generalmente es corto, como quiera que sea no todas las páginas están conectadas entre si. De hecho partiendo de cualquier página en particular sólo podemos llegar a un 24% de todos los documentos que hay en la red.

El principal responsable de esta enorme limitación en el acceso es la asimetría de los links. Todos los links en la web son unidireccionales. O sea todos los links están direccionados. Cuando no hay un link directo entre varios sitios se pueden encontrar paradas intermedias, pero lo que no existe es una simetría entre las idas y las vueltas.

Para volver a un sitio, a menos que usemos el comando back, probablemente tengamos que dar decenas de pasos para retornar al punto de partida. La web está pletórica de estas desconexiones y eso es lo que determina su navegabilidad... acotada

En un sentido profundo la web es como una cadena trófica. Todos los ingredientes están interconectados pero en una dirección unilateral. Es esta direccionalidad la que determina en forma esencial la topología de la red.

Uno de los primeros trabajos que ilustraron esta situación fue emprendido por Andrei Broder> de Altavista y sus colegas, quienes estudiaron una muestra de 200 millones de nodos -cerca de un quinto de todas las páginas que existían en 1999.

La principal conclusión de su trabajo sintetizado en Graph structure in the web es que la direccionalidad de la red no conforma una red única homogénea. Por el contrario un mapa de la red muestra que ésta está dividida en cuatro grandes estratos, cada uno de los cuales nos obliga a obedecer a diferentes reglas de trafico cuando queremos navegarla.

El primero de estos continentes contiene cerca de un cuarto de todas las paginas web. Denominado a menudo como el núcleo central es el espacio en donde se alojan todos los sitios conocidos, desde Amazon hasta E-bay. Su principal rasgo es su fácil navegabilidad, dado que siempre existe un link que vincula cualquiera de los nodos que lo conforman a otro. Esto no significa que esos links existan siempre, pero si que saltando una cantidad n de veces es posible llegar a todos los nodos de esa particion.

Los dos continentes siguientes, ADENTRO y AFUERA son igualmente grandes entre si como el primero, pero también mucho mas difíciles de navegar. Se puede ir desde los nodos en el continente ADENTRO al núcleo central pero no hay links reversibles que nos lleven del núcleo central al continente ADENTRO.

Y lo mismo sucede con el continente AFUERA. Ya que numerosismos links van del núcleo central al AFUERA -pero la inversa no es cierta. Aquí se encuentran los sitios corporativos que pueden ser fácilmente accedidos desde afuera, pero una vez que uno se halla dentro no hay forma de salir y hacer el camino inverso.

El cuarto continente esta conformado por rulos y por islas desconectadas. grupos aislados de páginas interconectadas que no se pueden alcanzar desde el núcleo central y desde donde tampoco hay links que permitan volver a él.Cada uno de estos sitos aislados puede ser muy grande y contener miles de documentos web

La existencia de estos cuatro continentes muestra lo difícil que es navegar la web, aunque aparentemente con un solo un click o dos podríamos alcanzar cualquier pagina, o al menos así la sabiduría (generalmente errónea) popular lo imaginaba hasta que estos estudios vieron la luz.

Llegar mas lejos o mas cerca dependerá desde donde partamos. Pero de lo que no hay duda es de la futilidad de los buscadores cuando de mapear el continenteíntegro de la web se trata. Porque los buscadores tienen relativo éxito cuando petenden indexar el núcleo central y el área AFUERA. Porque en ambos casos los buscadores pueden hacer pie en sitios determinados desde donde iniciar la busqueda. Pero la otra mitad de la red, trátese del continente ADENTRO y de los islotes y rulos son absolutamente invisible a los buscadores.

5. ¿Incompletitud pasajera o definitiva?

La pregunta obligada es saber si esta laxitud y falta de conectividad se mantendrá indefinidamente, o si solo emana de deficiencias en los algoritmos de búsqueda, o en estrategias equivocadas de recuperación de la información. Contrariamente a muchas suposiciones mientras los links sigan siendo direccionales esa homogeneización no se logrará nunca.

Una buena analogía para la web es el sistema de citas científicas. Todas las publicaciones científicas forman parte de una red en la cual los nodos son las publicaciones conectadas por estas citas. Pero estos links están dirigidos. Seguir las referencias de un libro recién publicado a cualquiera de los papers en la red es perfectamente factible y deseable, pero la inversa es imposible porque ninguna de esas referencias son anteriores a la publicacion de los libros recientes.

La red de citas es bastante peculiar porque su núcleo central es generado en forma cronológica por los papers preexistentes, pero en general es muy poco lo que contienen y la mayoría de sus nodos están en los márgenes, en las islas o en los rulos.

También se podrían dar ejemplos semejantes acudiendo a las cadena tróficas. Los leones se comen indefectiblemente a los antílopes, pero la inversa nunca es cierta. Lo que estos ejemplos nos muestran es que toda red direccional siempre está dividida en cuatro continentes.

En su impresionante trabajo Evolution of networks From Biological Nets to the Internet and WWW S.N. Dorogovtsev y J.F.F. Mendes demostraron que el tamaño y la estructura de estos continentes puede predecirse analíticamente. El tamaño depende de la estructura de la red, pero en todos los casos no hay unificación de sus divisiones tal como se comento mas arriba.

Si bien todo lo anterior puede parecer demasiado abstracto y formal (fundado como está en rigurosas nociones matemáticas y físicas), por suerte ha habido cientistas sociales que en seguida le encontraron su correlato sociológico.

Así en Junio del año 2000 Cass Sustein, autor de la notable obra Republica.com. un profesor de derecho en la Universidad de Chicago, llevo a un cabo un analisis al azar de 60 sitios politicos descubriendo -como era de prever- que apenas 15% remitian a sitios con opiniones contrarias. Al revés un 60% mantenía links hacia sitios afines.Y lo mismo pasó con otro estudio dedicado a analizar el discurso democrático en la red .

La rápida conclusión que sacó Sunstein es que al limitar las remisiones a opiniones contradictorias, y al focalizarse autistamente en el autoreforzamiento de las opiniones propias, la topología de la red termina facilitando la segregación y la fragmentacion sociales.

Hay pues mecanismos de autorefuerzo, y de solidificación de ideas afines. Solo que en la web a diferencia del mundo real las posibilidades de generar microcomunidades con identidades es altísima, y con capacidad de autojustificar indefinidamente sus principios, un fenómeno inexistente en el mundo real.

Además una cosa es tener un torneo de fútbol donde juegan 10 o 20 equipos. Otra es la posibilidad que existe en el ciberespacio de generar decenas sino centenares de miles de comunidades. Cuando tenemos un universo ocupado por miles de millones de páginas, ¿es posible todavía hablar de comunidades? ¿Y cómo podemos definir una comunidad en la red?

Adoptando sin saberlo, una definición vareliana Gary Flake, Steve Lawrence y Lee Giels de NEC sostuvieron que los documentos pertenecen a una comunidad cuando mantienen mas links entre si que con otros documentos de fuera de la comunidad.

Aunque esta definicion es lo suficientemente precisa como para desarrollar algoritmos para identificar agrupamientos dentro de la topologia de la WWW, encontrar a esas dichosas comunidades es harina de otro costal, dificil e infrecuente de lograr.

Barabasi sostiene que este tipo de problemas remiten a los problemas completos NP, es decir que en principio es posible identificar a dichas comunidades pero que en la practica no existen algoritmos para hacerlo efectivamente. Y los ejemplos acerca de los sitios proaborto, y antiaborto que menciona Barabasi no son irrelevantes para nada, porque muestran que en la web, como en la vida real, las posturas conservadoras, aristocráticas, bien financiadas y manejadas por los intereses mas convencionales le sacan leguas de ventaja a las otras

Todo esto nos lleva a analizar a los problemas del codigo/software/regulaciones que subtienden la web y las arquitecturas de control o de libertad que las subtienden. De esto se ocupará Ariel Vercelli en la próxima clase.

Finale

Como bien dice Pisani lo que falta en el libro Linked de Barabasi es una explicación de porqué las redes se multiplican hoy, porqué parecen ganar en fuerza frente a las demás formas de organización. De esto se ocupan John Arquilla y David Ronfeldt en trabajos sobre la Netwar o guerra de redes. (La obra que editaron Networks and Netwars: The Future of Terror, Crime, and Militancy se puede bajar entera en ingles en PDF)

Pero de lo que no cabe duda es de que las prácticas en red han llegado a su punto crítico y de que empezamos a tomarnos en serio a la red como sujeto y objeto de nuestros desvelos.

Por suerte el autor de Linked nos ayuda muchisimo a difundir su evangelio y a avanzar junto a él, al habernos regalado un acompañamiento visual de sus conceptos, que contiene todas la imágenes del libro, una verdadera exquisitez.

Pero su aporte mas duradero se encuentra precisamente en el camino que hemos realizado y que sintetizamos a continuación:

1) descubrimiento las tipologías no homogéneas de gran escala,
2) detección de la existencia de cuatro continentes con leyes que les son propias a cada uno,
3) revelación de la emergencia de grupos de páginas web que están soldadas por intereses comunes.

A partir de trabajos como estos -curiosamente poco o nada conocidos tanto por quienes defienden a muerte los aspectos benefactores de la red como por los tecnofóbicos que la critican en ascuas- muestran que el universo on-line es infinitamemte mas grande de lo previsto y que sigue creciendo a un ritmo infernal.

Pero también para nuestra sorpresa cada día que pasa se convierte en un espacio mas ignoto. En el año 2000 6 de cada 10 páginas no habian sido visitadas nunca. Hoy esa cifra debe estar en el orden de 8 a 9 de cada 10.

La situacion es inevitable, como la carrera conceptual que Aquiles corría contra la tortuga. Pero en ausencia de los buscadores la web en vez de una jungla habria resultado un agujero negro, invisible y entrópico. La función de los buscadores es impedir que la web colapse como una ballena ahogada por su peso apretandole los pulmones en tierra.

Lo sorprendente (¿taanto?) es que dependiendo nuestra vida cada vez mas de la web sepamos poco y nada de todas estas leyes, reglas, coordenadas, algoritmos y estructuras profundas, alojados en la comodidad, sorpresa o desde un paneo por su estructrura de superficie.

Lo mas rico de todo este periplo es haber encontrado que la ecologia de la informacion que es la web esta bajo el ambito de validez del mismo tipo de leyes que rigen a las células y los ecosistemas confirmado nuestras presunciones de décadas atrás acerca de la naturaleza auoto-organizada de los sistemas complejos.

De lo que pocos se habian dado cuenta es que dada su naturaleza digital y su enorme tamaño la web es un sistema modelo cuyos detalles pueden investigarse en sumo detalle.

Del mismo modo que la nave Huyghens-Cassini entro en hace unos meses por primera vez en la órbita de Saturno prometiendo revelarnos secretos desconocidos de su satelite mayor Titan y del propio enigma del planeta de los anillos, nuestros analisis de la web en estos encuadres de modelos y metaforas van creando un mundo nuevo, que habitamos desde hace una decada pero cuyo mapeo recien hoy empieza.

ADDENDA

Uno de los proyectos derivados de esta redologia es una investigación acerca de como el e-mail conecta a la gente mundialmente. De esto se ocupa James Moody, director de The Electronic Small World Project, quien busca entender cómo fluye la información a través del e-mail, cómo se conectan diferentes personas y cómo es realmente de pequeño el mundo social en el que vivimos.

Mientras que los fundamentalistas digitales insisten en que las relaciones online pueden romper barreras de raza, sexuales y económicas porque estas características no son obvias en Internet, cabe dudar mucho de que estas promesas se hayan cumplido. En cualquier caso, es presumible que el correo electrónico esté empequeñeciendo el mundo en algunos sentidos, dice Moody.

Detrás de la empresa está una idea que nos es muy cara, a saber cómo se diseminan los virus y cómo prevenir sus efectos destructivos; la búsqueda de mejores maneras de compartir y encontrar información, y sobretodo de descubrir el papel que el e-mail ha tenido en la transformación de la comunicación.

Algunos articulos de Barabasi

Modeling the Internet's Large-Scale Topology

Deterministic Scale-Free Networks

A.-L. Barabási, R. Albert, H. Jeong, and G. Bianconi,
Power-law distribution of the World Wide Web,
Science, 287, 2115a (2000).

A. Albert, H. Jeong, and A.-L. Barabási,
Diameter of the World Wide Web,
Nature,401, 130-131 (1999).

Mas referencias

Las reglas de la naturaleza para las células y las especies también rigen en Internet

¿En qué medida está un actor cualquiera conectado con la estrella de cine Kevin Bacon?

Estudio que demuestra que la internet es un caos

Publicado por Piscitelli el Noviembre 9, 2004 10:36 AM | TrackBack