Har endnu ikke hørt om begreberne Dark Internet og Dark Web, men det lyder som interessante begreb. Jeg har heller ikke hørt om begrebet Closed Shell Systems, men jeg kender til det fænomen, du beskriver.
Jeg kan dog, så vidt jeg ved, fortælle dig at en web crawler er en bot, der indekserer en pokkers masse hjemmesider, ved at "crawle". Måden den crawler på, er ved at finde links på en hjemmeside, og derefter finde links på den hjemmeside, og derefter finde links på den hjemmeside osv., og så gemmer den hvad den nu end er programmeret til at gemme. Søgemaskiner bruger web crawlers til at indeksere hjemmesider, så de hurtigt kan søge i dem.
Da det menes, at alle hjemmesider kun er 19 klik væk, så kræver det faktisk ikke så mange udgreninger, som man skulle tro for at finde langt størstedelen af alle hjemmesider. Selv om det selvfølgelig ikke ændrer på mængden af hjemmesider, der skal findes.
Kilder:
http://www.telegraph.co.uk/technology/internet/9879868/All-web-pages-are-19-clicks-away.html- McAndze