Memex

DARPA (Defense Advanced Research Projects Agency) eli Yhdysvaltain asevoimien tutkimusorganisaatio, on kehittänyt kaikessa hiljaisuudessa hakukonetta, jolla Yhdysvaltain hallitus ja elinkeinoelämän edustajat voisivat kaivautua Deep Webiin entistä tehokkaammin.

Deep Web, jolla tarkoitetaan Internetin syvimpiä, tavallisen käyttäjän tavoittamattomissa olevia osia, on erilaisten äärilaidan ja laitapuolen toimijoiden valtakuntaa. Deep Webiä kuvaillaan yleisesti vertaamalla sitä jäävuoren merenpinnan alapuoliseksi osaksi, jolloin Surface Web, eli pinta-web, olisi jäävuoren huippu, eli se osa Internetiä, josta esimerkiksi Google hakee informaatiota. Toinen tapa hahmottaa asiaa on ajatella olevansa mato-ongella kalassa Mariaanien haudan pintavesissä.

Tähän osaan DARPA haluaa nyt taata entistä esteettömämmän pääsyn.

DARPA:n historia ja vaihtuvat identiteetit olisivat itsessään jo pienen kertomuksen arvoiset:

Laitos perustettiin Yhdysvaltain puolustusministeriön (DoD) direktiivillä 5105.15 7. helmikuuta1958 nimellä ARPA eli Advanced Research Projects Agency. Se on pikemminkin tutkimusta rahoittava organisaatio kuin varsinainen tutkimuslaitos. 23. maaliskuuta 1972 DoD nimesi sen DARPAksi, jolloin se tuli erilliseksi virastoksi. 22. helmikuuta 1993 nimi muuttui jälleen ARPAksi ja maaliskuussa 1996 organisaatiosta tuli taas DARPA.

DARPA on rahoittanut muun muassa Internetin kehityksen 1960-luvulla (ARPANET). Tuolloin ja osin edelleenkin sen rahoituksella pyritään kehittämään teknologiaa siten, että yliopistojen jne. kautta tutkimusten tulokset julkistetaan. DARPAn kehityshankkeilla on ollut merkittävä vaikutus myös mikrotietokoneen syntyyn. (Lähde: Wikipedia)

Memex-hakukonetta on siis kehitetty juuri Yhdysvaltain viranomaisten ja elinkeinoelämän käyttöön. Hanke julkistettiin helmikuussa 2014, ja nyt se on edennyt niin pitkälle, että ensimmäinen erä Memexin komponentteja, mukaan lukien Hyperion Grey -nimisen pienen ohjelmistoyrityksen tekemät ohjelmistot, liitetään DARPA:n Open Catalogueen. Open Catalog on julkinen luettelo DARPA:n sponsoroimista ohjelmistoprojekteista.

Tavallisilla hakukoneilla, kuten Google, Yahoo tai Bing, on pääsy noin 16 %:iin  koko Internetistä (Surface Webin laajuuden on arvioitu olevan n. 20 %). Deep Web muodostaa siten loput Internetistä. Sen tarkkaa laajuutta ei oikeastaan edes tiedetä. Tämän päivän nettihaut tehdään kaikki samoilla työkaluilla, käyttäen ”yhden koon” keskitettyä lähestymistapaa kaikissa kyselyissä. Lähestymistapa on ollut kaupallinen menestys, mutta viranomaisten käyttöön se ei kaikissa tapauksissa sovi.

DARPA:n tähtäimessä ovat nimittäin ihmiskauppiaat.

Taistelussa ihmiskauppaa vastaan tarvitaan seuraavan sukupolven hakuteknologiaa, joka mullistaa hakutulosten löytämisen, järjestämisen ja esitystavan. Tavoitteena on, että käyttäjät voivat kasvattaa nykyisten hakuominaisuuksien ulottuvuutta sekä järjestää hakutuloksista nopeasti ja perusteellisesti yksilöllisiin intresseihin perustuvia alijoukkoja. Memex tuottaa hakutuloksia, jotka ovat välittömästi hyödyllisiä tietyille verkkotunnuksille ja tiettyjen tehtävien hoitamisessa, sekä parantaa viranomaisten ja kaupallisten toimijoiden kykyä löytää ja järjestää tiettyjen tehtävien kannalta oleellista, julkista tietoa Internetistä.

Ihmiskauppa on monenlaisten sotilaallisten sekä poliisin ja tiedustelupalvelujen tutkimusoperaatioiden kohde. Se on merkittävällä tavalla läsnä verkossa voidakseen paremmin houkutella asiakkaita. Modernista orjuudesta on kasvamassa huomattava elinkeino, joka leviää chat- ja keskustelupalstojen, mainonnan, työpaikkailmoitusten ja piilopalveluiden välityksellä. Ihmiskauppaa vastaan toimivan tahon verkkotunnukselle kuratoitu hakutuloslistaus yhdessä hakuja ja analysointia varten konfiguroidun käyttöliittymän kanssa tuottaisi uusia mahdollisuuksia paljastaa ja nujertaa ihmiskauppaa harjoittavia organisaatioita.

Memex-ohjelma (muunnos sanoista ’memory’ ja ’index’) on saanut nimensä ja inspiraationsa kuvitteellisesta laitteesta, jonka U.S. Office of Scientific Research and Developmentin (OSRD) johtaja Vannevar Bush kuvaili toisen maailmansodan aikana The Atlantic Monthly -lehdelle kirjoittamassaan artikkelissa ”As We May Think” näin:

Consider a future device for individual use, which is a sort of mechanized private file and library. It needs a name, and, to coin one at random, ”memex” will do. A memex is a device in which an individual stores all his books, records, and communications, and which is mechanized so that it may be consulted with exceeding speed and flexibility. It is an enlarged intimate supplement to his memory.

It consists of a desk, and while it can presumably be operated from a distance, it is primarily the piece of furniture at which he works. On the top are slanting translucent screens, on which material can be projected for convenient reading. There is a keyboard, and sets of buttons and levers. Otherwise it looks like an ordinary desk.

In one end is the stored material. The matter of bulk is well taken care of by improved microfilm. Only a small part of the interior of the memex is devoted to storage, the rest to mechanism. Yet if the user inserted 5000 pages of material a day it would take him hundreds of years to fill the repository, so he can be profligate and enter material freely.

Most of the memex contents are purchased on microfilm ready for insertion. Books of all sorts, pictures, current periodicals, newspapers, are thus obtained and dropped into place. Business correspondence takes the same path. And there is provision for direct entry. On the top of the memex is a transparent platen. On this are placed longhand notes, photographs, memoranda, all sorts of things. When one is in place, the depression of a lever causes it to be photographed onto the next blank space in a section of the memex film, dry photography being employed.

There is, of course, provision for consultation of the record by the usual scheme of indexing. If the user wishes to consult a certain book, he taps its code on the keyboard, and the title page of the book promptly appears before him, projected onto one of his viewing positions. Frequently-used codes are mnemonic, so that he seldom consults his code book; but when he does, a single tap of a key projects it for his use. Moreover, he has supplemental levers. On deflecting one of these levers to the right he runs through the book before him, each page in turn being projected at a speed which just allows a recognizing glance at each. If he deflects it further to the right, he steps through the book 10 pages at a time; still further at 100 pages at a time. Deflection to the left gives him the same control backwards.

A special button transfers him immediately to the first page of the index. Any given book of his library can thus be called up and consulted with far greater facility than if it were taken from a shelf. As he has several projection positions, he can leave one item in position while he calls up another. He can add marginal notes and comments, taking advantage of one possible type of dry photography, and it could even be arranged so that he can do this by a stylus scheme, such as is now employed in the telautograph seen in railroad waiting rooms, just as though he had the physical page before him.

Kuvailun perusteella laitetta, sen ulkonäköä ja toimintaa ei nykyihmisen ehkä ole lainkaan hankala mieltää. Kyseessähän on eräänlainen työpöytä, jolla ihminen pystyy nopeasti selailemaan kirjoista, lehdistä ja muista aineistoista koostuvaa henkilökohtaista arkistoaan ja löytämään usein käytetyn, erikseen listatun materiaalin nopeasti uudelleen. Materiaali heijastuu työpöydän yläpuolella oleville läpinäkyville kuvaruuduille. Memexissä on muistikapasiteettia tuhlailtavaksi asti, joten siihen voi tallettaa materiaalia niin paljon kuin mieli tekee.

Kuulostaako tutulta?

Jo nyt on käynyt ilmeiseksi, että Memexillä saattaisi olla laajempaakin käyttöä kuin alun perin odotettiin.

Hyperion Gray kuvailee työtään Forbes-lehdelle: Edistyksellistä verkon indeksointi- ja kaavintateknologiaa ripauksella tekoälyä ja koneoppimista, tavoitteena pystyä automatisoidusti noutamaan Internetistä käytännöllisesti katsoen mitä tahansa sisältöä. Lopulta järjestelmämme muistuttaa harjoittelijarobottien armeijaa, joka etsii kamaa verkosta sillä aikaa kun itse keskityt olennaiseen eli kissavideoiden katseluun.

 

Deep Web, Dark Net

Mitä jos avaa Googlen ja kirjoittaa hakuruutuun sanan ”hauki”.

Epäilemättä hakutulokseksi listautuu suuri määrä nettisivuja, joissa sanaa ”hauki” on muodossa taikka toisessa käytetty tai käsitelty. Itse asiassa hakutuloksia tulee noin 455000 kappaletta 0,32 sekunnissa.

Muun muassa Marc Goodmanin helmikuussa ilmestyneen Future Crimes -teoksen mukaan perinteisellä hakukoneella suoritetulla haulla saadaan kuitenkin näkyviin vain mitättömän pieni osa kaikesta materiaalista, jota verkossa jostain aiheesta on; nimittäin 0.03 prosenttia. Esimerkiksi Google pystyy kahlaamaan vain noin 16 % nk. Surface Webistä, eli pinta-webistä.

Tätä on verrattu jäävuoren huippuun, tai kenties vielä osuvammin pintavesissä kalasteluun Mariaanien haudan yläpuolella. Oli miten oli: ylivoimaisesti suurin osa olemassaolevasta materiaalista jää väistämättä piiloon, Deep Webiin, syvään webiin. On esitetty, että Surface Web sisältää noin 20 % kaikesta Internetin materiaalista, kun taas Deep Web kätkisi loput 80 %. Deep Webin tarkkaa kokoa ei kukaan tiedä, mutta eräiden arvelujen mukaan se voisi olla satoja, jopa tuhansia kertoja laajempi kuin Surface Web.

Niinpä kaikkea tietoa kotoisesta kalalajistamme ei voi tavanomaisella hakukoneella koskaan saada vain yhden klikkauksen päähän, koska suuri määrä listaamatonta haukitietoutta jää hakukoneiden ulottumattomiin.

Tieto on vajonnut (tai tietoisesti piilotettu) Deep Webin uumeniin. Jos hauki-informaatiolla sattuisi Deep Webissä olemaan pieni, valikoitunut yleisönsä, joka keskenään jakaisi tarkoin varjeltuja, kenties arkaluontoisia haukitiedostojaan, olisi materiaali päätynyt Dark Netiin.

Mitä kaikkea muuta Deep Webissä sitten on kuin sisäpiirin haukitietoa, ja miksi sitä ei tavallinen kansa pääse tutkimaan?

Yksi syy tiedon piiloon jäämiseen on se, että se on tallennettu esimerkiksi oppilaitosten tai yritysten tai muiden, joskus myös epävirallisten tahojen ylläpitämiin tietokantoihin, jotka saattavat olla salasanoilla suojattuja tai joihin pääsyä varten tarvitaan erillinen ohjelma. Tavanomaisten hakukoneiden tekniikalla ei näihin pysty tunkeutumaan. Tietokannat saattavat sisältää tutkimustietoa, salaisia henkilötietoja, sanomalehtien arkistoja, tai jotain sellaista triviaalia tietoa, jota harva tulee edes koskaan tarvinneeksi.

Hakukoneet toimivat siten, että ne muodostavat tietokannan – hakemiston – kaikista havaitsemistaan, annetun hakukriteerin sisältävistä dokumenteista ja sivuista, jotka on liitetty verkkoon. Dokumentteja etsivät ja tunnistavat nimenomaan tätä tarkoitusta varten luodut ohjelmat, joita kutsutaan hämähäkeiksi tai ryömijöiksi. Hämähäkki kopioi löytämänsä, hakukriteerejä vastaavat sivut ja luetteloi ne hakemistoksi, samalla tallentaen hyödyllistä tietoa, jonka avulla sivut voidaan tarvittaessa löytää nopeasti uudelleen. Se ikään kuin seuraa verkon silkkisiä vaijereita verkkotunnukselta toiselle hyperlinkkien kautta. Tämän hakemiston se sitten luovuttaa haun tekijälle listauksena linkeistä, joita tämä voi käydä selaamassa. Ilman hakemistoa hakukoneen olisi joka kerta aloitettava etsintä uudelleen.

Näin siis tapahtuu Surface Webissä.

Osa Deep Webin, ja aivan erityisesti Dark Netin materiaalista pidetään piilossa tarkoituksellisesti. Syy tähän voi olla se, että kyseinen materiaali on syystä tai toisesta laitonta.

Deep Webin sisältöä voi päästä tutkimaan erityisen selaimen avulla. Tor (The Onion Router) kierrättää jokaisen signaalin jopa 6000 eri palvelimen kautta, jotta tiedon hakijan henkilöllisyys pysyy salaisena. Selaimella voi lukea .onion -päätteisiä, salaisia sivuja, jotka eivät muilla selaimilla näy, toisin kuin vaikkapa .com- tai .fi -päätteiset sivut. Selaimen toimintaa on verrattu sipulin kuorimiseen kerros kerrokselta – eli selaimella kaivaudutaan kerros kerrokselta kohti Deep Webin pimeintä ydintä. On myös olemassa epävirallinen hakukone Grams, jolla on pääsy valikoiduille suljetuille ja salaisille sivustoille, sekä erinäisiä tietopankkeja ja keskusteluhuoneita, joissa epävirallinen ja/tai laiton tietomateriaali sekä kauppatavara vaihtavat omistajaa.

On väitetty, että Deep Webin hämärimmissä jakelukeskuksissa harrastetaan rikollista toimintaa, kuten huume- ja asekauppaa, sekä mahdollisesti myös ihmis- ja elinkauppaa. Synkillä sivustoilla voitaisiin  välittää hakkerointipalveluja, tietomurtovälineitä, valehenkilöllisyyksiä, jopa palkkamurhia.

Dark Netillä viitataan useimmin vertaiskäyttäjien verkkojen muodostamaan verkkoon, jossa jaetaan sisältöä vain tunnettujen käyttäjien kesken. Näitä käyttäjiä kutsutaan ”ystäviksi”. Kenties monenlaista vaihdantaa harjoitetaan myös näiden ystävien kesken, täydellisen luottamuksellisesti ja motiiveja kyselemättä.

Yhden Tor-verkon ja Deep Webin käyttäjäryhmistä muodostavat poliittisesti epäkorrektit tai suoranaisen vainon kohteeksi joutuvat henkilöt tai ryhmät, jotka voivat jatkaa toimintaansa Deep Webin turvin ilman, että heitä voidaan jäljittää. Deep Web tarjoaa myös hyvän toiminta-alueen erilaisille sähköposti- ja tiedostonjakopalveluille, tai uutis- tai whistleblower-sivustoille jotka pyrkivät toimimaan anonyymisti tai suojaamaan käyttäjiensä henkilöllisyyden perustelluista syistä.

Käypänä vaihdannan välineenä kaikenlaisissa operaatioissa voi käyttää bitcoineja, anonyymiä virtuaalista valuuttaa, jolla kauppoja voi tehdä jälkiä jättämättä. Bitcoinit ovat käytössä yhä laajemmin, niillä voi ostaa pizzan siinä kuin maksaa marketissa, jos niikseen tulee. Mutta koska bitcoin on täysin hajautettu valuutta, jonka arvo heilahtelee rajusti, eikä sitä yhdenkään maan hallitus takaa tai tunnista, eikä sitä ole liitetty minkäänlaiseen keskuspankkitoimintaan, se on olemassa yksinomaan online-maailmassa ja sen olemassaolo perustuu matematiikkaan ja näppäriin salausprotokolliin.

Mielikuvitus on vain rajana sille, mitä kaikkea ihminen voi itselleen haluta, ja mitä kaikkia keinoja hän on valmis tarpeidensa tyydyttämiseksi tai tarkoitusperiensä saavuttamiseksi käyttämään.

Niinpä kaislikkoisesta saunarannasta lähtenyt, kalavaleen tunnusmerkistön täyttävä kotoinen haukemmekin voi suotuisissa olosuhteissa päätyä Dark Netiin.