DARPA (Defense Advanced Research Projects Agency) eli Yhdysvaltain asevoimien tutkimusorganisaatio, on kehittänyt kaikessa hiljaisuudessa hakukonetta, jolla Yhdysvaltain hallitus ja elinkeinoelämän edustajat voisivat kaivautua Deep Webiin entistä tehokkaammin.
Deep Web, jolla tarkoitetaan Internetin syvimpiä, tavallisen käyttäjän tavoittamattomissa olevia osia, on erilaisten äärilaidan ja laitapuolen toimijoiden valtakuntaa. Deep Webiä kuvaillaan yleisesti vertaamalla sitä jäävuoren merenpinnan alapuoliseksi osaksi, jolloin Surface Web, eli pinta-web, olisi jäävuoren huippu, eli se osa Internetiä, josta esimerkiksi Google hakee informaatiota. Toinen tapa hahmottaa asiaa on ajatella olevansa mato-ongella kalassa Mariaanien haudan pintavesissä.
Tähän osaan DARPA haluaa nyt taata entistä esteettömämmän pääsyn.
DARPA:n historia ja vaihtuvat identiteetit olisivat itsessään jo pienen kertomuksen arvoiset:
Laitos perustettiin Yhdysvaltain puolustusministeriön (DoD) direktiivillä 5105.15 7. helmikuuta1958 nimellä ARPA eli Advanced Research Projects Agency. Se on pikemminkin tutkimusta rahoittava organisaatio kuin varsinainen tutkimuslaitos. 23. maaliskuuta 1972 DoD nimesi sen DARPAksi, jolloin se tuli erilliseksi virastoksi. 22. helmikuuta 1993 nimi muuttui jälleen ARPAksi ja maaliskuussa 1996 organisaatiosta tuli taas DARPA.
DARPA on rahoittanut muun muassa Internetin kehityksen 1960-luvulla (ARPANET). Tuolloin ja osin edelleenkin sen rahoituksella pyritään kehittämään teknologiaa siten, että yliopistojen jne. kautta tutkimusten tulokset julkistetaan. DARPAn kehityshankkeilla on ollut merkittävä vaikutus myös mikrotietokoneen syntyyn. (Lähde: Wikipedia)
Memex-hakukonetta on siis kehitetty juuri Yhdysvaltain viranomaisten ja elinkeinoelämän käyttöön. Hanke julkistettiin helmikuussa 2014, ja nyt se on edennyt niin pitkälle, että ensimmäinen erä Memexin komponentteja, mukaan lukien Hyperion Grey -nimisen pienen ohjelmistoyrityksen tekemät ohjelmistot, liitetään DARPA:n Open Catalogueen. Open Catalog on julkinen luettelo DARPA:n sponsoroimista ohjelmistoprojekteista.
Tavallisilla hakukoneilla, kuten Google, Yahoo tai Bing, on pääsy noin 16 %:iin koko Internetistä (Surface Webin laajuuden on arvioitu olevan n. 20 %). Deep Web muodostaa siten loput Internetistä. Sen tarkkaa laajuutta ei oikeastaan edes tiedetä. Tämän päivän nettihaut tehdään kaikki samoilla työkaluilla, käyttäen ”yhden koon” keskitettyä lähestymistapaa kaikissa kyselyissä. Lähestymistapa on ollut kaupallinen menestys, mutta viranomaisten käyttöön se ei kaikissa tapauksissa sovi.
DARPA:n tähtäimessä ovat nimittäin ihmiskauppiaat.
Taistelussa ihmiskauppaa vastaan tarvitaan seuraavan sukupolven hakuteknologiaa, joka mullistaa hakutulosten löytämisen, järjestämisen ja esitystavan. Tavoitteena on, että käyttäjät voivat kasvattaa nykyisten hakuominaisuuksien ulottuvuutta sekä järjestää hakutuloksista nopeasti ja perusteellisesti yksilöllisiin intresseihin perustuvia alijoukkoja. Memex tuottaa hakutuloksia, jotka ovat välittömästi hyödyllisiä tietyille verkkotunnuksille ja tiettyjen tehtävien hoitamisessa, sekä parantaa viranomaisten ja kaupallisten toimijoiden kykyä löytää ja järjestää tiettyjen tehtävien kannalta oleellista, julkista tietoa Internetistä.
Ihmiskauppa on monenlaisten sotilaallisten sekä poliisin ja tiedustelupalvelujen tutkimusoperaatioiden kohde. Se on merkittävällä tavalla läsnä verkossa voidakseen paremmin houkutella asiakkaita. Modernista orjuudesta on kasvamassa huomattava elinkeino, joka leviää chat- ja keskustelupalstojen, mainonnan, työpaikkailmoitusten ja piilopalveluiden välityksellä. Ihmiskauppaa vastaan toimivan tahon verkkotunnukselle kuratoitu hakutuloslistaus yhdessä hakuja ja analysointia varten konfiguroidun käyttöliittymän kanssa tuottaisi uusia mahdollisuuksia paljastaa ja nujertaa ihmiskauppaa harjoittavia organisaatioita.
Memex-ohjelma (muunnos sanoista ’memory’ ja ’index’) on saanut nimensä ja inspiraationsa kuvitteellisesta laitteesta, jonka U.S. Office of Scientific Research and Developmentin (OSRD) johtaja Vannevar Bush kuvaili toisen maailmansodan aikana The Atlantic Monthly -lehdelle kirjoittamassaan artikkelissa ”As We May Think” näin:
Consider a future device for individual use, which is a sort of mechanized private file and library. It needs a name, and, to coin one at random, ”memex” will do. A memex is a device in which an individual stores all his books, records, and communications, and which is mechanized so that it may be consulted with exceeding speed and flexibility. It is an enlarged intimate supplement to his memory.
It consists of a desk, and while it can presumably be operated from a distance, it is primarily the piece of furniture at which he works. On the top are slanting translucent screens, on which material can be projected for convenient reading. There is a keyboard, and sets of buttons and levers. Otherwise it looks like an ordinary desk.
In one end is the stored material. The matter of bulk is well taken care of by improved microfilm. Only a small part of the interior of the memex is devoted to storage, the rest to mechanism. Yet if the user inserted 5000 pages of material a day it would take him hundreds of years to fill the repository, so he can be profligate and enter material freely.
Most of the memex contents are purchased on microfilm ready for insertion. Books of all sorts, pictures, current periodicals, newspapers, are thus obtained and dropped into place. Business correspondence takes the same path. And there is provision for direct entry. On the top of the memex is a transparent platen. On this are placed longhand notes, photographs, memoranda, all sorts of things. When one is in place, the depression of a lever causes it to be photographed onto the next blank space in a section of the memex film, dry photography being employed.
There is, of course, provision for consultation of the record by the usual scheme of indexing. If the user wishes to consult a certain book, he taps its code on the keyboard, and the title page of the book promptly appears before him, projected onto one of his viewing positions. Frequently-used codes are mnemonic, so that he seldom consults his code book; but when he does, a single tap of a key projects it for his use. Moreover, he has supplemental levers. On deflecting one of these levers to the right he runs through the book before him, each page in turn being projected at a speed which just allows a recognizing glance at each. If he deflects it further to the right, he steps through the book 10 pages at a time; still further at 100 pages at a time. Deflection to the left gives him the same control backwards.
A special button transfers him immediately to the first page of the index. Any given book of his library can thus be called up and consulted with far greater facility than if it were taken from a shelf. As he has several projection positions, he can leave one item in position while he calls up another. He can add marginal notes and comments, taking advantage of one possible type of dry photography, and it could even be arranged so that he can do this by a stylus scheme, such as is now employed in the telautograph seen in railroad waiting rooms, just as though he had the physical page before him.
Kuvailun perusteella laitetta, sen ulkonäköä ja toimintaa ei nykyihmisen ehkä ole lainkaan hankala mieltää. Kyseessähän on eräänlainen työpöytä, jolla ihminen pystyy nopeasti selailemaan kirjoista, lehdistä ja muista aineistoista koostuvaa henkilökohtaista arkistoaan ja löytämään usein käytetyn, erikseen listatun materiaalin nopeasti uudelleen. Materiaali heijastuu työpöydän yläpuolella oleville läpinäkyville kuvaruuduille. Memexissä on muistikapasiteettia tuhlailtavaksi asti, joten siihen voi tallettaa materiaalia niin paljon kuin mieli tekee.
Kuulostaako tutulta?
Jo nyt on käynyt ilmeiseksi, että Memexillä saattaisi olla laajempaakin käyttöä kuin alun perin odotettiin.
Hyperion Gray kuvailee työtään Forbes-lehdelle: Edistyksellistä verkon indeksointi- ja kaavintateknologiaa ripauksella tekoälyä ja koneoppimista, tavoitteena pystyä automatisoidusti noutamaan Internetistä käytännöllisesti katsoen mitä tahansa sisältöä. Lopulta järjestelmämme muistuttaa harjoittelijarobottien armeijaa, joka etsii kamaa verkosta sillä aikaa kun itse keskityt olennaiseen eli kissavideoiden katseluun.