As is par for the course around here, each color dot represents more references in that location to the name of that politician than to each of the other seven. In other words, a purple dot means that there are more references to Barack Obama than to Angela Merkel, David Cameron, etc. It should also be noted that the keywords used for this comparison are the full names of each politician, rather than simply a last name.
 |  |
“Ik ben een rijke stinkerd,” zegt Han-Wen Nienhuys. Hij voegt daar gauw aan toe: “Althans, in Brazilië.” Dat is het land waar Nienhuys sinds maart 2007 woont en werkt bij Google. Voor West-Europese begrippen valt zijn salaris wel mee: “Mijn salaris is hier weliswaar bovenmodaal, maar niet extreem hoog.” Het Braziliaanse Research & Development kantoor van Google bevindt zich in Belo Horizonte, de op drie na grootste stad van Brazilië, 600 kilometer van São Paulo en 450 kilometer van Rio de Janeiro.
Op deze foto zie je behalve Google-logo’s vlaggen van diverse Braziliaanse staten en landen. Han-Wen Nienhuys staat ongeveer in het midden (met wit T-shirt); hij houdt een Nederlandse vlag vast (dat is niet meteen duidelijk: de blauwe strook van de vlag zit verstopt achter het Google-bord op de voorgrond). Op sommige T-shirts staan logo’s van voetbalteams; voetbal is zowat een religie in Brazilië! Afbeelding: © Eider Oliveira
Nienhuys kwam bij Google terecht nadat hij bezig was geweest met zijn eigen product LilyPond, een soort tekstverwerker voor muziekpartituren waaraan Nienhuys al als student werkte. Ook had hij een jaar op een consultancybureau in Nederland gewerkt. Het werk als consultant viel hem tegen; het betaalde weliswaar goed en hij kreeg een auto van de zaak, maar de bedrijfscultuur beviel hem niet. LilyPond daarentegen was (en is) zijn kindje waar hij nog altijd liefde voor heeft, maar uiteindelijk moet er ook brood op de plank.
Nienhuys: “Je eigen product maken is leuk, dus ik dacht eraan om voor mijzelf te beginnen. Dat leek aantrekkelijk: als je eigen baas bent, heb je veel vrijheid. Maar er is ook een keerzijde: je moet je product verkopen en de markt voor LilyPond is klein. Ik heb het een tijdje geprobeerd, maar het leverde nauwelijks geld op.”
Toen kreeg hij, out of the blue, een e-mail van een recruiter van Google Zürich. “Wil je bij ons komen werken?” was samengevat de vraag die in het mailtje werd gesteld. Nienhuys had helemaal geen contacten in Zürich en aan een baan bij Google had hij nog nooit gedacht. Ze hadden zijn cv op internet gevonden en dachten: dat kan een interessante persoon voor ons zijn. Nienhuys was nieuwsgierig en liet blijken wel interesse te hebben in een functie bij Google.
Natuurlijk zat er nog wel een sollicitatieprocedure aan vast. Die verliep op zijn zachtst gezegd opmerkelijk: in een aantal telefoongesprekken werden Nienhuys enkele problemen voorgelegd. Bijvoorbeeld: “Je hebt een miljoen 32-bits getallen en die moeten allemaal gesorteerd worden.” Het sorteren is voor een programmeur geen probleem, maar wat de vragensteller aan de andere kant van de lijn voortdurend deed, was extra hindernissen inbouwen: “Die getallen moeten worden gesorteerd op een mobiele telefoon met 2 MB geheugen. Hoe doe je dat?” Door deze extra eis wordt het opeens een lastig probleem.
Nienhuys weet inmiddels waarom ze zo werken: “We proberen af te tasten hoe snel iemand kan reageren op veranderende omstandigheden.” Na Nienhuys’ eerste telefoongesprek hing hij opgelucht op – hij was tevreden over hoe het was verlopen. Bij Google dachten ze er net zo over en dus volgde even later een tweede telefoongesprek. Helaas verliep dat gesprek wat minder soepel; Nienhuys werd bedankt voor zijn interesse, maar hoefde zijn koffers niet te pakken.
In 2004 stond langs de snelweg ergens in Californië dit billboard. Op dit bord stond een cryptische boodschap over het eerste tiencijferige priemgetal in de reeks cijfers van het getal e (het grondtal van de natuurlijke logaritme, waarvan de eerste tien cijfers 2,718281828 zijn). Wie dat priemgetal intikte in de adresbalk van een internetbrowser met daarachter .com, belandde op de vacaturepagina van Google. Het was een ludieke actie van het bedrijf om wiskundigen binnen te halen.
Kort na het mislukte telefoongesprek met Google Zürich kreeg Nienhuys het verzoek van een bekende met de vraag of hij een lezing kon geven op een conferentie in Porto Alegre, in het zuiden van Brazilië. Die conferentie stond in het teken van open source producten, dat zijn producten waarvan elke gebruiker de bronmaterialen (de source) kan zien. Van webpagina’s kun je de broncode zien als je in de bovenbalk van je browser ‘Beeld’ of ‘Weergave’ en daarna ‘Bron’ of ‘Toon bronversie’ aanklikt; probeer het maar eens met de pagina van dit artikel.
Maar de broncode van bijvoorbeeld Windows of Photoshop wordt angstvallig geheim gehouden. Voorbeelden van open source producten zijn de internetbrowser Firefox, het kantoorpakket OpenOffice en het besturingssysteem Linux. Ook Nienhuys’ LilyPond is een open source product en hem werd gevraagd daarover een praatje te houden. Nienhuys ging op het verzoek in, en toen het in april 2006 zo ver was, raakte hij opnieuw in gesprek met Google, dat met een standje aanwezig was bij de conferentie. De conversatie mondde uit in een serie technische gesprekken.
Toen Nienhuys terug in Nederland was, volgden er nog enkele telefoongesprekken, of hij werkelijk wilde emigreren, en tot slot een ronde technische interviews in New York. Alles verliep goed: Nienhuys kon aan de slag in Belo Horizonte. Tegenwoordig werkt hij aan Google Adsense, een advertentiedienst van Google.
Als je iets zoekt op Google, verschijnen boven en rechts van de zoekresultaten ‘gesponsorde links’, kleine tekstadvertenties. Zoek je bijvoorbeeld op camera, dan verschijnen er links naar websites waar je een camera kunt aanschaffen. Als je op zo’n advertentie klikt, dan betaalt de adverteerder een bedrag aan Google, in de wetenschap dat mensen die naar ‘camera’ zoeken, er vaak ook een willen aanschaffen.
Screenshot van een website over fotograferen, die gebruikmaakt van Google Adsense.
Nadat deze dienst in de lucht in ging, kwam iemand binnen Google op het idee: mensen brengen nog veel meer tijd door op andere sites dan google.com (of .nl, of .be, etcetera) en op die sites kunnen óók kleine tekstadvertenties staan. Ze zijn je vast wel eens opgevallen: advertentieblokjes op websites met daarbij de mededeling ‘Ads door Google’. Die advertenties maken deel uit van het Google AdSense programma. Iedereen die een website heeft, kan zulke advertenties op zijn site plaatsen. Als iemand jouw site bezoekt en op zo’n advertentie klikt, krijg je daar een bepaald bedrag voor.
Hoe weet Google welke advertenties geschikt zijn? Denk niet dat Nienhuys met een Gouden Gids in de hand op zoek gaat naar adverteerders die geïnteresseerd zouden kunnen zijn in het plaatsen van advertenties op jouw pagina. Nienhuys legt uit hoe het werkt: “Elke keer dat een bezoeker op een webpagina met Google AdSense komt, analyseert ons systeem de inhoud van de pagina. Geheel automatisch bepalen we het onderwerp van de pagina, en selecteren de advertenties die daar het beste bij passen.”
Met een voorbeeld verduidelijkt hij: “Stel dat jouw website over fotograferen gaat, dan koppelt ons programma er automatisch advertenties van bijvoorbeeld fotowinkels of fotografiecursussen aan. Dat is ingewikkelder dan het lijkt, want niet elke pagina met het woord ‘foto’ gaat echt over fotografie. Omdat de advertenties echt relevant zijn, is de kans dat de advertentie aansluit bij de behoefte van de lezer groot. Daarom willen die adverteerders betalen om met hun advertenties op jouw site te verschijnen.”
Het mooie van Google Adsense is dat het systeem automatisch is: je plakt een code in het bronbestand van je webpagina en daarna plaatst Google Adsense vanzelf advertenties. Als beheerder van de website heb je er dus vrijwel geen werk aan. Je kunt wel enige invloed uitoefenen op de advertenties die op jouw pagina verschijnen. Als je advertenties van een bepaald bedrijf absoluut wilt vermijden, kun je een filter instellen.
Screenshot van een website over reizen, die gebruikmaakt van Google Adsense.
Als eigenaar van een website die gebruik maakt van Google AdSense ben je natuurlijk vooral geïnteresseerd in de vraag wat het oplevert, dat plaatsen van advertenties. Je krijgt een vergoeding voor elke persoon die op een van de op jouw website aanwezige advertenties klikt. Natuurlijk is de ene klik de andere niet. De waarde van een klik wordt bepaald door vraag en aanbod. Het bedrag varieert van een paar eurocent tot enkele euro’s, met hier en daar uitschieters naar boven. Het is natuurlijk verleidelijk om zelf heel vaak te klikken op de advertenties van je eigen pagina. Iemand die een beetje handig is met programmeren, zorgt voor ‘robotkliks’: dan wordt er automatisch om de zoveel tijd op een advertentie geklikt zonder dat je er omkijken naar hebt. Nienhuys waarschuwt: ‘Daarop zijn wij alert. Wij hebben ook slimme software om fraude te detecteren.’ Als je wordt betrapt, kun je je AdSenseaccount en je verdiende geld kwijtraken.
Op de vraag of Nienhuys iets concreets kan laten zien, bijvoorbeeld een stukje code dat hij heeft geprogrammeerd, valt eerst een stilte. ‘Het probleem is dat ik dan al gauw in botsing kom met mijn geheimhoudingsplicht,’ zegt hij. De concurrentie luistert immers mee. Het is als met het Coca-Cola-recept, dat tot op de dag van vandaag een van de best bewaarde geheimen ter wereld is. “Intern is Google een zeer open bedrijf. Van vrijwel alles mag ik zien hoe het werkt. Slechts een paar dingen zijn strikt geheim voor de meeste werknemers van Google. Maar zo open als wij intern zijn, zo gesloten moet ik naar buiten zijn. Eigenlijk mag ik niks zeggen.” Een stukje code die Google veel gebruikt en níét geheim is, zie je hieronder. Dat geeft een beetje een beeld van het werk van Nienhuys.
De meeste codes van Google zijn geheim. Maar sommige producten van Google zijn open source, zoals hun internetbrowser Google Chrome. Daarvan kun je de bron dus wel zien. Een voorbeeld van een code die Google veel gebruikt zie je hierboven. Als Google informatie op een disk opslaat, of via het netwerk intern verstuurt, coderen ze de zaak zodat kleine getallen (bijvoorbeeld van 0-127, die komen vaker voor) minder ruimte innemen dan grote getallen. Deze functie decodeert een gecomprimeerd getal.
Nienhuys is min of meer toevallig in Brazilië terechtgekomen. Was de conferentie over open source producten in Zweden geweest, dan was hij misschien daar in contact met Google gekomen, want ook in de Zweedse hoofdstad Stockholm heeft Google een kantoor. Op de vraag of hij makkelijk zou kunnen overstappen naar een andere Google-vestiging, bijvoorbeeld in het vertrouwde Nederland, antwoordt hij: “In theorie zou ik mijn werk ook elders kunnen doen. Maar niet overal: in Amsterdam heeft Google alleen een afdeling verkoop, dat is een andere branche.”
Natuurlijk heeft Nienhuys erover nagedacht of hij wel in Brazilië wilde werken. “Ga ik emigreren naar Zuid-Amerika?, was het dilemma waarvoor ik stond. Nu ja, ik wilde het in elk geval wel tijdelijk. Maar inmiddels ben ik gewend in Brazilië. Het leven bevalt me er. Er heerst hier een soort permanente feestcultuur. Als er iets te vieren valt, is iedereen welkom. Men is hier veel opener dan in Nederland.”
Op de werkvloer wordt zowel Engels als Portugees gesproken. Google is een internationaal bedrijf; Nienhuys is niet de enige buitenlander op het kantoor in Belo Horizonte. “Iedereen die in Brazilië woont, doet zijn best om de taal van het land te spreken. Ik spreek ongeveer even veel Engels als Portugees op het werk.” Lachend sluit Nienhuys af met: “Vai pela sombra”, ofwel: “Loop in de schaduw” – een toepasselijke groet in een land met de felle tropenzon.
A few people have pointed me to Google Correlate. Google says that this tool is like “Google Trends in reverse.” You know I love Google Trends, so of course I’m going to poke around Google Correlate. The tool shows you the strongest correlations by query over time, as well as concentrations and correlations of the query by state. So here’s the distribution for “Jesus”:
If you know something about the United States, I assume you aren’t surprised. But how about something like “Krishna?”
Does this make sense to you? What’s up with New Jersey? As a proportion it has by far the greatest number of Indian Americans. (the #1 correlate is “Radha,” which makes sense)
How about something more obscure? OK, “Ludwig von Mises”:
The Ludwig von Mises Institute is based out of Auburn, Alabama. They’re a radical libertarian outfit whose aim is to promote the thought of the Austrian economist Ludwig von Mises (whose more moderate student, F. A. Hayek, is much more famous today). It doesn’t seem like ...
A change to its search algorithm will 'noticeably impact' more than 10 percent of all search queries.
In a move that will 'noticeably' affect more than 10 percent of all search queries, Google announced a change to its search algorithm that's aimed at reducing the ranking of lower quality sites.
"
| |
Google is in haar Google Books-project al jaren bezig met het digitaliseren van boeken. De teller staat nu op meer dan 12 miljoen boeken, veelal afkomstig uit ruim 40 universiteitsbibliotheken van over de hele wereld. Al deze boeken zijn pagina voor pagina ingescand en vervolgens gedigitaliseerd met Optical Character Recognition. Zo waren de scans voor de computer niet langer afbeeldingen, maar teksten bestaande uit afzonderlijke letters. Ten slotte voegde Google nog aan elk boek metadata toe: extra informatie over de datum en plek van publicatie. Het resultaat is een gigantische database met een schat aan informatie voor iedereen die geïnteresseerd is in taal en cultuur.
Sinds de introductie van de boekdrukpers zijn er ongeveer 129 miljoen boeken gepubliceerd. Hiervan heeft Google er nu ruim 12 miljoen ingescand. 5 miljoen van de ingescande boeken heeft Google geselecteerd voor de Ngram Viewer.
Voor de Ngram Viewer selecteerde Google uit haar database ruim 5 miljoen boeken waarvan de OCR en de metadata van dusdanige kwaliteit was dat een analyse betrouwbare resultaten op zou leveren. De oudste boeken in deze selectie stammen uit de 16e eeuw. De selectie is zo groot dat het een normaal mens 80 jaar zou kosten om alleen al de boeken gepubliceerd na 2000 te lezen, zo berekenden de betrokken wetenschappers in Science. En als je alle letters uit de 5 miljoen boeken in één lange lijn zou leggen, zou die tien keer naar de maan en terug gaan.
In een n-gram staat n voor het aantal items dat als eenheid in een analyse wordt meegenomen. Bij een unigram (1-gram) is dit steeds één woord, bij een bigram (2-gram) zijn het er twee. Als je het bigram ‘natuurlijke selectie’ invoert, zal de Ngram Viewer op zoek gaan naar het voorkomen van deze combinatie in haar database. De zoekmachine van Google gaat niet verder dan 5-gram, dus je kunt zoektermen van maximaal vijf woorden invoeren.
Erg indrukwekkend natuurlijk, maar wat kun je er nu precies mee? In feite is de Ngram Viewer een zoekmachine. Je typt enkele zoektermen in en Google presenteert een grafiek waarin van elke zoekterm staat hoe vaak ze in de publicaties uit elk jaar voorkomen. De resultaten zijn relatief, zodat het grote aantal boeken uit de 20e eeuw de resultaten niet vervormt. Op deze manier kun je dus eenvoudig trends visualiseren. De ontwikkelaars van Google verwachten dat Culturomics, zoals zij de grootschalige data-analyse voor de bestudering van cultuur noemen, een nieuw soort bewijs zal vormen voor onderzoekers op het gebied van taal en cultuur.
De naam van de Joodse kunstenaar Marc Chagall kwam tijdens de naziperiode (1933-1945) opvallend minder voor in Duitse publicaties. Dit wijst op onderdrukking.
Zelf hebben de ontwikkelaars voor Science alvast wat kleine experimentjes met hun zoekmachine uitgevoerd. Zo onderzochten ze uit hoeveel woorden de Engelse taal bestaat (544.000 in 1900, 597.000 in 1950 en 1.022.000 in 2000). Ook konden ze aantonen dat de Joodse kunstenaar Marc Chagall in Nazi-Duitsland onderdrukt werd; zijn naam komt duidelijk minder voor in Duitse publicaties uit de periode 1933-1945. Een andere interessante analyse is de verschuiving van onregelmatige werkwoordsvervoegingen naar regelmatige werkwoordsvervoegingen. In het Amerikaans-Engels begon de verschuiving van ‘burnt’ naar ‘burned’ duidelijk eerder dan in het Brits-Engels.
De verleden tijd van ‘burn’ was oorspronkelijk ‘burnt’. Vanuit Amerika kwam de trend op gang om het werkwoord regelmatig te vervoegen, als ‘burned’.
De resultaten die Ngram Viewer levert lijken misschien onomstotelijk, maar er zijn nog wel een paar kanttekeningen te plaatsen bij de nieuwe methode. Ten eerste zijn er geen Nederlandstalige boeken in de database opgenomen, al zal Google haar collectie vast binnenkort uitbreiden. Ten tweede neemt de zoekmachine in de analyse alleen boeken mee, geen kranten, tijdschriften of andere uitingen van een tijdsbeeld. Deze ‘snellere media’ zouden weleens heel andere trends kunnen laten zien dan de ‘trage’ boeken.
Het laatste en misschien wel belangrijkste punt is dat de uitkomsten van de Ngram Viewer cijfers zijn die op zichzelf niet zoveel zeggen. De gebruiker zal deze zelf nog moeten interpreteren. Waarom komt een bepaald woord in een bepaalde periode zo vaak voor? En had het woord in die periode wel dezelfde betekenis als nu? ‘Android’ komt bijvoorbeeld al voor sinds 1750, maar verwees toen hoogstwaarschijnlijk nog niet naar Googles besturingssysteem. Een erg handig instrument dus, die Ngram Viewer, maar om de juiste conclusies te trekken blijft een stel menselijke hersenen onontbeerlijk.
"
Vergelijk de volgende twee krantenberichten, uit respectievelijk het NRC Handelsblad en de Telegraaf:
De 44-jarige Steve Irwin –-bekend door zijn tv-programma’s over dieren-– stierf maandagmiddag (plaatselijke tijd) nadat hij tijdens het duiken voor de Australische noordoostkust bij Port Douglas in zijn borstkas wordt gestoken door een giftige pijlstaartrog.
Steve Irwin, de Australische televisiepresentator die bekend is als The Crocodile Hunter, is maandag overleden nadat hij tijdens een duikexpeditite was gestoken door een pijlstaartrog.
De twee zinnen beschrijven dezelfde gebeurtenis, maar doen dat met behulp van bijna volledig verschillende bewoordingen. Een computer die alleen naar de woorden kijkt zal niet herkennen dat ze beide over hetzelfde onderwerp gaan. Wie op het internet zou zoeken naar informatie over ‘de dood van de Crocodile Hunter’, krijgt daarom alleen het Telegraafbericht –- terwijl een zoekmachine die de inhoudelijke overlap wel herkent, beide artikelen kan aanbieden.
Onderzoekers van het Tilburgse Instituut voor Cognitie en Communicatie (TiCC) aan de Universiteit van Tilburg hebben een grote dataverzameling aangemaakt die een computer kan gebruiken bij het herkennen van dergelijke inhoudelijke overlap. Deze databank van meer dan twee miljoen woorden bevat vele Nederlandse tekstparen die steeds over hetzelfde onderwerp gaan. Dit zijn niet alleen nieuwsberichten, maar ook vertalingen van dezelfde tekst. In eerste instantie moesten de onderzoekers handmatig aangeven waar de inhoudelijke overlap precies zat.
Later hebben ze ook een tool gebouwd die de overlap automatisch kan detecteren. Deze software kijkt niet alleen naar wèlke zinnen in de teksten inhoudelijk dezelfde betekenis hebben, maar ook naar hoe de verschillende zinnen met elkaar samenhangen. Zo is de tekst van het NRC Handelsblad hierboven veel specifieker dan die van de Telegraaf.
De mogelijkheden van een computer die inhoudelijke overlap kan herkennen zijn groot. Zoekmachines kunnen ook pagina’s aanbieden waar niet exact jouw zoektermen in staan, maar die wel over hetzelfde onderwerp gaan. Vraag-antwoordsystemen kunnen je vraag beantwoorden, ook al heb je je vraag niet precies in de juiste bewoordingen gesteld. En grote tekstbestanden kan zo’n computer automatisch voor je samenvatten. “Helemaal ideaal is de mogelijkheid van zinsfusie”, vertelt hoogleraar Emiel Krahmer, betrokken bij het project. “Deze tool kan niet alleen vaststellen dat twee zinnen grofweg dezelfde informatie bevatten, maar is ook in staat om de inhoud van de verschillende zinnen samen te voegen tot één nieuwe zin. Zo kan je razendsnel de relevante informatie halen uit grote hoeveelheden tekst.”
Dat is niet alleen handig voor mensen die snel informatie willen vinden in grote tekstbestanden zoals Google Books of Wikileaks. Krahmer ziet meer mogelijkheden, bijvoorbeeld in de journalistiek. “Maar denk ook aan het opsporen van plagiaat. Vaak wordt bij plagiaat niet zo maar een tekst gekopieerd, maar enigszins geparafraseerd. Met deze dataset zou een zoeksysteem dat kunnen detecteren.”
"
