vrijdag 11 mei 2012
Photos: If All of Earth's Water was put into Single Sphere, from the USGS Water Science School
the moon is 16 times larger in volume then all the water on earth!
dinsdag 8 mei 2012
Data and visualization blogs worth following
About three years ago, I shared 37 data-ish blogs you should know about, but a lot has changed since then. Some blogs are no longer in commission, and lots of new blogs have sprung up (and died).
Today, I went through my feed reader again, and here's what came up. Coincidentally, 37 blogs came up again. (Update: added two I forgot, so 39 now.) I'm subscribed to a lot more than this since I don't unsubscribe to dried up feeds. But this list is restricted to blogs that have updated in the past two months and are at least four months old.
Design and Aesthetics
- information aesthetics — By Andrew Vande Moere, the first blog I found on visualization five something years ago.
- Well-formed data — Another one of the oldies but goodies. The blog of Moritz Stefaner, known for lots of projects around these parts
- blprnt.blg — Blog of Jer Thorp, who has recently been on a github binge. See also blprnt.tmblr
- Fathom — Ben Fry-run studio talks about interesting things
- feltron — Nicholas Felton's tumblr with quick bits of delight
- Tulp Inspiration — Another tumblr, this one run by Jan Willem Tulp
Statistical and Analytical Visualization
- Eager Eyes — I think the second blog I found on visualization. Written by Robert Kosara, research-focused
- Junk Charts — Kaiser Fung finds the not-so-good and explains how to improve them. See also sister blog Numbers Rule Your World
- Visual Business Inteliigence — Stephen Few's business-centric musings
- Visualising Data — Relatively newer
- Data Pointed — Weird and cooky, in a good way
- Effective Graphs — Fundamentals of graph-making
- Jim Vallandingham — Releases good code sometimes
- Excel Charts — Despite the name, provides some useful information for beginners
- Statistical Graphics and more — Through the eyes of a statistician
Journalism
- The Daily Viz — By Matt Stiles, data journalist at NPR
- chartsnthings — Kevin Quealy of The New York Times talks process
- Infographics news — Highlights news graphics
- Matthew Ericson — Deputy graphics director at The New York Times
General Visualization
- Neoformix — Features a variety of his projects
- Datavisualization.ch — Different visualization work, but lately on process of client work
- Periscopic — Information visualization firm, do good with data
- vis4 — Gregor Aisch produces a mix of work
- Chart Porn — Mix of charts and graphs
- Communicating with data — Jerome Cukier from the OECD
Maps
- Stamen — Map-focused design and technology studio, sometimes open source releases
- Cartastrophe — Daniel Huffman talks good maps
- Floatingsheep — Geography hodge podge
- indiemaps — Usually on the how of maps
- Kelso's Corner — Nathaniel Kelso, cartographer at Stamen
- tecznotes — Michal Migurski of Stamen gets into the nitty gritty of online map making
- The Marauding Carto-nerd — Kenneth Field, research cartographer
Data and Statistics
- Datablog — On The Guardian, poster of datasets and graphics
- Juice Analytics — Putting business data to action
- The Numbers Guy — Examines the way numbers are used
- Infochimps — Data supplier and hackers unite
- Civil Statistician — By Census Bureau statistician Jerzy Wieczorek
- Revolutions — Frequent statistics goodies
- Simply Statistics — The title says it all
maandag 7 mei 2012
Waarom is het nazisme slecht?
In onder meer Nederland wordt het nazisme gezien als het meest duivelse politieke systeem ooit, de belichaming van het absolute kwaad. In de niet-westerse wereld, bijvoorbeeld de islamitische wereld en het Indiase subcontinent, staken tot mijn verbazing toen ik daar was veel mensen hun bewondering voor Adolf Hitler juist niet onder stoelen of banken. Waarom is volgens vrijwel iedereen in de westerse wereld het nazisme het absolute kwaad, en denken niet-westerlingen daar vaak anders over?
Wat zijn de kenmerken van de nazi-ideologie?
Er bestaat in Nederland nogal wat begripsverwarring over het fascisme en het nazisme. Dit is het gevolg van het politiek debat in Nederland, waarin de term fascisme te pas en te onpas wordt gebruikt om politieke tegenstanders mee te diskwalificeren. Strikt genomen (en er is geen geldige reden mee te doen aan deze taalvervuiling) is het fascisme een extreem nationalistische politieke filosofie, waarbij de staat voor alles gaat en alle macht in handen is van één persoon en partij. Oorlog is volgens fascisten natuurlijk en nastrevenswaardig. Zowel de economie als de samenleving staan onder strenge controle van de fascistische partij en tegen politieke tegenstanders wordt keihard opgetreden.
De nazi-ideologie introduceert ook het element racisme. Volgens het nazisme is de mensheid genetisch onderverdeeld in superieure en inferieure ‘rassen’, te vergelijken met hondenrassen, waarbij het eigen ras uiteraard superieur is. Tussen deze rassen is er voortdurend oorlog, de ‘rassenstrijd’, waarbij het sterkste ras, het eigen ras, uiteindelijk zal overwinnen. Doorgaans wordt er een zondebok gezocht, bijvoorbeeld de joden of een andere minderheidsgroep, waarop de agressie van het volk zich kan richten. Het nazisme kent meer economische vrijheid dan het fascisme. Je zou kunnen zeggen dat bij het fascisme de staat, en bij het nazisme het ras centraal staat.
Hoofdpunten
Samengevat komt de nazi-ideologie dus neer op de volgende stellingen.
- De mensheid is onderverdeeld in superieure en inferieure rassen, kortom: het is een racistische ideologie.
- Tussen deze rassen is er een voortdurende strijd.
- De nazistaat heeft de taak, de belangen van het eigen ras te behartigen, m.a.w. een rassenoorlog tegen inferieure rassen te voeren en het ras zuiver te houden door bijvoorbeeld huwelijken tussen mensen van verschillende rassen te verbieden.
- De taak van vrouwen is te paren met krachtige, genetisch superieure mannen en veel soldaten voor het ras te baren en op te voeden.
- Voor dit doel moeten alle onderdelen van de samenleving, efficiënt en meedogenloos worden ingezet (totalitaire staat).
- Alle macht van de staat ligt bij één onfeilbare leider die onvoorwaardelijk gehoorzaamd moet worden, tot in de dood.
- Het doel, het vestigen van de opperheerschappij van het eigen ras, heiligt alle middelen.
Inderdaad een op alle punten verwerpelijke ideologie
Er is in deze opsomming van punten werkelijk geen een punt dat in overeenstemming is te brengen met een naar westerse normen menswaardige samenleving. Als dit programma onverkort wordt doorgevoerd, betekent dat een bloedige oorlog tegen de rest van de wereld en de invoering van een racistische dictatuur, waarin familieleden elkaar verraden en er voor het individu slechts ruimte is onder een grafsteen. Maar is het nazisme de slechtst denkbare ideologie, m.a.w. kan het nazisme als zuivere vertegenwoordiger van het absolute kwaad worden gezien?
In dit bijbelverhaal doodt koning David tweederde van alle Moabieten. Eerder zou de leider Jozua het gehele land Kanaän uitgemoord hebben om ruimte te maken voor de Israëlieten. Zou Hitler hier zijn ideeën vandaan hebben?
In Hitlers voornaamste boek, Mein Kampf, zijn enkele verrassende dingen te lezen. Zo blijkt de man niet de gewetenloze psychopaat te zijn waarvoor hij doorgaans wordt versleten. De man hield er echter een door en door racistisch wereldbeeld op na, waarin de hoogste menselijke bestaansvorm de Ariër (Indo-Europeaan) is. Volgens Hitler is alle menselijke vooruitgang (“cultuurschepping”) afkomstig van blanken, om precies te zijn: raszuivere Ariërs, zoals de Germanen. Alles is dus geoorloofd om de raszuiverheid van de Ariërs te behouden, immers: het voortbestaan van de mensheid staat volgens hem op het spel. De overige volken zijn cultuurdragers (hij noemt als voorbeeld de Japanners) of cultuurvernielers (e.g. joden en zwarten). Het opmerkelijk hoge beschavingspeil van China en Japan schrijft hij toe aan verdwaalde Ariërs (de Ainu, de meest op Ariërs lijkende mensen in Japan, staat echter niet bepaald bekend om hun trendsettende cultuur). Alleen als Ariërs raszuiver blijven, zullen ze volgens Hitler in staat blijven om de wereld vooruitgang te brengen, anders zal de mensheid gedoemd zijn af te takelen. Joden zijn in de ogen van Hitler een parasitair ras, niet in staat zelf cultuur voort te brengen, dat de onschuldige Ariërs bezwendelt en uitbuit.
De gruwelen van de nazitijd zijn het gevolg van het consequent, zonder mededogen doordenken en uitvoeren van dit gedachtengoed.
Was het nazisme uniek in de geschiedenis?
Etnische zuiveringen zijn van alle tijden. Zo waren pogroms schering en inslag. De meeste leden van veel etnische groepen gelooft van oudsher dat ze allen afstammen van een gemeenschappelijke voorvader en superieur zijn aan andere volken. De joden bijvoorbeeld geloven dat ze nakomelingen zijn van de aartsvader Jacob. Ook de Somaliërs bijvoorbeeld geloven dat ze allen afstammen van ene Samaale, die weer een afstammeling zou zijn van Mohammed. Het was echter een combinatie van darwinistische genetica (zonder dat men doorhad hoe genetische informatie werkelijk wordt opgeslagen) met deze etnogenese die leidde tot de ontwikkeling van de rassenideologie.
Het uitmoorden van complete volken kwam ook vaak voor. Denk bijvoorbeeld aan wat er met de Tasmaniërs of de Armeniërs gebeurd is. In het bijbelboek Jozua is haarfijn na te lezen hoe in opdracht van Jahweh door de Israëlieten het ene volkje na het andere wordt uitgemoord. Over de historische authenticiteit zijn de nodige vragen, maar de mindset werd wel gezet. De verleiding werd voor de kolonisten groot om zich Gods uitverkoren volk te wanen, dat het goddelijke recht heeft andere mensen uit te moorden. De industriële vernietiging van joden, homoseksuelen en zigeuners was het gevolg van een pogrom in een industrieel land. Concentratiekampen, bijvoorbeeld, werden door de Britten tijdens de Boerenoorlogen ingesteld.
Racistische ideeën waren in het koloniale tijdvak schering en inslag. De inboorlingen waren niet in staat om voor zichzelf te zorgen en moesten daarom met bruut geweld worden beschaafd (of tot slaaf worden gemaakt). Ook eugenetica was erg populair voor de Tweede Wereldoorlog (ook onder socialisten); in landen als Zweden en de VS werden tot in de jaren zeventig van de twintigste eeuw gebrekkigen gesteriliseerd.
Kortom: het nazisme is niet zo wezensvreemd aan de westerse cultuur als het vaak wordt voorgesteld.
Waarom hebben veel niet-westerlingen minder moeite met Hitler en het nazisme?
Voor de Tweede Wereldoorlog was racisme minder omstreden dan nu. Er zijn genetische verschillen tussen mensen, onder andere verschillen die gevolgen hebben voor hun karakter en intelligentie. Er is, enkele uitzonderingen daargelaten, echter geen deterministische verbanden te leggen tussen de aanwezigheid van een bepaald gen en intelligentie of karakter. Dit komt omdat genen coderen voor eiwitten en de manier waarop deze eiwitten onderling wisselwerken, bepaalt wat het effect is.
Omdat de frequenties van genen verschillen tussen menselijke populaties, zo zijn er veel meer genen die voor zwart pigment coderen in omloop in Centraal-Afrika dan op Groenland, zijn er ook genetische verschillen tussen groepen mensen. Zo blijkt het ‘warrior gene’, een beschadigde variant van het MAO-A gen dat indirect agressiviteit en impulsiviteit opwekt (doordat het neurotransmitters die heftige emoties opwekken niet afbreekt), meer voor te komen onder de agressieve laagland-Yamomami (een indianenvolk uit de westelijke Amazone) dan onder de Yamomami die in de vreedzamer dorpen in de bergen wonen. Agressiviteit is in de vlakte nuttiger dan in de armoedige bergen, waar lange-termijn denken esentieel is.
Niet-westerlingen hebben niet de traumatische opkomst van het nazisme of (in de VS) de burgerrechtenstrijd meegemaakt. Het racisme is in de etnisch zeer homogene Oost-Aziatische landen dan ook sterk ontwikkeld: het is gemakkelijk te zien wie uit Vietnam, Cambodja of Japan komt. India kent al duizenden jaren het racistische kastensysteem, waarbij de lichtgekleurde brahmanen de hoogste rang innemen. Een brahmaan bewonderde Hitler sterk, omdat hij voor het blanke ras streed. Mijn Duitse reisgenoot was daar uiteraard niet blij mee.
Ook in Afrika is afkomst zeer belangrijk: een Afrikaan ziet zichzelf als maar een individu in een onafzienbare stroom van voorouders en nakomelingen. Joden kennen ze niet, of ze hebben er (zoals in de islamitische wereld) een hekel aan. In de islamitische wereld neemt het begrip ‘ummah’ , de gemeenschap van islamieten, de plaats aan van volk bij fascisten of ras bij racisten. Kortom: veel niet-westerlingen, zoals een islamitische kennis uit Bangladesh, zien daarom Hitler als een bewonderenswaardige sterke leider, die bereid is om over lijken te gaan om zijn eigen groep overheersend te maken.
Bron:
Adolf Hitler, Mein Kampf (1923)
De kristallisering van het sociaal darwinisme en internationale industrialisatie, de slavenhandel die slechts 2-3 generaties eerder was uitgebannen, en de ontwikkeling van de visuele monocultuur door hollywood, en een hele generatie die na de eerste wereldoorlog niet een economische crisis verdiende ondanks de inflatie, zou moeten betekenen dat als Hitler het niet geweest was had iemand anders (ludendorf, kapp, rohm) onafwendbaar die sociaal-culturele niche wel ingenomen met dezelfde noodlottige resultaten voor 50 miljoen mensen. Omdat men wel de wet kan veranderen, maar de harten van het merendeeel van de mensen volgen pas generaties later dankzij scholing. En het algemeen kiesrecht was nog controversieel en nieuwerwets.
zaterdag 5 mei 2012
Summary for Week ending May 4th
If the former, hiring has slowed to about 135,000 per month (or less); if the later, the economy is adding about 200,000 jobs per month. Note: Through the first four months of 2012, the economy has added 803 thousand payroll jobs, a better pace than in 2011.
There are some positives we’ve discussed lately: it appears state and local government layoffs are slowing (although there was a little increase in April), residential investment (and construction employment) is increasing from a very low level, and it appears the drag from several sectors of non-residential investment will end mid-year. So my guess is job growth will pick up from the March and April pace, but remain sluggish compared to the slack in the labor force.
The other data was mixed. The ISM manufacturing index was above expectations, but the ISM service index was below. The Chicago PMI was soft, but auto sales were solid at a 14.4 million seasonally adjusted annual rate (SAAR).
Here is a summary in graphs:
• April Employment Report: 115,000 Jobs, 8.1% Unemployment Rate
Click on graph for larger image.There were 115,000 payroll jobs added in April, with 130,000 private sector jobs added, and 15,000 government jobs lost. The unemployment rate declined to 8.1%. The participation rate decreased to 63.6% from 63.8% (a new cycle low) and the employment population ratio also decreased slightly to 58.4%.
The change in February payroll employment was revised up from +240,000 to +259,000, and February was revised up from +120,000 to +154,000.
This was below expectations of 165,000 payroll jobs added.
The second graph shows the job losses from the start of the employment recession, in percentage terms. The dotted line is ex-Census hiring.This shows the depth of the recent employment recession - worse than any other post-war recession - and the relatively slow recovery due to the lingering effects of the housing bust and financial crisis.
Since the participation rate has declined recently due to cyclical (recession) and demographic (aging population) reasons, an important graph is the employment-population ratio for the key working age group: 25 to 54 years old.In the earlier period the employment-population ratio for this group was trending up as women joined the labor force. The ratio has been mostly moving sideways since the early '90s, with ups and downs related to the business cycle.
This ratio should probably move back to or above 80% as the economy recovers. So far the ratio has only increased slightly from a low of 74.7% to 75.7% in April (this was down slightly in April from March.)
• ISM Manufacturing index indicates faster expansion in April
PMI was at 54.8% in April, up from 53.4% in March. The employment index was at 57.3%, up from 56.1%, and new orders index was at 58.2%, up from 54.5%.Here is a long term graph of the ISM manufacturing index.
This was above expectations of 53.0%. This suggests manufacturing expanded at a faster rate in April than in March. It appears manufacturing employment expanded faster in April with the employment index at 57.3%.
• U.S. Light Vehicle Sales at 14.42 million annual rate
Based on an estimate from Autodata Corp, light vehicle sales were at a 14.42 million SAAR in April. That is up 9.8% from April 2011, and up 0.7% from the sales rate last month (14.3 million SAAR in March 2012).This was at the consensus forecast of 14.4 million SAAR (seasonally adjusted annual rate).
This graph shows the huge collapse in sales in the 2007 recession. This also shows the impact of the tsunami and supply chain issues on sales, especially in May and June of last year.
• Construction Spending increases slightly in March
This graph shows private residential and nonresidential construction spending, and public spending, since 1993. Note: nominal dollars, not inflation adjusted.Private residential spending is 64% below the peak in early 2006, and up 8.4% from the recent low. Non-residential spending is 30% below the peak in January 2008, and up about 18% from the recent low.
Public construction spending is now 15% below the peak in March 2009 and at a new post-bubble low.
On a year-over-year basis, both private residential and non-residential construction spending are positive, but public spending is down on a year-over-year basis. The year-over-year improvements in private non-residential are mostly due to energy spending (power and electric).
• ISM Non-Manufacturing Index indicates slower expansion in April
The April ISM Non-manufacturing index was at 53.5%, down from 56.0% in March. The employment index decreased in April to 54.2%, down from 56.7% in March. Note: Above 50 indicates expansion, below 50 contraction. This graph shows the ISM non-manufacturing index (started in January 2008) and the ISM non-manufacturing employment diffusion index.
This was below the consensus forecast of 55.9% and indicates slower expansion in April than in March.
• Weekly Initial Unemployment Claims decline to 365,000
The DOL reports:In the week ending April 28, the advance figure for seasonally adjusted initial claims was 365,000, a decrease of 27,000 from the previous week's revised figure of 392,000. The 4-week moving average was 383,500, an increase of 750 from the previous week's revised average of 382,750.The dashed line on the graph is the current 4-week average. The four-week average of weekly unemployment claims increased to 383,500.
This is the highest level for the 4-week moving average since last December.
This was below the consensus of 378,000. However, even though weekly claims declined, the 4-week average has increased for four straight weeks and is at the highest level this year.
• Other Economic Stories ...
• Trulia on Houses: Asking Prices increase slightly Year-over-year in April
• LPS: March Foreclosure Starts increase, Foreclosure Sales lowest since December 2010
• ADP: Private Employment increased 119,000 in April
• Chicago PMI declines to 56.2
• Personal Income increased 0.4% in March, Spending 0.3%
• Q1 2012 GDP Details: Office and Mall Investment falls to record low, Single Family investment increases
• Restaurant Performance Index increases in March
• Fannie Mae and Freddie Mac Serious Delinquency rates declined in March
dinsdag 1 mei 2012
Het einde van de wereld is in zicht, gelooft een op de zeven mensen - Buitenland - VK
en volgens de 10 procents regel is dat dan binnenkort dus de meerderheid
maandag 30 april 2012
Rise and fall of celebutantes | Gene Expression
Kim Kardashian was at the White House Correspondents Association Dinner. Wow. But it made me wonder whatever happened to Paris Hilton? Did she drop off the face of the earth? Here’s Google Trends:
The bottom panel is news, the top panel public searches. The media seems to exhibit some latency in relation to the public, but at this point they both agree: Paris is near a nobody.
vrijdag 27 april 2012
Alle popfestivals van 2012 op een rijtje
Zit je dus een hele dag in de roes van saamhorigheid, die nergens op is gebaseerd buiten het schoolplein. In de klas wisten ze allemaal hetzelfde, maar komen doen ze allemaal verschillend.
zondag 18 maart 2012
bayes historie van europa
3725
| onverdeeld 1763 jaren (-776-987) 68,3% 1758 47,2% | verdeeld 1476 jaren (330-1806) 57,2% 1967 52,8% |
| germaans 1325 jaren (481-1806) 51,3% 1350 36,3% 100% | frankische rijk 481- 987 19,6% 506 jaren 13,6%
37,5%
| heilige roomse rijk 962- 1806 32,7% 844 jaren 22,7% 62,5% |
| niet-germaans 2229 jaren (-776-1453) 86,3% 2375 63,7% 100% | de helleens-romaanse wereld -776- 476 48,5% 1252 jaren 33,6%
52,7%
| byzantijns rijk 330-1453 43,5% 1123 jaren 30,1%
47,3%
|
% van de som van aantal jaren verschil 3725
De termen onverdeeld en verdeeld zijn een beetje ongelukkig gekozen bij gebrek aan beter. Maar het heilige roomse rijk ontstond uit de verdeling van het frankische rijk, net zoals het byzantijnse rijk uit het romeinse rijk ontsprong.
Salliant detail: Napoleon veroverde nooit de balkan staten, in tegenstelling tot Hitler.
Het histories verschil tussen zuid- en noord europa is meteen duidelijk.
Aangezien in een markov chain alleen de som van de rijen 100% hoeft te zijn moet men de groene waarden invullen, men ziet dan dat het al na 9 iteraties eindigd voor elk van de rijken in een kans van 45,7% of 54,3%. resp. in de kolommen onverdeeld vs. verdeeld. Wat in de WW1 grofweg neerkwam op een strijd tussen resp de geallieerden en de centralen. 108 jaar (1914-1806) gedeeld door 9 stappen, is elke 12 jaar een stap. Aldus 1818, 1830, 1842 eerste pils!, 1854 krimoorlog, 1866 erfelijkheidswetten, 1878, 1890, 1902, wat volslagen arbitrair lijkt, vooral omdat de centralen verloren. Dit in tegenstelling tot de markov-resultaat. Dus de theorie klopt niet of er is een god of het aantal aan het front gesneuvelden in WW1 is voor de geallieerden minstens 8,6% hoger dan voor de centralen. De percenten van het totaal aan gesneuvelden is resp. 58,8% voor de geallieerden vs. 41,2% voor de centralen. En als men WW2 als een voortzetting van WW1 beschouwd, dan zijn de cijfers helemaal overtuigend.
Voor een nauwkeurigere berekening voor WW1 kan men een rationale berekenen, dan blijkt dat de militaire sterkte van de centralen 37% van alle legers samen was, en dus de geallieerde een legersterkte hadden die 63% uitmaakte van alle legers. Waaruit men mag concluderen dat allebei de percentielen (gesneuvelden en legersterkten) voor de centralen ±40% en voor de entente ±60% was, oftewel 2/5:3/5, en was dus een symmetrische oorlogsvoering. Men kan al tellen dat voor iedere gesneuvelde 3 geallieerden er slechts 2 centralen sneuvelden. Voor de centralen krijgt men dan als uitkomst 41,2/37=1,11 en voor de geallieerden geldt dan 58,8/63=0,93 , er sneuvelden dus verhoudingsgewijs toch iets meer centralen per leger. In absolute getallen blijkt hetzelfde: 4010241/25248321=15,9% gesneuvelden in het gehele leger van de centralen en voor de entente: 5712379/42959850=13,3%
Het gemiddelde sterftecijfer blijkt 14,25% te zijn.
| totale legersterkte 68.208.171 | ||||
| centralen | entente | |||
| 25.248.321 37% | 42.959.850 63% | |||
| gesneuvelden 9.722.620 | entente | 5.712.379 58,8% | 22,6% | 13,3% |
| centralen | 4.010.241 41,2% | 15,9% | 9,34% | |
En de markov hypothese dat onverdeeld vs, verdeeld de culturele en metafysische vector was voor de strijd tussen beiden in WW1 zoals uitgevochten door de entente en de centralen kan worden verworpen aangezien de centralen verloren, al is het aantal gesneuvelden aan geallieerde zijde 142,4% tov. van de gesneuvelde centralen.
dinsdag 14 februari 2012
woensdag 30 november 2011
Video Search Solves the News Segmentation Problem
The problem of indexing video news content has been solved by computer scientists at an innovative French search engine
Video search is one of the most difficult challenges facing search engines. Given a particular query, the task is to select from all stored videos the ones that the searcher most wants to see.
Most video search services do this without any reference to the video content. Instead, they crunch the metadata associated with each clip: the key words, popularity and dates that describe the video and must be added separately.
That works reasonably well if you're looking for "Jesus Christ Fenton" or some other viral content. But it's not so good if for news.
News coverage provides more or less continuous content that is divided up into sections that often have little or no connection. Search news videos for "Barack Obama in China" and you could easily be served up a video that mentions the president in one segment and China in the following one.
Now Julien Lawto at Exalead, a search engine company based in Paris, and a few pals have developed a technology that could change all this.
For some time now, these guys have been playing with a video search engine called Voxalead. The novelty of this approach is that Voxalead processes the audio content of news videos to produce an automated transcript of what's being said. This is then searchable for key words in a straightforward way.
What's new, however, is that they've found a way to automatically divide up news broadcasts into standalone passages on specific topics.
The team do this using software that analyses the transcript looking for obvious transitions form one segment to another. "The general idea of this method is to search for the best possible segmentation among all the possible ones," they say.
In practice, this means looking for repetitions of nouns, adjectives and certain verbs and then testing the fitness of various patterns of segmentation to see which seems the best (as measured by what the company mysteriously calls 'thematic cohesion probability').
That produces a number of advantages. First up is the accuracy of the results. If a user searchers for "Barack Obama AND Hu Jintao", the engine will only return passages of news that contain references to both individuals.
It also allows users to search for events, such as footage of the British embassy sacking in Tehran.
Finally, this approach allows the engine to display the results in various innovative ways. For example, it shows a timeline giving how the number of mentions of the topic has changed in the past, it also shows a geographical mashup indicating where the events have taken place or been referred too. There is also a tag cloud showing trending topics.
These guys have also taken care to ensure that the technology is scalable. "The system processes more than 150 new video and audio items each day, amounting to roughly 3.5Gb or 15 hours of new daily content, on a single 6 core server," they say. That gives it the potential to process about 100 hours of videos per day.
There are obviously potential problems with this approach. Not least of these is the accuracy of the voice recognition software. That can be a particular problem with news coverage which often refers to rare and sometimes entirely new words. They say the design is highly scalable.
Lawto and co have ambitious plans for the future. For example, they want to augment the search results with the results from facial recognition software, presumably to be more certain about who is talking.
Clearly video search is becoming more powerful. Worth a look if you have a few spare moments.
Voxalead is available now in demonstrator form at the Exalead labs. You can find it here: http://voxaleadnews.labs.exalead.com/ However, it isn't clear from the paper whether the new technology is running now.
Ref: arxiv.org/abs/1111.6265: A Scalable Video Search Engine Based on Audio Content Indexing and Topic Segmentation
Beroepen waarin je snel iemand versiert
ja hoor, na 10 biertjes voor je te hebben getapt wil ze nog wel eens ondergekotst worden. En die macht die ze hebben maakt ze niet bepaald aantrekkelijker, maar schrikt eerder af, vooral als ze verkeerde aandacht blijven geven. Gelukkig tapte ze ook waar ze uitging, dus was het ijs snel bevroren. Niet iedereen is nou eenmaal promiscue, waarmee ze je dan nog liever gewoon laten verrekken. Blijf maar zitten tot het eind. Ze gebruikten haar alleen maar voor het geld. Ik wacht nog op de knipoog. Maar onschuld heeft geen oogleden. Wat je diepere gevoelens met al dat waterdicht nietszeggend geleuter dat er omheen zit aanmoet zegt het artikel niet, maar of ze zijn betrokken en heb je er niets aan want ze duiken immers met jan en alleman het bed in of ze zijn niet betrokken en heb je er dus ook geen donder aan.
for n=4 to 365
b=1:m=1
for k=n-1 to 1 step -1
a=(k/n)
m=m+1
b=b*a
print n,m,1-b
next k
next n
De kans dat je als barmedewerker van een cafe dezelfde meid een beurt geeft als iemand anders in het cafe, is bij iedere maand een andere chick een beurt geven en na 5 maanden al meer dan 50%, en na 10 maanden al meer dan 99%,
en bij iedere week een andere slet een beurt geven is het na 9 weken 50% en 99% na 21 weken, en bij iedere dag een andere griet een beurt geven is na 23 dagen de kans 50% en na de 57 dagen is de kans 99%
Proficiat
![]() |
| % van populatie zonder dubbele beurt ligt onder de `maagdelijke´lijn van 50% |
Voor een sukkel zijn de kansverdelingen om dubbel in de maling genomen te worden uiteraard gebaseerd op dezelfde berekeningen.
dinsdag 29 november 2011
Has twitter peaked? | Gene Expression
I hadn’t given the issue much thought, but that’ what Randall Parker asserted in the comments below.
First, let’s look at Google Trends search traffic with Facebook as well:
Facebook dwarfs twitter, so you can’t tell. So with only twitter:
Interesting. Now let’s look with Alexa:
It’s a little more ambiguous using Google Trends estimate of unique visitors:
Finally, Site Analytics:
Flavour Networks Shatter Food Pairing Hypothesis
Recipe networks give the lie to the idea that ingredients that share flavours taste better together
Some years ago, while experimenting with salty foods and chocolate, the English chef Heston Blumenthal discovered that white chocolate and caviar taste rather good together. To find out why, he had the foods analyses and discovered that they had many flavour compounds in common.
He went on to hypothesise that foods sharing flavour ingredients ought to combine well, an idea that has become known as the food pairing hypothesis. There are many examples where the principle holds such as cheese and bacon; asparagus and butter; and in some modern restaurants chocolate and blue cheese, which apparently share 73 flavours.
But whether the rule is generally true has been hotly debated.
Today, we have an answer thanks to the work of Yong-Yeol Ahn at Harvard University and a few friends. These guys have analysed the network of links between the ingredients and flavours in some 56,000 recipes from three online recipe sites: epicurious.com, allrecipes.com and the Korean site menupan.com.
They grouped the recipes into geographical groups and then studied how the foods and their flavours are linked.
Their main conclusion is that North American and Western European cuisines tend towards recipes with ingredients that share flavours, while Southern European and East Asian recipes tend to avoid ingredients that share flavours.
In other words, the food pairing hypothesis holds in Western Europe and North America. But in Southern Europe and East Asia a converse principle of antipairing seems to be at work.
Ahn and co also found that the food pairing results are dominated by just a few ingredients in each region. In North America these are foods such as milk, butter, cocoa, vanilla, cream, and egg. In East Asia they are foods like beef, ginger, pork, cayenne, chicken, and onion. Take these out of the equation and the significance of the group's main results disappears.
That backs another idea common in food science: the flavour principle. This is the notion that the difference between regional cuisines can be reduced to just a few ingredients. For example, paprika, onion and lard is a pretty good signature of Hungarian cuisine.
Ahn and co's study suggest that dairy products, wheat and eggs define North American cuisine while East Asian food is dominated by plant derivatives such as soy sauce, sesame oil, rice and ginger.
Ahn and co conclude by discussing what their network approach can say about way recipes have evolved. They imagine a kind of fitness landscape in which ingredients survive according to their nutritional value, availability, flavour and so on. For example, good antibacterial properties may make some spices 'fitter' than others and so more successful in this landscape.
Others have also looked at food in this way but Ahn and co bring a bigger data set and the sharper insight it provides. They say their data contradicts some earlier results and that this suggests that better data is needed all round to get a clearer picture of the landscape in recipe evolution.
Given the number of ingredients we seem to eat, the total number of possible recipes is some 10^15 but the number humans actually prepare and eat is a mere 10^6. So an important question is whether there are any quantifiable principles behind our choice of ingredient combinations.
Another intriguing possibility is that this kind of evolutionary approach will reveal more not just about food, but also about the behaviour of the individuals that created it.
Food pairing seems to be one principle operating in some parts of the world. How far antipairing can take us has yet be seen, although customers to the Blumenthal's restaurant, The Fat Duck, may be among the first to find out.
It's still early days in the science of food networks. There are surely exciting discoveries ahead.
Ref: arxiv.org/abs/1111.6074: Flavor Network And The Principles Of Food Pairing
vrijdag 25 november 2011
dinsdag 22 november 2011
#3280: Hoe politieke verschuivingen de kaart van Europa deden veranderen
Europa is nog nooit zo blauw geweest. Waar het continent begin jaren zeventig nog rood kleurde, wat staat voor politiek links, wordt er na 38 jaar nog vooral rechts georiënteerde politiek bedreven. The Guardian brengt de verschuivingen in het politieke landschap interactief in beeld. Lees verder
dinsdag 15 november 2011
Nederlandse economie krimpt :: nrc.nl
Ook rijp voor het IMF
State by state exports to Europe
Florida would fare better than many states should Europe slip into recession, a new study [by Wells Fargo] found. ... The report makes no mention of another key concern for Florida: European tourism. The United Kingdom is Florida’s second largest source of international travelers behind Canada, with Germany holding the fifth slot behind Brazil and Mexico.Here is a map from the referenced report by economist Mark Vitner and Michael Brown at Wells Fargo. The map shows European exports as a percent of state GDP.
Utah has a very high percentage of exports to Europe - mostly silver and gold to the United Kingdom. West Virginia exports coal.
As the Miami Herald article notes, Florida will probably also be impacted by less tourism too.
However the largest potential impact is probably from financial contagion as opposed to trade and tourism. Catherine Rampell has a summary of the various channels of contagion: The Euro Zone Crisis and the U.S.: A Primer
maandag 14 november 2011
Mapping Wikipedia Globally
Each one of these yellow dots represents human effort that has gone into describing some aspect of a place. The density of this layer of information over some parts of the world is astounding. Some of our future posts will look more closely at measures of inequality in Wikipedia, but it is still hard not to be awed by this cloud of information about hundreds of thousands of events and places around the globe.What we can also do is compare the English Wikipedia to the Arabic, French, Hebrew, and Swahili versions (these languages are chosen because they are the subject of the research project mentioned above).
The map still remains useful to show some of the different geographical foci of different linguistic groups. In Iran, for instance, there are more articles in Persian than any other languages in our sample. We see more articles about Quebec and parts of North Africa in French, and then a complicated mix of Arabic, Hebrew, English and French in the Levant.Nonetheless it remains that there are far more English language articles than articles in any other language. As such, it remains that if your primary free source of information about the world is the Persian or Arabic or Hebrew Wikipedia, then the world inevitably looks very different to you than if you were accessing knowledge through the English Wikipedia. There are far more absences and many parts of the world simply don't exist in the representations that are available to you.
Japanese Physicist Publishes Fukushima Radiation Records
The readings at the Fukushima Medical University close to the damaged nuclear power plant make grim reading
Today, an insight into the conditions in the region surrounding the Fukushima Nuclear Power plant soon after the magnitude 9 earthquake and resultant tsunami which caused the reactors to explode.
Fukushima Medical University sits some 60 kilometres northwest of the power station. In the run up to the accident, a physicist at the university, Tsuneo Konayashi, had been measuring the background levels of gamma radiation, the numbers of secondary particles from cosmic ray impacts and the amount of radon in the atmosphere.
So when the accident struck, Konayashi and his colleagues were in a good position to measure exactly how things changed.
First, the background levels of gamma radiation changed little immediately after the earthquake but then spiked, reaching 9.3 times the usual levels on 16 March, five days after the quake and just hours after a hydrogen explosion occurred at the plant That's a level of 11.9 micro Seiverts per hour.
By August, Konayshi says the levels had dropped to 1.5 times the usual levels .
Indoor levels were significantly lower. The Japanese Self-Defense Force screened people entering the university and anyone with more than 10,000 counts per minute had to be decontaminated at separate decontamination tent before entering the campus.
"The maximum value found was 100,000 cpm," says Konayashi. That's a significant level of contamination but it's not possible to say exactly how high because the number of counts for a given level of radiation depends on the measuring apparatus. Other news reports on the web mention a worker at the plant who was sprayed with highly radioactive water while moving a hose leading to readings of 100,000 cpm.
Konayashi says his data can best be explained by fitting it to a model in which there are two types of radiation with short and long half lives. The best fit is for short-lived isotopes, such as iodine-131, that decay with an average half life of about 3.6 days, and with the longer-lived ones, such as cesium-134 and strontium-90, having a half life of 181 days.
The radon levels were unaffected in most places. However, the levels rose appreciably in some indoor locations because the university had reduced ventilation to prevent radioisotopes from entering the building and this also prevented the radon from escaping.
In some places the levels rose to 250 becquerels per cubic metre, almost double the maximum allowable levels in the US. These places had to be sealed off from normal use.
Curiously, the cosmic ray measurements decreased slightly soon after the accident, a phenomenon that Konayashi puts down to an increase in atmospheric pressure which would have shielded the ground from these particles.
During the first few months, Konayashi says he was distributing his data round the campus on a daily basis, to let people know whether there had been further leaks at the plant.
Konayashi says efforts to monitor radiation are ongoing and look likely to continue for the foreseeable future.
We wish them well.
Ref: arxiv.org/abs/1111.2395: Radiation Measurements At The Campus Of Fukushima Medical University Through 2011 Off The Pacific Coast of Tohoku Earthquake And Subsequent Nuclear Power Plant Crisis


