Interview met Ralf Herbrich, directeur Machine Learning bij Amazon

Pedro Domingos zegt in zijn boek 'The Master Algoritme' dat er ooit een machine learning algoritme zal bestaan dat iedere denkbare kennis uit data kan destilleren. Dat klinkt als de science fiction roman The Hitchhiker's Guide to the Galaxy. Maar zonder enige kennis kun je er ook mee uit de voeten.

Ralf Herbrich, directeur van Machine Learning bij Amazon, begon met programmeren toen hij elf jaar oud was, met een ZX 81. Hij studeerde informatica en richtte zich aanvankelijk op kunstmatige intelligentie. Later richtte hij zich op machine learning. We spreken met hem over ML en Amazon.

Wat is de definitie van Machine Learning (ML)?

"Er zijn verschillende scholen in het denken over machine learning systemen, maar wat ze allemaal gemeen hebben, is dat machine learning een verzameling van algoritmen is, die voorspellingen doet over de toekomst op basis van gegevens die in het verleden zijn verzameld. Of je nu hoort bij de neurale netwerk leerschool of de Bayesiaanse school van de expert systemen, dit geldt voor iedereen. Er zijn verschillen waar het gaat om het wiskundige datamodel en de voorspelfuncties en de optimalisatie-algoritmen die worden gebruikt als resultaat van dat wiskundige model."




Als ontwikkelaar moet je schipperen tussen mogelijkheden, tijd en eisen van de business. Bekijk de special over Development in de Cloud en geef je mening!


Wanneer ben je begonnen met ML?

"Ik begon in 1995 AI te studeren, maar na de AI-winter lag de nadruk op onderzoek in de machine learning. (AI-winter: tussen 1974-1980 keerde AI terug naar een toestand van verminderde investeringen en interesse, red). Tussen 1999 en 2003 werkte ik aan de theorie van machine learning waarna ik op het gebied van Bayesian machine learning actief was. AI kreeg in 2012 weer momentum en daarmee begon de tweede bloeiperiode van AI. Je weet wel, in de toegepaste machine learning heb je twee ingrediënten die ervoor zorgen dat de methoden nu zo goed werken: enorme hoeveelheid berekeningen om voorspellende functies te berekenen, en enorme hoeveelheden data-gegevens om die voorspellende functies uit af te leiden (leren). In het midden van de jaren negentig hadden we noch voldoende rekenkracht, noch voldoende gegevens. Vandaag hebben we veel meer sensoren om de gegevens die zinvol zijn voor menselijke interactie met machines te verzamelen en we hebben de rekenkracht in de cloud. Nu beginnen de algoritmen die bijna twintig jaar geleden werden uitgevonden echt van betekenis te worden voor de maatschappij.

"We zitten in een tijdperk waar een individu rekenkracht en opslag in de cloud kan huren, waar je voorheen een heel gebouw voor nodig had. En je kunt naar behoefte zoveel schalen als nodig is voor een taak. Of het nu machine learning, gegevensopslag of gegevensanalyse betreft, je kunt het echt elastisch beschikbaar maken met behulp van Amazon Web Services. De kracht van cloud-diensten in het algemeen en Amazon Web Services in het bijzonder, is het feit dat een persoon daadwerkelijk pieken in de vraag kan volgen. Dit is een van de grote enablers voor ML vandaag en in de toekomst."

Twee verschillende stadia

"Bij Machine Learning, heb je twee verschillende fasen: de eerste fase is de training, waarbij een klant een data-opslag-systeem heeft en nu een algoritme wil hebben om de patronen te vinden in de gegevens. Training betekent het aanpassen van de parameters van de voorspellende functie aan de datamodellen. Zonder de cloud is het nauwelijks mogelijk om dit op een economische manier te doen. In de tweede fase, die we voorspelling (prediction) noemen, is er de voortdurende behoefte aan rekencapaciteit bij het toepassen van de voorspellende functie ten behoeve van toekomstige prognoses."

Dus Amazon verkeerde in een goede uitgangspositie om machine learning aan te bieden.

"Eigenlijk gebruikt Amazon al sinds vele jaren op grote schaal ML-algoritmes voor search, vraagvoorspelling en aanbevelingen. Om een voorbeeld te geven: door het voorspellen van de vraag naar producten zijn we in staat om meer keuze en lagere prijzen aan te bieden aan onze klanten. De patronen die door de ML-systemen gedetecteerd worden, kunnen namelijk door onze inventarismanagementsystemen benut worden. Doordat we vroeg begonnen zijn met machine learning, leerden we ook de obstakels kennen bij het gebruik van dergelijke systemen voor ontwikkelaars. We hebben veel geleerd van de lessen in deze jaren. Toen we Amazon Machine Learning (AML) bouwden, de ML-service op Amazon Web Services (AWS), verwijderden we juist die obstakels, omdat we weten dat ze een barrière vormen voor de toegang voor softwareontwikkelaars. We wilden het niet moeilijker maken.