Confidence

Confidence, in een machine-learning-context, verwijst naar hoe zeker een model zichzelf rapporteert te zijn over een specifieke voorspelling. De confidence van een model is alleen betekenisvol als het goed gekalibreerd is: een model dat zegt 90% zeker te zijn zou ongeveer 90% van de tijd gelijk moeten hebben voor voorspellingen op dat zekerheidsniveau, niet alleen een hoog getal rapporteren ongeacht de daadwerkelijke nauwkeurigheid.

Waarom kalibratie bepaalt of een confidence-score te vertrouwen is

Een slecht gekalibreerd model kan hoge confidence rapporteren over voorspellingen die vaak fout zijn, wat verklaart waarom kalibratie, niet alleen het ruwe confidence-getal, bepaalt of die confidence-score daadwerkelijk betrouwbaar genoeg is om op te handelen.

Waar confidence van toepassing is

Niet op de tekening; confidence is een eigenschap van de uitkomst van een model voor een specifiek onderdeel of situatie, niet iets dat de eisen van het onderdeel specificeren.

Veelgemaakte fouten

Het gerapporteerde confidence-getal van een model op waarde aannemen zonder te controleren of het model daadwerkelijk goed gekalibreerd is; een ongekalibreerd confidence-getal kan misleidend zijn.

Is de confidence-score van een model altijd betrouwbaar?

Alleen als het model goed gekalibreerd is; een ongekalibreerd model kan hoge confidence rapporteren over voorspellingen die vaak fout zijn.

Wat betekent 'gekalibreerd' hier?

Dat het gestelde zekerheidsniveau van een model overeenkomt met zijn daadwerkelijke nauwkeurigheidspercentage op dat niveau, zoals 90% van de tijd gelijk hebben wanneer het 90% confidence rapporteert.

Waarom doet dit ertoe voor productie-AI?

Omdat een overtuigend foute voorspelling die niet gemarkeerd wordt voor controle tot een kostbare fout kan leiden, wat verklaart waarom gekalibreerde confidence, niet zomaar elk confidence-getal, ertoe doet voor betrouwbare automatisering.