Onzekerheid

Hoe zeker een model of inschatting daadwerkelijk is over zijn eigen voorspelling, los van de voorspelling zelf.

Definitie

Onzekerheid, in de context van een machine-learning-model of inschatting, is een maat voor hoe zeker die voorspelling daadwerkelijk is, los van de ruwe waarde van de voorspelling. Een model kan een voorspelling geven zonder enige aanduiding van hoe betrouwbaar die is; het expliciet kwantificeren van onzekerheid laat een systeem (of een persoon) weten wanneer een voorspelling te vertrouwen is en wanneer nadere controle nodig is.

Waarom gemarkeerde onzekerheid bruikbaarder is dan stille, onbetrouwbare zekerheid

Een voorspelling met hoge onzekerheid die als zodanig gemarkeerd is, is bruikbaarder dan een overtuigend ogende maar stilzwijgend onbetrouwbare, wat verklaart waarom het kwantificeren van onzekerheid, niet alleen het produceren van een voorspelling, ertoe doet voor een systeem bedoeld om menselijke controle van randgevallen te ondersteunen.

Waar onzekerheid van toepassing is

Niet op de tekening; onzekerheid is een eigenschap van de uitkomst van een model toegepast op een specifiek onderdeel of situatie, niet iets dat de eisen van het onderdeel specificeren.

Veelgemaakte fouten

Elke modelvoorspelling als even betrouwbaar behandelen ongeacht context; een model is vaak minder zeker bij ongebruikelijke geometrie of situaties ver van zijn trainingsdata, en dat verschil doet ertoe voor hoezeer de voorspelling vertrouwd moet worden.

Wat het betekent voor uw calculatie

Een voorspelling met hoge onzekerheid die als zodanig gemarkeerd is, is bruikbaarder dan een overtuigend ogende maar stilzwijgend onbetrouwbare, wat verklaart waarom het kwantificeren van onzekerheid, niet alleen het produceren van een voorspelling, ertoe doet voor een systeem bedoeld om menselijke controle van randgevallen te ondersteunen.

Lees het onderzoek

Veelgestelde vragen

Is onzekerheid hetzelfde als confidence?

Ze zijn nauw verwant; onzekerheid en confidence zijn vaak twee manieren om dezelfde onderliggende betrouwbaarheidsinschatting te beschrijven, soms als complementaire maten.

Waarom zou een productie-AI-systeem onzekerheid moeten kwantificeren?

Om voorspellingen bij ongebruikelijke onderdelen of situaties te markeren voor menselijke controle, in plaats van elke uitkomst met gelijke, ongegronde zekerheid te presenteren.

Betekent hoge onzekerheid dat een voorspelling fout is?

Niet per se; het betekent dat het model minder zeker is over die specifieke voorspelling, wat nuttige informatie is ongeacht of de voorspelling uiteindelijk klopt.

Noten en bronnen

  1. Abdar, M., Pourpanah, F., Hussain, S. et al. (2021). A review of uncertainty quantification in deep learning: Techniques, applications and challenges. Information Fusion, 76, 243–297. https://doi.org/10.1016/j.inffus.2021.05.008 Een veelgeciteerde review van technieken voor onzekerheidskwantificering in deep learning, hier gebruikt als onderbouwing van deze definitie.