Foundation model

Een foundation model is een groot machine-learning-model getraind op brede, uiteenlopende data, bedoeld om te dienen als basis die aangepast kan worden (via verdere training of prompting) aan veel specifieke downstream-taken, in plaats van vanaf nul gebouwd te worden voor één smal doel. Grote taalmodellen zijn het meest bekende voorbeeld, al strekt het concept zich uit tot andere datatypes, inclusief, als actieve onderzoeksrichting, geometrie.

Waarom een foundation model aanpassen goedkoper is dan vanaf nul trainen

Een bestaand foundation model aanpassen aan een nieuwe taak is doorgaans veel goedkoper dan een vergelijkbaar model vanaf nul trainen, wat de belangrijkste praktische aantrekkingskracht is van de foundation-model-benadering, al vereist de eigen brede training van het foundation model nog steeds aanzienlijke data en rekenkracht.

Waar foundation models van toepassing zijn

Niet op de tekening; een foundation model is een categorie machine-learning-model gebruikt binnen software, niet iets gespecificeerd door de eisen van een onderdeel.

Veelgemaakte fouten

Aannemen dat elk groot machine-learning-model kwalificeert als foundation model; de term impliceert specifiek brede training bedoeld voor aanpassing aan veel downstream-taken, niet alleen grote omvang op zichzelf.

Is een groot taalmodel hetzelfde als een foundation model?

Een groot taalmodel is één prominent voorbeeld van een foundation model, specifiek voor tekst; het bredere concept strekt zich ook uit tot andere datatypes.

Bestaat een geometry foundation model al?

Niet als gevestigde, breed gevalideerde technologie; het blijft een opkomende onderzoeksrichting, te onderscheiden van het gevestigde taal-foundation-model-concept.

Waarom een foundation model aanpassen in plaats van vanaf nul trainen?

Omdat het aanpassen van een bestaand breed getraind model aan een nieuwe taak doorgaans veel goedkoper is in data en rekenkracht dan een vergelijkbaar model vanaf niets trainen.