Microsoft AI introduceert Orca 13 miljard parameter model

Microsoft meldt in een blog: 'Recent onderzoek heeft zich gericht op het verbeteren van de mogelijkheden van kleinere modellen door middel van imitatieleren , gebruikmakend van de resultaten die worden gegenereerd door grote basismodelllen ofwel Large Foundation Models (LFM's). Een aantal problemen hebben invloed op de kwaliteit van deze modellen, variërend van beperkte imitatiesignalen van ondiepe LFM-uitgangen; kleinschalige homogene trainingsgegevens; en met name een gebrek aan rigoureuze evaluatie, wat resulteert in het overschatten van het vermogen van het kleine model, aangezien ze de neiging hebben om de stijl te leren imiteren, maar niet het redeneerproces van LFM's. 

Om deze uitdagingen het hoofd te bieden, ontwikkelen we Orca , een model met 13 miljard parameters dat leert het redeneerproces van LFM's te imiteren. Orka leert van rijke signalen uit GPT 4 inclusief uitlegsporen; stapsgewijze denkprocessen; en andere complexe instructies, begeleid door docentenassistentie van ChatGPT. 

Om dit progressieve leren te bevorderen , maken we gebruik van grootschalige en diverse imitatiegegevens met oordeelkundige bemonstering en selectie. Orca overtreft conventionele state-of-the-art op instructies afgestemde modellen zoals Vicuna-13B met meer dan 100% in complexe zero-shot redeneerbenchmarks zoals Big-Bench Hard (BBH) en 42% op AGIEval. 

Bovendien Orka bereikt pariteit met ChatGPT op de BBH-benchmark en toont competitieve prestaties ( 4 punten verschil met geoptimaliseerde systeemboodschap) in professionele en academische examens zoals de SAT, LSAT, GRE en GMAT, beide in zero-shot-instellingen zonder CoT; terwijl je achter GPT – 4 aanloopt.

Ons onderzoek geeft aan dat het leren van stapsgewijze uitleg , of deze nu door mensen of meer geavanceerde AI-modellen zijn gegenereerd, een veelbelovende richting is om de modelmogelijkheden en -vaardigheden te verbeteren.'

Lees meer hier.