Vad finns i en modell?

BADBOB / FÖRDJUPNING · 8 min

Arkitektur, vikter och bilden som blir till tal.

Läsutkast · Svenska och English

Vi granskar innehåll och illustrationer på svenska och engelska innan fler språk läggs till.

En struktur. Många inlärda tal.

En bildmodell är en beräkningsstruktur med parametrar, ofta kallade vikter. Arkitekturen bestämmer vilka beräkningar som kopplas samman. Vikterna påverkar vad beräkningarna ger för resultat. Träning justerar dessa tal med hjälp av exempel.

Tänk på en bild av två äpplen och en kopp. Modellen får pixelvärden — inte orden ”äpple” eller ”kopp”. Den räknar fram representationer som gör det möjligt att förutsäga de klasser och former den tränats för.

  1. Bild
  2. Lager
  3. Förutsägelse
Pedagogisk illustration — inte en körd modell eller uppmätta aktiveringar.
Gå djupare

Ett lager tar emot en tensor, gör en operation och lämnar en ny tensor. En tensor är en samling tal med en form, till exempel kanaler × höjd × bredd. Vissa lager har träningsbara parametrar; andra, som en fast storleksändring, behöver inte ha det.

Parametrar är inte samma sak som inställningar. Inlärningshastighet, batchstorlek och antal träningssteg är val för träningsprocessen. Filtervikter och bias är värden som optimeringen lär in.

Vad är en vikt?

En vikt är ett tal som modellen använder när den räknar. Genom att multiplicera ett inkommande värde med vikten ändras hur stort bidraget blir till nästa beräkning.

Om värdet är 2 och vikten är 0,5 blir bidraget 1. Med vikten 2 blir bidraget i stället 4. Under träningen justeras många sådana tal tillsammans för att minska felet i modellens förutsägelser.

Gå djupare

Ett lager kan summera flera viktade värden och lägga till en bias, ett separat inlärt tal. Vikter kan vara positiva, negativa eller noll. De samverkar över många lager; en enskild vikt har därför sällan en enkel betydelse som ”äpple”.

Fyra frågor till samma bild

Klassificering beskriver innehållet i bilden. Objektdetektion lägger också till var varje objekt finns. Segmentering går vidare till pixlarna.

Semantisk segmentering samlar pixlar efter klass. Instanssegmentering skiljer dessutom enskilda objekt åt, även när de tillhör samma klass. Prova vyerna på samma illustrerade bild.

ÄppleÄppleKopp
Äpple
Kopp

Vilka objekt finns, och var? En klass och en box för varje fynd.

Pedagogisk illustration — inte en körd modell eller uppmätta aktiveringar.
Gå djupare

En box anger ett begränsat område, inte objektets exakta form. En instansmask anger pixelmedlemskap för ett bestämt objekt. En prediktion kan därför ha en rimlig box men en dålig mask. De behöver granskas och mätas som olika resultat.

Lager omvandlar information

Ett konvolutionsfilter bearbetar små lokala områden med delade vikter. Många filter ger flera egenskapskartor, feature maps. Nästa lager kan kombinera sådana svar över större delar av bilden.

Det är frestande att säga att ett lager ser kanter och nästa ser äpplen. Det kan hjälpa som första bild, men ett nät arbetar med fördelade representationer. En enskild kanal har inte alltid ett enkelt, mänskligt namn.

Gå djupare

En 3×3-konvolution med 64 inkanaler och 128 utkanaler har 3×3×64×128 = 73 728 filtervikter, plus eventuell bias. Antalet beror på kanaler och filterstorlek, inte direkt på bildens bredd.

Stride styr hur tätt filtret förflyttas. Padding påverkar kanterna och utstorleken. En icke-linjär aktivering gör att flera lager kan uttrycka mer än en enda linjär omvandling.

Att använda modellen är inte att träna den

Vid inferens bearbetas en ny bild med de inlärda vikterna. Poäng, boxar eller masker kan därefter filtreras och ritas upp av appen. Att ändra visningströskeln ändrar vilka fynd du ser; det lär inte om modellen.

I BadBob är mänskliga annoteringar facit och AI-förslag kandidater att granska. En sparad rättning blir träningsunderlag först när du tar den genom dataset- och träningsflödet.

Gå djupare

En modellpoäng är inte ett löfte om att ett fynd är rätt. Resultatet beror också på bilddata, förbehandling, klassordning och efterbehandling. Samma vikter med fel bildskalning kan ge helt andra resultat.

Och ChatGPT — fungerar det på samma sätt?

Det finns en gemensam grund: tränade parametrar och beräkningar över indata. Men en objektdetektor och en språkmodell har olika uppgifter, representationer och träningsmål. En språkmodell är inte bara en större äppeldetektor.

Textmodeller bearbetar tokens, som kan vara ord, delar av ord eller andra textenheter, och genererar fortsättningen token för token utifrån sammanhanget. Assistenten kan också ha verktyg och ett samtalsgränssnitt runt modellen.

Gå djupare

Exakt hur den aktuella OpenAI-modellen är byggd är inte fullständigt offentligt. Den här jämförelsen beskriver allmänna principer, inte modellens exakta antal lager, parametrar eller interna resonemang. Att lägga text i ett samtal är heller inte samma sak som att göra ett träningssteg i BadBob.

Källor och vidare läsning