Varje objekt får sin egen form
I BadBobs experimentella recept · Recept granskat 29 oktober 2026
En instansmask besvarar frågan: vilka pixlar hör till just det här objektet? Två äpplen som ligger intill varandra behöver två separata masker.
BadBobs experimentella segmentering använder YOLACT med en ResNet-50-ryggrad. Den vägen skiljer sig från Create ML-detektorn, som i BadBob kan använda Darknet YOLO eller transfer learning med ObjectPrint. Alla modelltyper har alltså inte samma lager.
Vilka slags objekt finns i bilden? Här får bilden etiketterna äpple och kopp.
Vilka objekt finns, och var? En klass och en box för varje fynd.
Vilken klass tillhör varje pixel? Äpplena delar samma klassfärg.
Vilka pixlar hör till varje enskilt objekt? Äpplena får varsin mask.
Gå djupare
Konturer är redigerbara geometriska gränser. Masker representerar pixelområden. Att omvandla mellan dem kan påverka små hål, smala detaljer och kanter. Därför behöver både annoteringens geometri och masken som faktiskt används i träningen granskas.
ResNet-50, del för del
Ryggraden bygger egenskaper från bilden. ResNet använder residualblock, där en alternativ väg låter information läggas till blockets omvandling.
Den konfigurerade ResNet-50-ryggraden har fyra grupper med 3, 4, 6 och 3 bottleneck-block. Varje bottleneck kombinerar 1×1-, 3×3- och 1×1-konvolutioner. Grupper är inte samma sak som antalet lager i namnet.
Bild + förbehandling
RGB-bilden skalas till receptets kvadrat och normaliseras per kanal. Det här är inte en visning av verkliga aktiveringar.
Stem
Den inledande konvolutionen och poolningen minskar den rumsliga upplösningen och bygger de första egenskaperna.
C2 · 3 block
Den första residualgruppen bearbetar representationen. Detaljer och kontext utvecklas genom många kanaler.
C3 · 4 block
Den här gruppens representation är en av inmatningarna till feature-pyramiden i den konfigurerade modellen.
C4 · 6 block
Fler residualblock bearbetar egenskaper över större mottagningsfält. Gruppen ger också data till pyramiden.
C5 · 3 block
Den djupaste av dessa grupper ger ytterligare kontext till pyramiden. Mindre rumsliga kartor betyder inte färre egenskaper.
Gå djupare
Residualkopplingen uttrycks schematiskt som y = F(x) + x. När dimensionerna skiljer sig kan genvägen behöva en projektion. En bottleneck minskar först kanalbredden, bearbetar lokalt och expanderar sedan kanalerna.
Diagrammet visar blockgrupper och flöde, inte varje operation, exakt tensorstorlek eller uppmätta filterrespons. Den verkliga formen beror bland annat på inmatningsstorlek och arkitekturens stride/padding.
Se stort och smått samtidigt
En feature pyramid kombinerar representationer på olika skalor. Det ger prediktionshuvudena tillgång till både rumslig information och djupare sammanhang.
I den valda YOLACT-konfigurationen förs egenskaper från C3, C4 och C5 vidare till pyramiden. Den matar både prediktionerna och grenen som skapar prototypmasker.
Gå djupare
FPN använder en top-down-väg och laterala kopplingar för att förena skalor. Flera pyramidnivåer gör det möjligt att söka efter objekt i olika storlekar. Det är inte en garanti att små objekt blir hittade: detaljer som gått förlorade i indata kan inte trollas fram.
Masken byggs av två grenar
Den ena grenen skapar delade prototypmasker för hela bilden. Den andra förutsäger boxar, klasspoäng och maskkoefficienter för kandidaterna.
För ett valt objekt kombineras prototyperna med objektets koefficienter. Resultatet omvandlas till maskvärden, beskärs med boxen och trösklas till ett pixelområde. Prototyperna är inte en lista över färdiga objektklasser.
- RGB-bild
- ResNet-50
- Feature pyramid
Kombinera → beskär → mask
Två grenar delar bildens egenskaper. Prototyperna kombineras med varje objekts egna koefficienter.
Gå djupare
Den pinnade prototypgrenen avslutas med 32 kanaler. För ett objekt bildar dess 32 koefficienter en viktad kombination av dessa prototyper. Schematiskt: Mᵢ = sigmoid(P · cᵢ). I BadBobs inferens beskärs resultatet, interpoleras till receptets upplösning och jämförs med 0,5.
Flera objekt kan använda samma prototyp med olika koefficienter. Därför kan modellen dela bildberäkningar och ändå bygga separata instansmasker. Ingen av illustrationens färgplattor är en verklig prototyp från en körning.
Det BadBob faktiskt kör
I BadBobs experimentella recept · Recept granskat 29 oktober 2026
Det nuvarande experimentella receptet arbetar lokalt på CPU och tillåter bildstorlekarna 128, 256 eller 512. Bilden sträcks till kvadrat; formatet bevaras inte med letterboxing i den här vägen.
Inferensen väljer kandidater med klasspoäng, använder box-NMS för att ta bort överlappande dubbletter och bygger masker för de kvarvarande fynden. GPU-hastigheterna i forskningsartikeln gäller inte detta CPU-recept.
Gå djupare
Receptet använder SGD. Inferensprotokollet använder klasspoäng minst 0,25, box-NMS vid IoU 0,5, högst 40 kandidater per klass före urval och högst 10 slutliga fynd. Maskmatchning i utvärderingen är klassmedveten och en-till-en vid mask-IoU minst 0,5.
Vid normaliseringen subtraheras RGB-medelvärdena 123,68 / 116,78 / 103,94 och respektive kanal divideras med 58,40 / 57,12 / 57,38. Modell, normalisering och klassordning hör ihop. Ändras receptet behöver förklaringen uppdateras.