Om du är intresserad av detta foto, så kontakta gärna mig!

Abode’s AI-uppskalningsverktyg Super Resolution

15 mars, 2021 ,

Abode slog stort på trumman när de lanserade Super Resolution, du kan läsa deras pressmeddelande här, men hur bra är det egentligen och är AI-uppskalning bättre än andra uppskalningsmetoder?

En av de vanligaste metoderna för uppskalning, eller förstoring, är att använda sig av en bikubisk algoritm. Denna är bra vid mindre förstoringar men efter en viss gräns börjar bilderna tappa skärpa och blir väldigt mjuka.

I Photoshop CC 2018 introducerade Adobe en ny förstoringsteknik som kallas för Preserve Detail 2.0 som inte bara ska kunna förstora bilden utan också bevara detaljerna och därmed skärpan.

Men innan vi går in på teknikerna och resultaten så ska vi diskutera lite om problematiken med att förstora bilder.

Nedskalning

Att förminska en bild med görs genom att man tar fyra närliggande pixlar och utifrån pixlarnas färg skapar man en ny färg som är medelvärdet av dem och vid förminskningen så applicerar man just den färgen, se bild nedan.

Inom filmindustrin så kallas detta för att super-sampla, genom att skala ned filmmaterial som är inspelat i 4K till Full HD (1080p) så får man ett resultat som dels minskar bruset i filmen men som också ger en upplevd förbättring i skärpan.

Uppskalning

Att förstora en bild är lite mer besvärligt, för du kan inte jämföra pixlar och lägga samman dem och skapa ett medelvärde och hoppas att det blir bra. Här ska du flytta pixlar utåt och sedan gissa vad färgerna blir i tomrummen, se följande illustration.

Det logiska vore att placera pixlarna som ovan och sen försöka komma fram till de övriga färgerna genom att se vilka övergångar som behövs för att nå de definierade färgerna, men verkligheten är mer komplex än så och resultatet är därför följande.

Som du kan se så är inte det övre högra hörnet inte lika mörk längre och långt ifrån svart, samtidigt så är inte rutorna nedanför inte direkt ljusare än de som ska vara mörkare och likadant blir det även på den vänstra halvan. Detta resulterar i att färgen påverkas men framförallt kontrasten och skärpan påverkas till stor del, vilket vi kommer se mer av nedan.

Uppskalning med AI

Exemplet du såg ovan är en form av bikubisk förstoring, men vad händer ifall du använder dig av AI-tränad uppskalning som Preserve Details 2.0 i Photoshop? Resultatet ser vi här.

Här ser vi en direkt skillnad gentemot föregående bild, det är mer distinkt skillnad mellan varje kvadrat som ska representera den ursprungliga bilden och därmed har vi bibehållen kontrast och skärpa och samt färger som bättre överensstämmer med originalet. Tyvärr så introduceras brus här också, men det är något vi troligen inte kan komma ifrån eftersom vi introducerar pixlar som inte var där från början.

Hur blir det i verkligheten?

Det är dags att gå från pixelnivån som vi har tittat på hittills och börjar titta på uppskalningar med riktiga bilder som består av betydligt fler än bara fyra pixlar.

Följande bild demonstrerar en lågupplöst bild på en räv som jag har skalat upp med olika metoder.

Längst till vänster har vi originalet som jag har zoomat in till 200 %. Nästa bild är med bikubisk förstoring och som vi kan se så är den slående lik den föregående men med mjukare övergångar mellan färgerna, vilket syns på öronen. Däremot så är bilden i stort sett ganska mjuk och saknar skärpa.
Den tredje bilden är med Preserve Details 2.0 och den har bättre skärpa och kontrast än den bikubiska men också lite mer brus. Sista är AI-uppskalningsmetoden Super Resolution i Camera Raw och skärpan samt detaljer ökar en hel del i jämförelse med andra metoder men dessvärre på bekostnad av mer brus. Tittar man på växten nere till vänster om räven så ser den betydligt bättre ut i Preserve Details 2.0 än med Super Resolution.

Men detta var ju en lågupplöst bild på 3,5 megapixlar (MP), hur blir det om man använder sig av en bild som är i grunden skarpare än vad denna är och framförallt har högre upplösning? För matar man artificiell intelligens med skräp så kommer den också returnera skräp.

AI vs. AI

Följande bild på kungsfågel är en direkt jämförelse mellan de två AI-baserade uppskalningsmetoderna. Skillnaden mellan de två är främst skärpan men också bruset. Preserve Detlails 2.0 brusreducering är satt till noll, men ändå är den något mjukare och mindre brusig än Super Resolution. Här skulle jag ge Preserve Details 2.0 en poäng.

Går vi över till landskap så blir rollerna annorlunda. Följande motiv av grottan på Skuleberget drar fördelar av Super Resolutions skarpare och brusigare resultat av förstoringen, för det gör bilden mer dynamisk men också skarpare än Preserve Details 2.0 som ger mjukare detaljer i berget. Titta dessutom på skogen, den känns lite mer naturlig i Super Resolution än i den andra och jag tror också att det är här Super Resolution verkligen skiner.

Super imponerad

Så hur kan detta påverka just dina bilder?

Som ett exempel har vi följande sånglärka som är zoomad till 100% och beskuren i både originalbilden men också i den uppskalade bilden.

Vad detta möjliggör är att om du har en tillräckligt skarp och detaljrik bild på något, som egentligen tar upp en bråkdel av den bild, så kan du simulera hur det vore att fotografera det med en 2X extender utan att förlora ljusstyrkan.
Denna bild är tagen med ett 400 mm objektiv och genom att applicera Super Resolution så ger det en illusion om att ha fotat med en 800 mm objektiv, eller en 400 mm med 2X extender. Visst, bildkvalitén kanske inte ligger på samma nivå som du hade fått med riktig optik men å andra sidan så är dessa bilder på sånglärkan redan redigerade i Lightroom innan jag applicerade uppskalningen. Notera också att simuleringen endast stämmer om du håller dig till samma upplösning/utsnitt som originalbilden. Det vill säga att jag beskär Super Resolution till samma upplösning som originalet.

Tittar man på resultatet så är det imponerande, speciellt med tanke på hur snabbt det här verktyget ändå i jämförelse med konkurrenter.

 

Nog med diskussion kring resultaten, hur använder man detta verktyg på bästa möjliga sätt?

Min rekommendation är att öppna en raw-fil i Photoshop utan någon som helst handpåläggning förutom objektivkorrigeringar och spara den som .tif fil, det är viktigt att filen består av ett enda lager. Varför kommer du få läsa under sektionen begräsningar.

För att kunna använda Super Resolution på en .tif fil så går du till Arkiv-> Öppna som.. (File-> Open as…) och i dialogen som öppnas ändrar du filformatet från Photoshop till Camera Raw och välj sedan bilden och klicka sen Öppna.

Högerklicka sen på bilden i Camera Raw fönstret och välj Förbättra.. (Enhance..) eller Ctrl+Shift+D. Bocka i Super Resolution ifall det inte är det och klicka sen på Förbättra (Enhance).

Du bör endast använda detta på oredigerade bilder, i andra fall ska du använda dig av Preserve Detail 2.0.

Begränsningar

Självklart har denna teknik begränsningar, som att du inte kan bocka ur Raw information när du ska göra en Super Resolution på en raw-fil.

Anledningen till att jag tar upp detta är för att i vissa sammanhang så får man färgartefakter som bandning och färgstick som inte alls var där från början. Följande bild demonstrerar detta väldigt väl. Bilden till höger är en kopia av raw-filen, fast sparad som en .tif fil, och öppnat den i Camera Raw och valt Super Resolution, skillnaden här är att eftersom det inte är en raw-fil så bockar Camera Raw automatiskt ur Raw information och därmed så försvinner artefakterna. Däremot ger det lite mer brus men samtidigt något bättre skärpa, brus kan man alltid minska i efterhand men färgartefakter är en helt annan historia.

Här har du ett annat exempel på artefakter som kan uppstå med Raw information, den vänstra bilden är är förstorad med Preserve Details 2.0 som saknar dessa artefakter. Det lustiga är att beskrivningen för Raw information är att den ska förbättra detaljer och minskar artefakter i de flesta raw-filer, vilket den uppenbarligen inte lyckas med när det gäller Super Resolution.

Du kan inte heller styra över förstoringen av bilden. Det är en fast 200%, eller två gångers, förstoring av bilden och när du väl har gjort det så kan du inte öppna .dng filen som Camera Raw har skapat och göra en ny förstoring på den, tydligen så sparar Camera Raw information om att den redan är förstorad och därmed förhindrar den bilden från att bli förstorad igen. Däremot så kan du kringgå detta genom att spara bilden som .tif och öppna den som Camera Raw-fil och utföra förstoringen. Bara din fåfänga och ditt grafikkort samt RAM-minne sätter gränsen till hur pass mycket du kan förstora bilden till.

Varför finns Super Resolution?

Detta leder till den stora frågan, varför finns ens Super Resolution när Preserve Details 2.0 finns, som dessutom också är AI-baserad? Svaret är oerhört simpelt, för att Preserve Details 2.0 kan endast tillämpas i Photoshop på filer som du redan har öppna och arbetar med. När du väl har gjort en förstoring så är det svårt att senare gå tillbaka att bearbeta resultatet på nytt. Man pratar ofta om ”non-destructible photo-editing” och att förstora en bild mitt under ett arbete är något som är oåterkalleligt ifall du fortsätter bearbeta bilden. Förstoring ska endast ske efter att du är klar med bilden och det kan resultera i vissa saker av processen blir mindre bra när förstoringen väl sker, som retuschering. Vad Super Resolution gör är att den tar all information som raw-filen har och bearbetar den samtidigt som den förstorar bilden och sparar det till Adobe’s eget raw-format, .dng. Detta betyder att filen som du utgår från är redan dubbelt så stor och du kan bearbeta den precis som du hade gjort utan förstoring. Du kan dessutom alltid börja om från början när du väl känner det och ändå bibehålla förstoringen.

Vem är Super Resolution för?

Denna funktion är kanske inte direkt lämpad för de som redan fotograferar med en kamera med högt megapixeltal, men däremot så är den lämpad för de som fotar med drönare som ofta har en liten sensor på 12 MP. Följande exempel är ett utsnitt på toppstugan på Skuleberget där jag har förminskat originalbilden till 12 MP och låtit Super Resolution förstora bilden till 48 MP.

En annan del av samma bild, men här är utsnittet 2:1 och inte 1:1 som i ovan.

Det skulle även kunna få äldre bilder som tagna med kameror färre megapixlar att få sig ett litet ansiktslyft, som denna fiskmås som är tagen med Canon ESO 1000D som har en 12 MP sensor.

Sedan har naturfotografer som fotograferar djur och fåglar en stor fördel med detta verktyg, ifall deras subjekt är tillräckligt skarp och är fylld med detaljer, för det gör det möjligt att kunna publicera och skriva ut en större bild på djuret eller fågeln än vad de annars hade kunnat göra med samma upplösning på originalbilden, som med exemplet med sånglärkan ovan.

Varför passar det inte alla?

Fotar du landskap och har en sensor på 20 MP eller högre så tjänar du inte så pass mycket på det som om du hade gjort ifall du fotade med en drönare. Anledningen är att landskapsbilder och många naturmotiv är väldigt förlåtande vid utskrift, det behöver inte vara lika knivskarpt som det kan behövas vara på djur eller fåglar. Dessutom, en tavla ska ändå betraktas på avstånd och för sociala medier så spelar det ingen roll ifall du lyckas tvinga upp bilden i en gigapixel, Facebook kommer ändå skala ned den till drygt 2 MP medan Instagram skalar ned det till 1 MP.

Dessutom så blir inte alla bilder direkt bättre vid förstoring och detta beror bland annat på vilket objektiv du använder. Om objektivet är ganska mjuk i skärpan så kommer även förstoringen att bli mjuk och inte skarpare. Däremot om bilden redan är riktigt skarp så vinner du inte något på att förstora den heller. Jag testade på en av mina rävbilder där rävens huvud täcker hela bilden och lyckades få upp bilden i 320 MP och blev bilden bättre för det? Nej, det blev en .dng fil på 1,56 GB till i stort sett ingen nytta. Vid utskrift så skulle jag högst troligen inte se någon skillnad på vilken som är utskriven från 20 MP originalet eller den galna 320 MP förstoringen.

Framtiden för Super Resolution

Än så länge finns Super Resolution bara i Adobe Camera Raw och det verktyget ingår inte i allas arbetsflöde, framförallt inte i mitt arbetsflöde. Men Adobe har lovat att verktyget kommer komma till Lightroom och Lightroom Classic inom snar framtid med en uppdatering och man kommer därmed kunna förstora bilderna direkt innan man börjar bearbeta bilderna, likt när man skapar HDR-sammanslagningar eller Panorama. Det man bör tänka på är att du kommer troligen inte kunna bocka ur Raw information boxen och man får dessutom testa sig fram med vilka bilder det fungerar med eller inte. I värsta fall får man ta till den metoden som jag beskriver ovan, det avbryter ens normala arbetsflöde men kan vara värt att göra så på enstaka bilder där det behövs. Vi kan ju alltid hoppas att Adobe antingen förbättrar Raw information funktionen tillsammans med Super Resolution eller att man ger möjligheten att bocka bort den vid Super Resolution.

En kommentar från mig

När du öppnade denna artikel så kanske du hade hoppats på att kunna få titta på bilder i 80 MP eller varför inte 320 MP upplösning och jag ska berätta för dig varför det inte är fallet.

Trots att vi lever i en tid där alla har relativt snabba bredband så blir dessa bilder väldigt stora i storlek, 80 MP landar på 45 MB i bästa jpeg-kvalité, och dessutom så blir det väldigt opraktiska att titta på, även på en 4K skärm eftersom bilderna i detta bloggflöde är begränsat till 650 pixlars bredd. Tittar du dessutom på bilden i fullskärmsläge (fås genom att klicka på bilderna) så ser du bara en bråkdel av bildens upplösning, som dessutom är förminskad (troligen med en bikubisk nedskalning). Bilderna är därför skärmdumpar som är tagna direkt från Photoshop och i .png format för att kunna leverera bästa möjliga kvalité utan att ta bort upplevelsen.

Sista anledningen är bildstölder, det sker dessvärre hela tiden och lägga upp en bild på 80 MP i bra kvalité är som att lägga ifrån sig telefonen på en befolkad plats, som ett fik. Det är som att be om att den ska bli stulen. Bildstölder kan dessutom bli riktigt besvärliga, speciellt när det kommer till rättsliga processer. Därför begränsar jag alltid storleken på mina bilder och har en vattenstämpel på alla bilder. Jag kanske är lite paranoid här, men jag känner till personer som har haft enorma problem med bildstölder som antingen hamnar på sidor från ett annat land eller hamnar på produkter. Hursomhelst, vill du veta hur pass bra detta verktyg är så testa själv – jag rekommenderar det.

2 kommentarer

Lämna ett svar Avbryt

Denna webbplats använder Akismet för att minska skräppost. Lär dig hur din kommentardata bearbetas.