Google Research heeft een baanbrekende technologie aangekondigd waarmee fotobewerking eenvoudiger en intuïtiever wordt — rechtstreeks op het toestel, zonder dat gegevens naar de cloud hoeven. In hun blogpost “Introducing interactive on-device segmentation in Snapseed” presenteren ingenieurs Ben Hahn en Florian Kübler een geavanceerd model dat gebruikmaakt van artificiële intelligentie voor realtime objectselectie.
Introducing interactive on-device segmentation in SnapseedWith the new Interactive Segmenter in Snapseed image editing has become easier and more powerful than ever. Simple taps and strokes are translated into accurate selections, allowing users to translate their editing ideas into reality. |
Het probleem van selectieve bewerking
Fotobewerking op mobiele apparaten kent al jaren een uitdaging: hoe selecteer je subtiel één object in een afbeelding — bijvoorbeeld iemand in de voorgrond, een stukje lucht of een kledingstuk — zonder dat je hele foto beïnvloedt wordt? Bestaande hulpmiddelen (zoals het selecteren van “onderwerp”, “achtergrond” of kleurgebaseerde selecties) zijn vaak omslachtig, onnauwkeurig of vereisen veel handwerk.
Gebrek aan precisie bij aanrakingen en de beperkte rekenkracht van mobiele toestellen maken het extra lastig om fijnmazige selecties te maken.
De oplossing: Object Brush
De kern van de nieuwe technologie is de Object Brush — beschikbaar in Snapseed op iOS onder het gereedschap “Adjust”. Gebruikers tekenen een korte lijn of tikken op een object dat ze willen bewerken, en de AI herkent onmiddellijk het volledige object of de persoon. Binnen minder dan 20 milliseconden genereert het systeem een masker dat nauwkeurig de contouren volgt.
Tijdens dit proces is het mogelijk om de selectie direct aan te passen: delen toe te voegen of weg te halen, tot het perfect is. Doordat alles lokaal plaatsvindt — op het toestel — verloopt het bewerken snel en naadloos.
Deze functionaliteit is mogelijk dankzij de onderliggende technologieën MediaPipe en LiteRT, waarmee GPU-versnelling wordt benut om de latenties laag te houden.
Technische achtergrond: Modeltraining en kennisdistillatie
Om een model te maken dat krachtig én compact genoeg is voor gebruik op mobiele toestellen, vertrouwt Google op een tweefasige aanpak:
- Teacher-model (Interactive Segmenter: Teacher): Dit grotere model is getraind met ongeveer 30.000 nauwkeurig met de hand geannotateerde maskers, verdeeld over meer dan 350 objectcategorieën.
- Edge-model (Interactive Segmenter: Edge): Dit lichtere model is afgeleid van het teacher-model via kennisdistillatie. Hierbij gebruikt het onduidelijk geannoteerde datasets (meer dan 2 miljoen afbeeldingen) en het teacher-model om realistische prompts te genereren en de kennis over te dragen.
Door deze methode kan het Edge-model verrassend accurate selecties maken, ondanks zijn beperkte omvang.
Balans tussen kwaliteit en snelheid
Een grote uitdaging was de balans tussen segmentatienauwkeurigheid en interactiviteit. Google koos voor een scheiding van “beeldverwerking” en “promptverwerking”:
- Beeldencoder (zwaar model): wordt eenmaal per afbeelding uitgevoerd om semantische kenmerken te extraheren.
- Interactieve decoder (licht gewicht): reageert op de gebruiker’s aanrakingen (prompts) en genereert binnen de 20 ms de uiteindelijke maskers.
Voor hoogresolutie-foto’s wordt het masker eerst berekend in 768×768 resolutie en vervolgens efficiënt opgeschaald (tot maximaal 4K), met behoud van details.
Op een iPhone 16 Pro bedraagt de decoderlatentie slechts 7,4 ms dankzij quantisatie en GPU-versnelling.
Uitrol, toepassingen en toekomst
De Object Brush wordt binnenkort gefaseerd uitgerold naar Snapseed-gebruikers op iOS. Later komen ook uitbreidingen naar andere tools binnen Snapseed.
Bovendien wordt het segmentatiemodel al gebruikt in andere Google-producten — zoals de Gallery-app op de Chromebook Plus 14, waar het AI-beeldbewerking aandrijft.
Op de langere termijn is het de bedoeling dat deze technologie breder geïntegreerd wordt in creatieve toepassingen binnen Google en mogelijk daarbuiten.
Slotbeschouwing
Met interactieve on-device segmentatie in Snapseed is Google erin geslaagd om geavanceerde beeldbewerking dichter bij gebruikers te brengen — in realtime, vloeiend en intuïtief. Waar vroeger nauwkeurige selecties tijdrovend of lastig waren, kunnen nu complexe objecten simpelweg met een veeg worden bewerkt. Deze technologische stap zou wel eens de manier kunnen veranderen waarop mobiele fotobewerking zich verder ontwikkelt.
