Kan software een slechte cameralens repareren?

Moderne camera's kunnen indrukwekkende dingen doen.

Ruisonderdrukking kan ervoor zorgen dat een donker beeld er schoner uitziet. AI-algoritmen kunnen de randen verscherpen. Software kan vervormingen corrigeren, kleuren aanpassen en zelfs ontbrekende details genereren.

Dus natuurlijk vraagt ​​iemand uiteindelijk:

Als software zo goed wordt, hebben we dan nog steeds een dure cameralens nodig?

Kort antwoord:

Ja. Heel erg.

Software kan een middelmatig imago verbeteren.

Het kan slechte optische informatie niet op betrouwbare wijze omzetten in goede optische informatie.

En dat onderscheid is belangrijker dan ooit, omdat camera’s worden gebruikt voor AI-herkenning, robotica, surveillance, automotive imaging en machine vision.

Software is erg goed in het opruimen van rommel

Laten we software eerst wat eer geven.

Moderne beeldverwerking kan veel doen.

Als een afbeelding ruis bevat, kunnen algoritmen deze verminderen.

Als lensvervorming voorspelbaar is, kan software de geometrie corrigeren.

Als een afbeelding een enigszins zwak contrast heeft, kan verscherping en lokale contrastverbetering ervoor zorgen dat deze er beter uitziet.

Kleurverwerking kan ook bepaalde kenmerken van het beeldvormingssysteem compenseren.

Dit is ongelooflijk handig.

Moderne camera's zouden zelfs veel slechter zijn zonder computationele beeldvorming.

Maar er is een belangrijke grens:

Software kan informatie verwerken. Het kan niet perfect informatie herstellen die het optische systeem nooit heeft vastgelegd.

Dat is waar de lens in beeld komt.

Je kunt niet scherper maken wat nooit is opgelost

Stel je voor dat je een kentekenplaat vanaf een afstand fotografeert.

De sensor heeft voldoende pixels.

De camera is goed belicht.

Maar de lens kan de kleine karakters niet duidelijk weergeven.

De karakters arriveren bij de sensor als wazige vormen.

Breng nu verscherping aan.

De randen kunnen er sterker uitzien.

Pas AI-verbetering toe.

Het resultaat ziet er misschien nog overtuigender uit.

Maar er is een probleem.

De oorspronkelijke fijne details zijn nooit goed vastgelegd.

De software schat hoe het detail eruit zou kunnen hebben gezien.

Voor een gewone foto kan dat volkomen acceptabel zijn.

Voor toepassingen zoals kentekenherkenning, gezichtsherkenning, industriële inspectie of machine vision zijn ‘er plausibel uitzien’ en ‘betrouwbare informatie bevatten’ niet noodzakelijkerwijs hetzelfde.

Dat verschil is belangrijk.

MTF is waar het argument serieus wordt

Dit is een van de redenen waarom optische ingenieurs aandacht bestedenMTF (Modulatieoverdrachtsfunctie).

MTF beschrijft hoe effectief een lens het contrast op verschillende detailniveaus behoudt.

Een lens met slechte hoogfrequente prestaties kan moeite hebben met het reproduceren van zeer fijne structuren.

Geen enkele vorm van nabewerking kan ervoor zorgen dat die lens zich op magische wijze gedraagt ​​als een fundamenteel beter optisch systeem.

Software kan de schijnbare scherpte vergroten.

Het fysieke oplossend vermogen van de lens kan er niet door worden veranderd.

Dit is de reden waarom een ​​camera met een 8MP-sensor nog steeds teleurstellende details kan produceren als het optische systeem niet in staat is om van die pixels te profiteren.

Je kunt acht miljoen pixels hebben.

Je kunt een wazige lens niet dwingen om acht miljoen nuttige details weer te geven.

Hoe zit het met AI-beeldverbetering?

Dit is waar dingen bijzonder interessant worden.

Op AI gebaseerde beeldverbetering kan soms opmerkelijk overtuigende resultaten opleveren.

Maar er is een subtiel onderscheid tussen:

het herstellen van informatie

En

een waarschijnlijk resultaat opleveren.

AI kan patronen afleiden op basis van wat het heeft geleerd.

Dat kan ervoor zorgen dat een afbeelding er voor een menselijke kijker aanzienlijk beter uitziet.

Maar als de camera wordt gebruikt om een ​​objectieve beslissing te nemen, moeten ingenieurs voorzichtig zijn.

Als een AI-systeem bijvoorbeeld een voertuig identificeert, tekst leest of een fabricagefout inspecteert, geven kunstmatig gegenereerde details mogelijk niet altijd weer wat er daadwerkelijk in de scène aanwezig was.

Met andere woorden:

Een mooi beeld is niet automatisch een betrouwbaar beeld.

Dat is een onderscheid dat de moeite waard is om te onthouden bij het ontwerpen van AI-visiesystemen.

Er zijn enkele problemen die software eenvoudigweg niet ongedaan kan maken

Overweeg een aantal veelvoorkomende optische problemen.

Slechte resolutie

Als de lens geen fijne details kan weergeven, beschikt de software over beperkte echte informatie om mee te werken.

Onvoldoende licht

Een langzame lens in een donkere omgeving kan de sensor dwingen om met een hoge versterking te werken, waardoor ruis ontstaat en bruikbare details worden verminderd.

Software kan de ruis verminderen, maar agressieve ruisonderdrukking kan ook fijne informatie verwijderen.

StrengChromatischAberratie

Software kan bepaalde voorspelbare kleurranden corrigeren, maar ernstige optische aberratie betekent nog steeds dat de oorspronkelijke beeldkwaliteit is aangetast.

Slechte Edge-prestaties

Als de hoeken van een groothoekopname erg wazig zijn, kan digitale verscherping ervoor zorgen dat ze er contrastrijker uitzien zonder dat de ontbrekende details worden hersteld.

Flare en ghosting

Sterke reflecties binnen het optische systeem kunnen het beeld vervuilen. Zodra ongewenst licht zich in het opgevangen signaal heeft gemengd, heeft software slechts een zeer beperkt vermogen om dit perfect te scheiden.

Dit is de reden waarom optisch ontwerp er nog steeds toe doet.

De beste camera maakt gebruik van zowel optica als software

Het echte antwoord is niet:

Optica versus software.

Het is:

Optiek + software.

Een goed ontworpen camera geeft software een goed startpunt.

De lens biedt:

Voldoende resolutie

Voldoende lichttransmissie

Gecontroleerde vervorming

Goed contrast

Stabiele randprestaties

Passende sensormatching

Dan kan beeldverwerking die sterke optische basis gebruiken en het uiteindelijke beeld nog beter maken.

Dit is veel effectiever dan software vragen een fundamenteel zwak optisch systeem te redden.

Zie het als koken.

Software is de smaakmaker.

Een goed algoritme kan een goed beeld beter maken.

Maar als de ingrediënten al aangebrand zijn, is het toevoegen van meer kruiden waarschijnlijk niet de oplossing.

Dit is nog belangrijker voor AI-camera's

Voor traditionele fotografie kan een enigszins imperfect beeld eenvoudigweg onaantrekkelijk zijn.

Voor AI-visie kunnen de gevolgen ernstiger zijn.

AI-algoritmen zijn afhankelijk van visuele kenmerken zoals:

Randen

Vormen

Textuur

Contrast

Kleur

Objectgrenzen

Als het optische systeem deze functies vernietigt voordat ze de sensor bereiken, ontvangt het AI-systeem slechtere input.

Dat kan de detectie- en herkenningsprestaties beïnvloeden.

Dit is de reden waarom optisch ontwerp steeds meer moet worden beschouwd als onderdeel van het AI-systeem – en niet slechts als een onderdeel dat aan de voorkant van een camera is bevestigd.

Kan software een slechte lens repareren?

Het hangt ervan af wat je bedoelt met ‘repareren’.

Software kan bepaalde voorspelbare optische kenmerken corrigeren.

Het kan het contrast verbeteren.

Het kan het geluid verminderen.

Het kan afbeeldingen verscherpen.

Het kan vervorming corrigeren.

Maar software kan het volgende niet volledig vervangen:

Goede optische resolutie.

Goede lichttransmissie.

Goede optische uitlijning.

Goede aberratiecontrole.

Het beste beeldverwerkingsalgoritme ter wereld heeft nog steeds fotonen nodig om mee te werken.

En die fotonen moeten eerst door de lens reizen.

Bij Boshi Optics benaderen we de ontwikkeling van cameralenzen vanuit dat uitgangspunt: het optische systeem moet nuttige informatie leveren voordat de software deze begint te verwerken. Met optische ontwerp-, productie-, assemblage- en optische testmogelijkheden ontwikkelt Boshi Optics lenzen voor toepassingen zoals beveiligingscamera's, AI vision, automotive imaging, drones, medische beeldvorming en andere camerasystemen.

Want uiteindelijk kan software een imago verbeteren.

Maar de lens bepaalt welke informatie er überhaupt terechtkomt.