Waardevolle en vaak verborgen informatie over iemands directe omgeving kan worden afgeleid uit de weerspiegeling van een object. Door ze als camera’s te herpositioneren, kan men onvoorstelbare beeldprestaties leveren, zoals door muren of hoog in de lucht turen. Dit is moeilijk omdat verschillende factoren van invloed zijn op reflecties, waaronder objectgeometrie, materiaaleigenschappen, de 3D-omgeving en het gezichtspunt van de waarnemer. Door intern de geometrie en uitstraling van het object te deconstrueren van de spiegelende straling die ernaar wordt teruggekaatst, kunnen mensen diepte en semantische aanwijzingen afleiden voor afgesloten delen in de omgeving.
Computer vision-onderzoekers van MIT en Rice hebben een methode ontwikkeld om reflecties te gebruiken om beelden van de echte omgeving te produceren. Met behulp van reflecties transformeren ze glimmende objecten in “camera’s”, waarbij ze de indruk wekken dat de gebruiker naar de wereld kijkt door de “lenzen” van gewone objecten, zoals een keramische koffiekop of een metalen halter.
De methode die door de onderzoekers wordt gebruikt, omvat het veranderen van gloeiende objecten met een niet-gespecificeerde geometrie in stralingsveldcamera’s. Het belangrijkste idee is om het oppervlak van het object te gebruiken als een digitale sensor om het gereflecteerde licht van de omgeving in twee dimensies vast te leggen.
De onderzoekers tonen aan dat nieuwe compositie, het weergeven van nieuwe looks die alleen direct zichtbaar zijn voor het glimmende object in de scène maar niet voor de waarnemer, mogelijk is dankzij het ophalen van omgevingsstralingsvelden. Bovendien kunnen we met behulp van het stralingsveld occluders in beeld brengen die zijn gecreëerd door nabije objecten in de scène. De door de onderzoekers ontwikkelde methode wordt van begin tot eind aangeleerd met behulp van meerdere foto’s van het object om tegelijkertijd de geometrie, diffuse straling en het stralingsveld van zijn 5D-omgeving te schatten.
Het onderzoek heeft tot doel het object te scheiden van zijn reflecties, zodat het object de wereld kan ‘zien’ alsof het een camera is en zijn omgeving kan vastleggen. Computervisie worstelt al enige tijd met reflecties omdat ze een vervormde 2D-weergave zijn van een 3D-scène waarvan de vorm onbekend is.
Onderzoekers modelleren het oppervlak van het object als een virtuele sensor en verzamelen de 2D-projectie van het 5D omgevingsstralingsveld rond het object om een 3D-weergave te creëren van de wereld zoals gezien door het ding. Het grootste deel van het stralingsveld van de omgeving is bedekt, met uitzondering van objectreflecties. Buiten het gezichtsveld wordt een nieuwe compositie van gezichten, of de weergave van nieuwe gezichten die alleen direct zichtbaar zijn voor het glimmende object in de scène, maar niet voor de waarnemer, mogelijk gemaakt door omgevingsstralingsvelden te gebruiken, die ook diepte en straling mogelijk maken schatting van het object in zijn omgeving.
Samengevat heeft het team het volgende gedaan:
- Ze laten zien hoe impliciete oppervlakken kunnen worden omgezet in virtuele sensoren die in staat zijn om 3D-beelden van hun omgeving vast te leggen met alleen virtuele kegels.
- Samen berekenen ze het 5D omgevingsstralingsveld van het object en schatten ze de diffuse straling.
- Ze laten zien hoe je het lichtveld van de omgeving kunt gebruiken om nieuwe, voor het menselijk oog onzichtbare, vergezichten te creëren.
Dit project heeft tot doel het 5D omgevingsstralingsveld te reconstrueren uit meerdere foto’s van een glanzend object waarvan de vorm en albedo onbekend zijn. Schittering van reflecterende oppervlakken onthult scène-elementen buiten het kijkvenster. Met name de oppervlaktenormalen en de kromming van het glanzende object bepalen hoe de beelden van de waarnemer worden afgebeeld op de echte wereld.
Onderzoekers hebben mogelijk nauwkeurigere informatie nodig over de vorm van het object of de gereflecteerde werkelijkheid, wat bijdraagt aan de vervorming. Het is ook mogelijk dat de kleur en textuur van het glanzende object versmelten met de reflecties. Bovendien is het niet eenvoudig om diepte te onderscheiden in gereflecteerde scènes, aangezien reflecties 2D-projecties zijn van een 3D-omgeving.
Het team van onderzoekers overwon deze obstakels. Ze beginnen met het fotograferen van het glimmende object vanuit verschillende hoeken, waarbij ze verschillende reflecties opvangen. Orca (Objects like Field Radiation Cameras) is een acroniem voor hun proces in drie stappen.
Orca kan reflecties met meerdere weergaven vastleggen door het object vanuit verschillende hoeken in beeld te brengen, die vervolgens worden gebruikt om de diepte tussen het glanzende object en andere objecten in de scène en de vorm van het glanzende object zelf te schatten. Meer informatie over de sterkte en richting van lichtstralen die van elk punt in het beeld komen en deze raken, wordt vastgelegd door het 5D-stralingsveldmodel van ORCa. Dankzij de data in dit 5D stralingsveld kan Orca nauwkeurigere diepteschattingen maken. Omdat de scène wordt weergegeven als een 5D-stralingsveld in plaats van een 2D-beeld, kan de gebruiker details zien die anders door hoeken of andere obstakels aan het zicht onttrokken zouden worden. De onderzoekers leggen uit dat zodra ORCa het 5D-stralingsveld heeft verzameld, de gebruiker een virtuele camera overal in het gebied kan plaatsen en het samengestelde beeld kan maken dat de camera zal produceren. De gebruiker kan ook het uiterlijk van een object wijzigen, bijvoorbeeld van keramiek in metaal, of virtuele dingen in de scène opnemen.
Door de definitie van een stralingsveld uit te breiden tot voorbij het traditionele stralingsveld met directe zichtlijn, kunnen onderzoekers nieuwe wegen openen voor onderzoek naar de omgeving en de objecten daarin. Door gebruik te maken van geprojecteerde virtuele weergaven en diepte, kan het werk mogelijkheden openen voor invoer van virtuele objecten en 3D-perceptie, zoals het extrapoleren van informatie buiten het gezichtsveld van de camera.
controleer het Papier En Project pagina. Vergeet niet te abonneren Onze 22k+ ML SubReddit, Discord-kanaalEn Email nieuwsbrief, waar we het laatste AI-onderzoeksnieuws, indrukwekkende AI-projecten en meer delen. Als u vragen heeft over bovenstaand artikel of als we iets hebben gemist, kunt u ons mailen op Asif@marktechpost.com
???? Bekijk honderden AI-tools bij AI Tools Club
Dhanshree Shenwai is een Computer Science Engineer met goede ervaring in FinTech-bedrijven op het gebied van Finance, Cards & Payments en Banking met een sterke interesse in AI-toepassingen. Hij is enthousiast over het verkennen van nieuwe technologieën en ontwikkelingen in de veranderende wereld van vandaag die het leven van iedereen gemakkelijk maken.
