Βαθμονόμηση στερεοκάμερας και χρήση της για την δημιουργία 3D φωτογραμμετρικού σαρωτή

Πρόκος Αντώνης

Δρ. Αγρονόμος και Τοπογράφος Μηχανικός

Βαθμονόμηση μηχανής Εύρεση Εσωτερικού προσανατολισμού: Σταθερά μηχανής (c) Συντεταγμένες πρωτεύοντος σημείου (x o , y o ) Συντελεστές ακτινικής διαστροφής (k 1 , k 2 ) …

Από εικόνες σκακιέρας

Douskos et al. 2009 Fauccal

Από σημεία φυγής Γραμματικόπουλος, 2007

Αυτόματες διαδικασίες Μονοεικονικές

Στερεοκάμερα

Στερεοκάμερα Απαραίτητη η εύρεση: 1. εσωτερικού προσανατολισμού για τις δύο μηχανές ξεχωριστά 2. πλήρους σχετικού προσανατολισμού μεταξύ των μηχανών

Περιγραφή Βαθμονόμησης • • • • • • Δύο μηχανές πακτωμένες σε ράβδο. (Σταθερός σχετικός προσανατολισμός.) Εικόνες από επίπεδο πεδίο ελέγχου μορφής κανάβου «σκακιέρας».

Αυτόματη αναγνώριση σημείων.

Αυτόματη αναγνώριση αρχής συστήματος συντεταγμένων. (κόκκινο τετράγωνο) Εύρεση αρχικών τιμών των αγνώστων.

Συνόρθωση παρατηρήσεων.

Βαθμονόμηση • • • Δεδομένα: – Ζευγάρια συγχρονισμένων εικόνων.

– (οι εικόνες δείχνουν ένα πεδίο ελέγχου με ταξινομημένα φωτοσταθερά σε κάνναβο) Διάσταση κανάβου Ζητούμενα: – Ξεχωριστός εσωτερικός προσανατολισμός για τις δύο μηχανές.

– Πλήρης σχετικός προσανατολισμός.

Επίλυση με μέθοδο Δέσμης

Μέθοδος Δέσμης • • Άγνωστοι: – x o y o c k 1 k 2 (για την αριστερή μηχανή) – x o y o c k 1 k 2 (για την δεξιά μηχανή) – Χ ο Υ ο Ζ ο ω φ κ (αριστερής μηχανής για κάθε θέση) – Bx By Bz δω δφ δκ Παρατηρήσεις: – x – εικονοσυντεταγμένη – y – εικονοσυντεταγμένη Συνθήκη Συγγραμμικότητας

Εύρεση σημείων • Τελεστής Harris (Operator) – Συλλέγει σημεία ενδιαφέροντος με κριτήριο οι κλίσεις γύρω από το σημείο είναι μεγάλες.

Εύρεση Συστήματος Συντεταγμένων • • • Πρέπει να βρεθεί αυτόματα το κόκκινο τετράγωνο!

– – – image_red image_green image_blue Ανάδειξη κόκκινων της εικόνας:

Z

Εύρεση Συστήματος Συντεταγμένων • Τιμή Κατωφλίου (threshold) • Αύξηση εικόνας (dilate image) • Laplace • 4 σημεία. Καθορισμός συστήματος ΟΧΥΖ

Εύρεση όλων των σημείων • • • Υπάρχει καλή εκτίμηση του βήματος του κανάβου.

Κίνηση κατά τον y- άξονα Κίνηση κατά τον x- άξονα • Όλα τα σημεία έχουν: – Κωδικό – x,y εικονοσυντεταγμένες.

– Γεωδαιτικές συντεταγμένες X,Y,Z (όλα τα Ζ=0 Επίπεδο Πεδίο Ελέγχου) (Υπάρχει γνώση της διάστασης του κανάβου)

Διαδικασία Συνόρθωσης

Διαδικασία Συνόρθωσης • • • • • Η συνθήκη της συγγραμμικότητας δεν είναι γραμμική.

Γραμμικοποίηση κατά Taylor Εύρεση αρχικών τιμών από συντελεστές αναγωγής Εκτέλεση ΜΕΤ Διόρθωση τιμών αγνώστων Επανάληψη

Εικόνες Βαθμονόμησης

Αποτέλεσμα Βαθμονόμησης Interior Relative c1 = 949.67 pix ± xo1 = -18.59 pix ± yo1 = 0.19 pix ± k11 = -1.396e-007 ± k21 = -6.805e-014 ± c2 = 962.13 pix ± xo2 = -66.98 pix ± yo2 = -6.12 pix ± k12 = -1.620e-007 ± k22 = -4.440e-014 ± 0.17

0.39

0.26

2.078e-009 1.414e-014 0.15

0.40

0.27

1.506e-009 7.713e-015 Bx By = 37.311 cm ± = 1.960 cm ± Bz = -13.860 cm ± om12 = -7.411 deg ± ph12 = 41.290 deg ± ka12 = 13.982 deg ± 18 image pairs 6335 points σo 0.007 0.004 0.018 0.027 0.032 0.014

= 0.19pix

max residual = 0.64pix

Περιγραφή επιπολικών εικόνων • • • • Γνωστός εσωτερικός και σχετικός προσανατολισμός -> δημιουργία εικόνων παράλληλες στην βάση.

Οι εικόνες αυτές έχουν τις ιδιότητες της «κανονικής περίπτωσης στερεοζεύγους».

Προκύπτουν εφαρμόζοντας μία στροφή των εικόνων γύρω από το προβολικό κέντρο (επανασύσταση) Η αναζήτηση ομολόγων σημείων γίνεται σε μία διάσταση αντί για δύο.

ε P Επιπολική Γεωμετρία Ο

b

p Ο  p  e P επιπολικές ευθείες ε  P επιπολικό επίπεδο P

    Δημιουργία επιπολικών εικόνων Οι εικόνες έχουν πίνακες στροφής R μετασχηματίζονται σε αυστηρά κατακόρυφες μέσω των στροφών: R 1 T (= Ι) και R 2 T 1 (= Ι) , R 2 (= R 12 ) και Οι αυστηρά κατακόρυφες εικόνες ανάγονται κατόπιν στο σύστημα της βάσης μέσω της κοινής στροφής:

K



atn

 

B Y B X

  R B = R Ω R Φ R Κ όπου:

Φ



atn

  

B



B Z 2 X



B 2 Y

   Έχουμε M 1 = R B R 1 T και M 2 = R B R 2 T Οπότε για κάθε κανονικοποιημένη εικόνα:

Ω



ω



ω



2

x   c xm 11  xm 31  ym 12 ym 32  cm 13  cm 33 y   c xm 21 xm 31   ym 22 ym 32  cm 23  cm 33

Δημιουργία επιπολικών εικόνων • Γίνεται να δημιουργηθούν εικόνες απαλλαγμένες από σφάλματα ακτινικής διαστροφής.

• Με τις αντίστροφες σχέσεις υπολογίζονται σημεία της αρχικής εικόνας στα οποία θα γίνει παρεμβολή τόνου. Διαδικασία επανασύστασης.

Επιπολική γεωμετρία -> Εύρεση ομολογιών σκακιέρας • Η ανάποδη διαδικασία μπορεί να βοηθήσει στην εύρεση των ομολογιών μεταξύ των κόμβων της σκακιέρας • Αφαίρεση του κόκκινου τετραγώνου

Αυτόματη εύρεση ομολογιών Καλησπεράκης, 2010

Αυτόματη εύρεση ομολογιών Καλησπεράκης, 2010

Αυτόματη εύρεση ομολογιών Καλησπεράκης, 2010

Επιπολική γεωμετρία -> Εύρεση ομολογιών σκακιέρας

Επιπολική γεωμετρία -> Εύρεση ομολογιών σκακιέρας

Εύρεση ομολογιών σκακιέρας

Χρήση βαθμονομημένης στερεοκάμερας για δημιουργία 3D σαρωτή • Το αντικείμενο προς σάρωση παρατηρείται από δύο ακίνητες βαθμονομημένες κάμερες με σταθερή σχετική θέση.

• Με ένα χειροκίνητο επίπεδο laser σαρώνεται το αντικείμενο.

• Συγχρονισμένα καρέ από τις 2 κάμερες. Έχουν ένα προφίλ που δημιουργείται από την τομή του αντικειμένου με το laser.

Περιγραφή συστήματος Εκτροπή γραμμής λόγω αναγλύφου.

Παραμένει απροσδιοριστία σημείων.

Περιγραφή συστήματος • • • • Αφαίρεση υποβάθρου Επιπολικη γεωμετρία 2D ► 1D ανίχνευση ομολόγων Εμπροσθοτομία

Περιγραφή συστήματος • Μέσω επιπολικής γεωμετρίας η ανίχνευση ομολόγου γίνεται μόνο πάνω στην επιπολική ευθεία.

• Αναζήτηση της θέσης στην επιπολική ευθεία που παρουσιάζεται η μέγιστη τιμή φωτεινότητας.

Εμπροσθοτομία • Στα ομόλογα σημεία που έχουν τελικά εξαχθεί, γίνεται φωτογραμμετρική εμπροσθοτομία.

• Προκύπτει ένα νέφος σημείων ΧΥΖ.

Λήψη εικόνων • Πρέπει να απομονωθεί το υπόβαθρο – Έχοντας μερικά καρέ (frames) είναι δυνατόν να εξαχθεί το υπόβαθρο από τον χρονική μεσαία τιμή των εικόνων αυτών.

• Από κάθε εικόνα αφαιρείται το υπόβαθρο και μένει μόνο η γραμμή του laser.

• Γίνεται επιπολική επανασύσταση.

Μείωση θορύβου • Φίλτρα Εξομάλυνσης – Μεσαίας τιμής 3x3 παράθυρο – Gaussian 3x3 παράθυρο σ = 1

2D ► 1D Ανίχνευση • Έχοντας επιπολικές εικόνες απαλλαγμένες από θόρυβο, η ανίχνευση ομολόγου γίνεται μόνο πάνω στην επιπολική ευθεία.

• Γίνεται αναζήτηση της θέσης στην επιπολική ευθεία που παρουσιάζεται η μέγιστη τιμή.

Εύρεση Μεγίστου 

ae

  2

c

2  2 

d

• • Ένας τρόπος είναι να προσαρμοστεί μία συνάρτηση στις τιμές του γκρίζου και να βρεθεί το μέγιστο της καμπύλης αυτής.

c

Κάθε σημείο έχει y συντεταγμένη από την επιπολική γραμμή (κοινό για τις δύο εικόνες) και χ συντεταγμένη από την θέση της μέγιστης τιμής της καμπύλης (ένα χ για κάθε εικόνα).

•

d

Επαναλαμβάνεται η διαδικασία για την επόμενη επιπολική γραμμή και για τις δύο εικόνες.

Εμπροσθοτομία • • • Για κάθε ζευγάρι στις επιπολικές εικόνες προκύπτουν: x 1 x 2 y Οι εικόνες αυτές έχουν εξωτερικούς: Αριστερή Δεξιά Χο 0 Υο 0 Ζο 0 Β 0 (Β 2 = Βχ 2 + By 2 + Bz 2 ) 0 Οπότε οι συντεταγμένες ω 0 0 φ 0 0

X



Bx

1

p

κ 0 0 των σημείων προκύπτουν

Y



By p

  

p



x

1 : 

x

2   από τους τύπους:

Z

 

Bc p

Νέφος σημείων • • • • Για κάθε επιπολική γραμμή προκύπτει ένα σημείο του 3D χώρου.

Η διαδικασία επαναλαμβάνεται για κάθε επιπολική γραμμή του ζεύγους.

Έπειτα γίνεται ξανά η ίδια σειρά υπολογισμών για το επόμενο ζεύγος, κ.ο.κ.

Τελικά προκύπτει ένα νέφος σημείων με 3D συντεταγμένες.

Ποια

R T

ώστε Σ min(d) Συνένωση Νεφών

Συνένωση Νεφών

Παρεμβολή τόνου • Γνωρίζοντας τις ΧΥΖ συντεταγμένες των σημείων γίνεται να βρεθεί και τόνος RGB από την εικόνα του υποβάθρου εφαρμόζοντας την συνθήκη της συγγραμμικότητας.

PVC σωλήνας • • • σ ο = 0.206 mm (προσαρμογής κυλίνδρου στα σημεία) d(κατασκευαστή) d(ανακατασκευής) = 125.0 mm = 125.6 mm

http://users.ntua.gr/anthpro/goods_hel.htm