Test 1 – cutia se află situată în partea dreaptă, textul este îndreptat spre robot

– distanța : 2 m, cutia poștală se află în unghi
- prima detectare – OK
- se opreste – OK (oprirea are loc la 81 cm de cutia poștală)
- reorientare – OK
- ajunge la destinație cu succes

Test 2 – cutia este situată în partea stângă, textul este îndreptat spre robot

- distanța : 2 m
- prima detectare – OK (detectare puțin întârziată din cauza vitezei mari cu care se executau rotațiile)
- orientare puțin greșită
- oprire – OK (81 cm)
- de această dată nu ajunge la destinație

Din cauza faptului că IRobotul se rotea prea repede și detectarea cutiei era astfel încetinită, am modificat puțin funcția Rotate(), reducând puțin viteza sa de rotație.

Test 3 – cutia situată în partea stângă, textul este îndreptat spre robot

- distanța : 1,5 m, cutia poștală este în unghi
- prima detectare puțin greșită
- test eșuat

Test 4 – cutia situată în partea dreaptă

- distanța: 1,5 m
- prima detectare – OK
- se opreste – OK (oprirea are loc la 81 cm de cutia poștală)
- reorientare – OK
- ajunge la destinație cu succes

Test 5 – cutia este situată în partea stângă, textul este îndreptat spre robot

- distanța : 3 m
- prima detectare – OK
- se opreste – OK (oprirea are loc la 80 cm de cutia poștală)
- reorientare – OK
- ajunge la destinație cu succes

Test 6 – cutie aflată în fața robotului

- distanța : 1,2 m
- prima detectare - OK
- se opreste – OK (oprirea are loc la 80 cm de cutia poștală)
- reorientare – OK
- ajunge la destinație cu succes

Test 7 – două cutii poștale

- cutia din stânga situată la 1,9 m
- cutia din dreapta situată la 1,5 m
- prima detectare – OK
- orientare – OK, spre cel mai apropiat (cutia poștală din dreapta robotului)
- se opreste – OK (oprirea are loc la 81 cm de cutia poștală)
- reorientare – OK
- ajunge cu succes la cutia din partea dreaptă

Test 8 – două cutii poștale

- cutia din stânga situată la 1,5 m
- cutia din dreapta situată la 1,9 m
- prima detectare – OK
- orientare – OK, spre cel mai apropiat (cutia poștală din stânga robotului)
- se oprește – OK (oprirea are loc la 80 cm de cutia poștală)
- reorientare – OK
- ajunge cu succes la cutia din partea stângă

Test 9 – două cutii poștale

- cutia din stânga situată la 2,5 m
- cutia din dreapta situată la 2,5 m
- prima detectare – OK
- orientare – OK (în cazul în care cutiile sunt la aceeași distanță, robotul va alege cutia poștală din stânga sa)
- se oprește – OK (oprirea are loc la 79 cm de cutia poștală)
- reorientare – OK
- ajunge cu succes la cutia din partea stângă

Test 10 – două cutii poștale

- cutia din stânga situată la 2,5 m
- cutia din dreapta situată la 1,5 m
- prima detectare – OK
- orientare – OK (robotul alege cutia poștală din dreapta sa)
- se oprește – OK (oprirea are loc la 81 cm de cutia poștală)
- reorientare – OK
- ajunge cu succes la cutia din partea stângă

Cam atât pentru această săptămână ! Vom continua să facem cât mai multe teste, în cât mai multe situații și să încercăm să detectăm alte posibile erori.
Vom reveni și cu câteva filmulețe ale testelor care vor urma în săptămâna viitoare !

De asemenea, am lucrat puțin și la cutiile poștale, dar.. aceasta nu este deloc forma lor finală. În acest moment nu se aseamănă foarte mult cu niște cutii poștale, le-am confecționat doar pentru că ne doream să avem câteva exemple cu care să putem începe să testăm detectarea lor. În principiu, aceasta este forma, culoarea și font-ul cu care va fi scrisă adresa pe cutiile noastre poștale.

Apoi, ne-am hotărât să testăm foarte bine detectarea cutiilor poștale și funcția care am scris-o pentru a situa cutia poștală odată detectată, în centrul imaginii. Imediat ce robotul detectează o cutie poștală, cu ajutorul funcției Poziționează(), în funcție de distanța la care se află cutia poștală, va stabili o limită în care trebuie să se încadreze pentru a se situa cât mai pe centru. Am întâmpinat din nou mici probleme, deoarece se întâmplă ca detectarea să nu funcționeze chiar întotdeauna, și asta din cauza camerei web cu ajutorul căreia se face detectarea de obiecte.

Mai jos avem codul sursă în C++ al funcției care poziționează obiectul detectat pe centru :

În primul exemplu, se poate observa faptul cum cu ajutorul funcției de mai sus, robotul face rotații la stânga și la dreapta, în funcție de poziția la momentul respectiv al cutiei poștale. Va face astfel de mișcări până când forma cutiei poștale va fi între cele două linii oblice verzi, desenate în funcție de distanța (Aria) la care se află cutia, acest lucru poziționând cutia poștală pe centru.

În cel de-al doilea exemplu, chiar dacă după prima detectare, robotul nu s-ar îndrepta chiar spre centrul cutiei, în momentul în care ajunge la mai puțin de 40 cm de aceasta, el va face o nouă poziționare, de această dată cu mai mult succes :

SOLUȚIA : Am luat 15 imagini, și am detectat textul din fiecare imagine. Apoi, am căutat textul care apare de cele mai multe ori în cele 15 imagini. Dacă apare de cel puțin N ori (N=8 momentan), e foarte mult probabil ca textul detectat să fie textul corect.

Aici avem codul sursă la funcția de mai sus, scris în C++:

Acuratețea algoritmului, în cazul în care distanța dintre camera și obiectul care conține textul e mai mică de 80 cm, este mai mare de 90%. Timpul de execuție este de câteva secunde, fiind acceptabil pentru o detectare cât mai bună. Pentru distanțe mai mari, este necesar ca textul să aibă o dimensiune mai mare sau o cameră mult mai bună.

În imagine se poate vedea rezultatul unei detecții a textului, acesta fiind Cameleon. Textul este pe o cutie poștală, iar algoritmul de detecție se aplică de mai multe ori.

În această săptămână am lucrat în continuare la “ghiozdanul” robotului pentru a putea definitiva comenzile de scoatere a tuturor scrisorilor. Aveam nevoie de acest lucru și pentru ca scrisorile să stea fixe pe suport, și a nu avea mai multe rezultate pentru aceeași comandă, iar funcțiile o dată scrise pentru scoaterea unei scrisori, să fie definitive. Pentru început, am modificat puțin “ghiozdanul”, având acum patru sertare în care se pot ține scrisorile, fiecare loc având un suport, astfel încât scrisoarea să nu alunece înăuntru.

Apoi, ne-am apucat să scriem cele patru funcții de scoatere a scrisorilor. A fost destul de dificil deoarece pozițiile în care erau puse scrisoriile erau destul de incomode pentru LynxArm. Chiar dacă ar fi reușit să o scoată, mai apărea încă o problemă : datorită mișcării circulare a brațului, de exemplu dacă se scoatea prima scrisoare (prima scrisoare fiind cea mai de jos), în timp ce era scoasă, scrisoarea lovea și scrisoarea de deasupra ei, lucru ce ar fi putut strica calculele de scoatere a scrisorii lovite.

Pentru prima scrisoare am întâmpinat, din nou, cele mai multe probleme deoarece mișcarea era foarte complicată pentru braț, care nu funcționează nici cum ne-am dori (gripper-ul brațului este extrem de uzat și nu funcționează foarte bine).

Scoaterea primei scrisori :

Scoaterea celei de-a doua scrisori :

Scoaterea celei de-a patra scrisori :

După aceea am făcut mai multe teste și am pus robotul să scoată toate scrisorile din ghiozdan și să le pună într-o “cutie poștală” care se afla din coincidență fix în fața lui, și nu mai era nevoit să mai facă vreo mișcare pentru a ajunge lângă ea.
Mai jos puteți vedea ce a ieșit :

Am incercat apoi să ne mișcăm puțin cu IRobotul, și cu ajutorul senzorului de ultrasunete să ne oprim dacă el întâlnește vreun obstacol.

La început viteza era prea mare, iar scrisorile robotului săreau afară )

Dar cu o viteza mai mică acest lucru nu se mai întâmpla, iar robotul ajungea la “destinație” fără a mai pierde vreo scrisoare :

Cam atât pentru această săptămână!

Ne auzim din nou săptămâna viitoare !

In aceste saptamani am lucrat foarte serios la partea in care robotul nostru va lua scrisorile in momentul in care va detecta o cutie postala, si se afla deja in fata ei. Pentru aceasta ne-am gandit ca “postasul” nostru sa aiba un “ghiozdan” in care va avea scrisorile sale.

Chiar daca la inceput ne-am chinuit putin in a incerca sa “prindem” scrisoarea, am reusit sa pozitionam bratul pentru a face aceasta miscare. Totusi, din cauza ca cutia din care lua scrisorile LynxArm-ul era prea aproape de brat, acest lucru ne incurca teribil si nu am reusit nicicum sa scoatem o scrisoare din locul in care se va afla prima scrisoare din ghiozdanul robotul. Bratul nu mergea suficient de mult in spate, pentru a putea face posibila aceasta miscare. Chiar daca am fi scos-o, ar fi dat peste scrisorile de mai sus ceea ce nu ne convenea absolut deloc.

(1)

(2)

(3)

Apoi ne-am gandit ca ar fi bine ca ghiozdanul sa fie pus pe un suport montat in prelungirea suportului pe care se afla bratul Lynx. Astfel castigam mai mult loc pentru a putea scoate scrisorile mai in siguranta si mai eficient.

Dar.. dupa aceea am fost nevoiti sa calculam din nou toate miscarile bratului pentru a ajunge in noua pozitie in care se afla prima scrisoare. Nu a fost deloc usor, si ne-am chinuit destul de mult pana am reusit sa facem ceva care sa ne multumeasca cat de cat.

(4)

(5) A reusit sa o scoata!

(6) Aceeasi scoatere a scrisorii cu succes, dar executata putin mai repede..

Dupa multa munca am reusit sa scoatem prima scrisoare din ghiozdanul “postasului”, ceea ce ne va ajuta foarte mult si in scoaterea celorlalte scrisori ale sale. Mai jos putem vedea si codul care face toate aceste miscari (de notat este faptul ca functia sendCommand() trimite bratului o comanda):

Suntem foarte siguri ca pentru celelalte va fi mult mai usor, deoarece vor fi situate intr-o pozitie multa mai comoda bratului. Sa speram ca asa va fi !

Ne auzim saptamana viitoare !

Detectarea obiectelor folosind OpenCV

După ce am citit o cantitate enormă de documentație despre OpenCV, am reușit în sfârșit să realizăm o formă funcțională a unui algoritm care să poată detecta obiectele dintr-o imagine. O problemă mare a algoritmilor de detecție este acela că nu există algoritm care să funcționeze foarte bine. De exemplu, dacă se dorește detectarea marginilor dintr-o imagine, algoritmul va funcționa bine doar dacă între culoarea obiectului și cea a fundalului există o diferență mare de culoare. Dacă culorile sunt foarte asemănătoare, una sau mai multe margini nu vor fi detectate. Iar asta e o mare problemă dacă detectarea obiectelor se face după forma lor.

În cazul în care se dorește detectarea culorilor, problema apare atunci când există multe nuanțe ale aceleași culori, atunci unele nu vor putea fi detectate. Problema cea mai gravă este aceea că poate detecta culori care nu ar trebui să apară, de exemplu nuanțele culorii gri. Scrierea unui algoritm care să detecteze corect culorile, dar care e lent în ceea ce privește timpul de execuție, nu se poate folosi în aplicații în care se doreste detecția în timp real. Dificultatea în detectarea culorilor constă în modelele de culori care se folosesc: RGB (RED, GREEN, BLUE – fiecare culoare fiind formată din aceste trei, dar în diferite proporții), HSV (HUE, SATURATION, VALUE ) și altele, dar acestea două fiind cele mai folosite, fiecare având avantaje și dezavantaje.

În imaginile care vor urma vor fi câteva exemple de detectare a culorii și a marginilor, culoarea detectată fiind albastru.

În imaginea de mai sus, se poate observa cum s-a detectat obiectul de culoare albastră, dar și o portiune de culoare gri. Porțiunea cu rosu și verde este o încercare nereușită de detectare a unei forme pătratice.

Mai sus am reușit să detectăm un obiect care are patru colțuri. Dar, nici aici nu am reușit să eliminăm detectarea culorii gri.

Aici se poate vedea rezultatul unui algoritm de detecție a marginilor. Se poate vedea că nu a detectat toată marginea(în centru este un caiet și un pix..).

Pentru detectarea unei cutii poștale se va aplica următorul algoritm:
- se detectează culoarea, iar în imaginea nouă vor fi două culori, culoarea obiectului, respectiv negrul de pe fundal
- se vor detecta marginile din imaginea nouă
- se detectează obiectele a căror formă se potrivește cu forma unei cutii poștale

Un mic exemplu :

În sfârșit am rezolvat și această problemă, care ne-a chinuit destul de mult timp. Senzorul merge foarte bine acum și detectează precis distanța până la cel mai apropiat obiect situat în fața lui, în timp real, adică în timp ce robotul nostru se află în mișcare.

În această imagine puteți vedea cum funcționează senzorul nostru, la apropierea și depărtarea unui obiect de el :

Pentru buna sa funcționare am scris câteva funcții, și anume :

…am incercat sa facem si o rotire.. (cam la intamplare cei drept :-s)…

..dupa mai multe incercari am reusit sa scriem cateva functii care fac robotul sa mearga o distanta fixa, sau sa roteasca intr-o anumita directie un anumit numar de grade…

…apoi mai spre sfarsitul saptamanii am incercat sa conectam si senzorul de ultrasunete pe care il vom folosi la robotul nostru…am avut probleme, deoarece in cele patru ore petrecute joi la laborator n-am reusit nicicum sa gasim nicicum un exemplu functionabil (doar multe exemple cu biblioteci lipsa sau exemple care afisau rezultate gresite) pentru senzorul nostru SRF08…dar speram sa reusim asta saptamana viitoare !

…spre sfarsitul laboratorului am vrut sa conectam simultan si LynxArm-ul si IRobotul pentru a putea face cateva miscari cu fiecare si a simula din nou “colectarea unei scrisori” din “stiva de scrisori” si lasarea ei la “destinatie”, dupa care robotul nostru se intoarce pentru a pleca spre o “noua destinatie”…(la rotatie cablurile ne-au cam incurcat, iar robotul nu a putut face rotatia completa de 90°)..mai jos puteti vedea ce a iesit !