Luận án Phát hiện và nhận dạng đối tượng 3-D hỗ trợ sinh hoạt của người khiếm thị

7
 Hm = 4 0 fy cy5
 0 0 1
ð ¥y (cx; cy) l  iºm t¥m cõa £nh, fx v  fy l  ti¶u cü cõa c£m bi¸n.
2.2 Ph÷ìng thùc · xu§t cho ph¡t hi»n m°t ph¯ng b n
2.2.1 Khði ¦u
 Ph¡t hi»n m°t b n trong ¡m m¥y iºm 3-D l  nhi»m vö quan trång èi vîi nhi·u
ùng döng cõa thà gi¡c m¡y t½nh v  cæng ngh» robot. º gióp ng÷íi mò ho°c khi¸m thà
t¼m v  c¦m n­m c¡c ç vªt quan t¥m (v½ dö: cèc c  ph¶, chai, b¡t) tr¶n b n, ng÷íi ta
ph£i ph¡t hi»n m°t ph¯ng b n trong c£nh.
 Vi»c n y ÷ñc ph¡t triºn düa tr¶n dú li»u gia tèc ÷ñc cung c§p bði c£m bi¸n MS
Kinect º gi£m c¡c ùng vi¶n l  m°t b n ÷ñc ph¡t hi»n cho vi»c ph¡t hi»n c¡c ùng cû
vi¶n m°t ph¯ng b n.
2.2.2 Nghi¶n cùu li¶n quan
2.2.3 Ph÷ìng thùc · xu§t
2.2.3.1 Mæ h¼nh · xu§t
 Bèi c£nh nghi¶n cùu cõa chóng tæi nh¬m möc ½ch ph¡t triºn mët h» thèng trñ
gióp t¼m ki¸m v  c¦m n­m c¡c èi t÷ñng cho NKT. Mæ h¼nh ÷ñc · xu§t cho vi»c
ph¡t hi»n m°t ph¯ng b n, nh÷ trong H¼nh 2.6, bao gçm bèn b÷îc: gi£m dú li»u, biºu
di¹n ¡m m¥y iºm câ c§u tróc, ph¥n o¤n m°t ph¯ng trong c£nh v  ph¡t hi»n m°t
ph¯ng b n. Do cæng vi»c cõa chóng tæi ch¿ sû döng c¡c °c tr÷ng cõa dú li»u ë s¥u,
mët ph÷ìng ph¡p ìn gi£n, hi»u qu£ º gi£m v  l m màn dú li»u ë s¥u ÷ñc mæ t£
d÷îi ¥y.
 Cho mët cûa sê tr÷ñt (k½ch th÷îc n × n iºm £nh), gi¡ trà ë s¥u cõa iºm £nh
trung t¥m D(xc; yc) ÷ñc t½nh to¡n tø cæng thùc 2.2:
 PN D(x ; y )
 D(x ; y ) = i=1 i i (2:2)
 c c N
 8
 Acceleration 
 vector
 Microsoft 
 Kinect
 Organized 
 Down Plane Plane Table 
 Depth point cloud 
 sampling segmentation classification plane
 representation
 H¼nh 2.6: Mæ h¼nh · xu§t cho ph¡t hi»n m°t ph¯ng b n.
 th
ð ¥y D(xi; yi) l  gi¡ trà ë s¥u cõa iºm i £nh l¡ng gi·ng cõa iºm £nh trung t¥m
(xc; yc); N l  sè iºm £nh l¡ng gi·ng vîi k½ch th÷îc n x n (N=(n x n) -1).
2.2.3.2 Ph¥n o¤n m°t ph¯ng
 Quy tr¼nh chi ti¸t cõa ph¥n o¤n m°t ph¯ng ÷ñc ÷a ra trong thuªt to¡n trong
c¡ch ti¸p cªn cõa (Holz et al. RoboCup, 2011).
2.2.3.3 Ph¡t hi»n v  tr½ch xu§t m°t b n
 K¸t qu£ cõa b÷îc ¦u ti¶n l  nhúng m°t ph¯ng m  vuæng gâc vîi vector gia tèc.
Sau â, chóng tæi xoay tröc y cõa h» tröc tåa ë º nâ song song vîi vector gia tèc.
Tø r ng buëc cõa ngú c£nh, m°t ph¯ng b n l  m°t ph¯ng cao nh§t trong c£nh, i·u
â câ ngh¾a l  c¡c iºm thuëc m°t b n câ gi¡ trà y nhä nh§t.
2.2.4 Th½ nghi»m v  c¡c k¸t qu£
2.2.4.1 Thi¸t lªp th½ nghi»m v  cì sð dú li»u thu thªp
 Cì sð dú li»u thù nh§t ÷ñc gåi l  'MICA3D': MS Kinect phi¶n b£n 1 ÷ñc g­n
tr¶n ngüc cõa ng÷íi, ng÷íi â di chuyºn quanh mët chi¸c b n trong pháng. Kho£ng
c¡ch giúa Kinect v  t¥m cõa b n l  kho£ng 1; 5 m. Chi·u cao cõa Kinect so vîi m°t
ph¯ng b n kho£ng 0; 6m. Chi·u cao cõa m°t b n l  kho£ng 60 − 80 cm. Chóng tæi thu
thªp dú li»u cõa 10 c£nh kh¡c nhau trong pháng cafe, pháng tr÷ng b y v  nh  b¸p,
v.v. Nhúng c£nh n y bao gçm c¡c bèi c£nh chung trong c¡c ho¤t ëng h ng ng y cõa
NKT. Tªp dú li»u thù hai ÷ñc giîi thi»u trong (Richtsfeld et al. IROS, 2012). Tªp dú
li»u n y chùa dú li»u m u v  ë s¥u ÷ñc hi»u ch¿nh cõa 111 c£nh. Méi c£nh câ mët
m°t ph¯ng b n. K½ch th÷îc cõa h¼nh £nh l  640 x 480 iºm £nh.
2.2.4.2 ¡nh gi¡ ph÷ìng thùc ph¡t hi»n m°t b n
 Chóng tæi sû döng ba ë o ¡nh gi¡ l  c¦n thi¸t º £m b£o ¡nh gi¡ v· ë l»ch
v· gâc, di»n t½ch cõa m°t b n ph¡t hi»n ÷ñc. Chóng ÷ñc ành ngh¾a nh÷ sau:
ë o ¡nh gi¡ 1 (EM1): ë o n y ¡nh gi¡ sü kh¡c bi»t giúa vector ph¡p tuy¸n
÷ñc tr½ch xu§t tø m°t ph¯ng b n ÷ñc ph¡t hi»n v  vector ph¡p tuy¸n ÷ñc tr½ch
xu§t tø dú li»u gèc.
 9
B£ng 2.2: K¸t qu£ trung b¼nh cõa ph¡t hi»n m°t b n tr¶n dú li»u 'MICA3D' (%).
 ë o ¡nh gi¡ Khæng ph¡t Khung
 H÷îng ti¸p cªn
 EM1 EM2 EM3 Trung b¼nh hi»n h¼nh/s
 Ph÷ìng thùc
 87.43 87.26 71.77 82.15 1.2 0.2
 1
 Ph÷ìng thùc
 98.29 98.25 96.02 97.52 0.63 0.83
 2
 Ph÷ìng thùc
 96.65 96.78 97.73 97.0 0.81 5
 · xu§t
B£ng 2.3: K¸t qu£ trung b¼nh cõa m°t b n ph¡t hi»n ÷ñc tr¶n dú li»u [3] (%).
 ë o ¡nh gi¡ Khæng ph¡t khung
 H÷îng ti¸p cªn
 EM1 EM2 EM3 Trung b¼nh hi»n h¼nh/s
 Ph÷ìng thùc
 87.39 68.47 98.19 84.68 0.0 1.19
 1
 Ph÷ìng thùc
 87.39 68.47 95.49 83.78 0.0 0.98
 2
 Ph÷ìng thùc
 87.39 68.47 99.09 84.99 0.0 5.43
 · xu§t
 ë o ¡nh gi¡ 2 (EM2): B¬ng c¡ch sû döng EM1, ch¿ câ mët iºm ÷ñc sû
döng (iºm trung t¥m cõa dú li»u gèc) º ÷îc t½nh gâc. º gi£m £nh h÷ðng cõa nhi¹u,
sû döng nhi·u iºm hìn º x¡c ành vectì ph¡p tuy¸n cõa dú li»u gèc ÷ñc sû döng.
èi vîi EM2, 3 iºm (p1; p2; p3) ÷ñc chån ng¨u nhi¶n tø ¡m m¥y iºm gèc.
 ë o ¡nh gi¡ 3 (EM3): Hai ë o ¡nh gi¡ ÷ñc tr¼nh b y ð tr¶n khæng t½nh
¸n di»n t½ch m°t ph¯ng b n ÷ñc ph¡t hi»n. Do â, · xu§t EM3 ÷ñc düa tr¶n þ
t÷ðng cõa ch¿ sè Jaccard º ph¡t hi»n èi t÷ñng.
 R \ R
 r = d g (2:6)
 Rd [ Rg
2.2.4.3 C¡c k¸t qu£
 C¡c k¸t qu£ so s¡nh cõa ba ph÷ìng ph¡p ¡nh gi¡ kh¡c nhau tr¶n hai bë dú li»u
÷ñc thº hi»n trong b£ng 2.2 v  b£ng 2.3.
2.2.5 Th£o luªn
 Trong vi»c n y, mët ph÷ìng thùc º ph¡t hi»n m°t ph¯ng b n sû döng gi£m dú
li»u, vector gia tèc v  c§u tróc ¡m m¥y iºm câ c§u tróc thu ÷ñc tø £nh m u v  ë
s¥u cõa c£m bi¸n MS Kinect ÷ñc · xu§t.
 10
2.3 Ph¥n t¡ch èi t÷ñng quan t¥m tr¶n b n
2.3.1 Chuyºn h» tröc tåa ë
2.3.2 Ph¥n t¡ch m°t b n v  èi t÷ñng quan t¥m
2.3.3 Th£o luªn
 CH×ÌNG 3
×ÎC L×ÑNG CC C‡U TRÓC HœNH HÅC CÌ BƒN
 BŒNG THUŠT TON ×ÎC L×ÑNG MÎI B—N
 VÚNG SÛ DÖNG CC R€NG BUËC
3.1 ×îc l÷ñng c¡c c§u tróc h¼nh håc cì b£n b¬ng GCSAC
3.1.1 Khði ¦u
 Mæ h¼nh h¼nh håc cõa mët èi t÷ñng quan t¥m câ thº ÷ñc ÷îc l÷ñng b¬ng c¡ch
sû döng tø hai ¸n b£y tham sè cõa Schnabel. [5]. Thuªt to¡n sü çng thuªn m¨u
ng¨u nhi¶n (RANSAC) v  c¡c tham sè cõa mæ h¼nh º tr½ch xu§t c¡c h¼nh d¤ng câ
thº bà sai ho°c nhi¹u lîn trong dú li»u, thíi gian xû lþ cao. °c bi»t, t¤i méi gi£ thuy¸t
trong mæ h¼nh cõa mët thuªt to¡n düa tr¶n RANSAC, mët qu¡ tr¼nh t¼m ki¸m nh¬m
t¼m ki¸m m¨u tèt düa tr¶n c¡c r ng buëc cõa mët mæ h¼nh ÷îc l÷ñng ÷ñc thüc hi»n.
º thüc hi»n t¼m ki¸m c¡c m¨u tèt, chóng tæi x¡c ành hai ti¶u ch½: (1) C¡c m¨u ÷ñc
chån ph£i £m b£o phò hñp vîi mæ h¼nh ÷îc l÷ñng thæng qua ¡nh gi¡ t l» c¡c iºm
nëi t¤i (inlier ratio); (2) C¡c m¨u ph£i ¡p ùng c¡c r ng buëc h¼nh håc rã r ng cõa
c¡c èi t÷ñng quan t¥m (v½ dö: c¡c r ng buëc h¼nh trö).
3.1.2 C¡c nghi¶n cùu li¶n quan
3.1.3 · xu§t bë ÷îc l÷ñng mîi b·n vúng
3.1.3.1 Têng quan v· ÷îc l÷ñng b·n vúng ÷ñc · xu§t (GCSAC)
 º ÷îc l÷ñng c¡c tham sè cõa mët c§u tróc h¼nh håc 3-D cì b£n, mët mæ h¼nh
RANSAC ban ¦u, nh÷ ÷ñc hiºn thà trong ph¦n tr¶n còng cõa h¼nh 3.2, chån sè m¨u
tèi thiºu ng¨u nhi¶n tø mët ¡m m¥y iºm v  sau â c¡c tham sè mæ h¼nh ÷ñc ÷îc
l÷ñng v  kiºm ành. Thuªt to¡n th÷íng khæng kh£ thi v· thíi gian t½nh to¡n v  khæng
c¦n thi¸t ph£i thû t§t c£ c¡c m¨u câ thº ÷ñc chån. Ph÷ìng ph¡p ÷ñc · xu§t cõa
chóng tæi (GCSAC - trong ph¦n d÷îi còng cõa h¼nh 3.2) düa tr¶n phi¶n b£n gèc cõa
RANSAC, tuy nhi¶n nâ kh¡c nhau theo ba kh½a c¤nh ch½nh: (1) T¤i méi l¦n l°p l¤i,
bë m¨u tèi thiºu ÷ñc thüc hi»n khi quy tr¼nh l§y m¨u ng¨u nhi¶n ÷ñc chån, do â
vi»c kiºm tra dú li»u çng thuªn câ thº d¹ d ng ¤t ÷ñc. Nâi c¡ch kh¡c, mët ng÷ïng
 11
 No
 Randomly Geometrical Model evaluation Update the number 
 Terminate 
 sampling a parameters M; Update the best of iterations K
 ?
 A point minimal subset estimation M model adaptively (Eq. 3.2)
 cloud yes
 Randomly Model evaluation M via 
 Geometrical Update the number 
 RANSAC/ sampling (inlier ratio or Negative Estimated 
 parameters of iterations K
 MLESAC a minimal log-likelihood); Model
 Estimation M adaptively (Eq. 3.2)
 paradigm subset Update the best model
 Searching good 
 samples using 
 Randomly geometrical Model evaluation M via 
 Proposed Update the number 
 sampling a constraints Negative 
 Method of iterations K
 minimal Log-likehood; 
 (GCSAC ) adaptively (Eq. 3.2)
 subset Geometrical Update the best model
 parameters 
 estimation M
 RANSAC Iteration
 A point cloud
 Search good sampling 
 Random sampling based on Geometrical 
 constraint based on (GS)
 Estimation model; 
 Compute the inlier ratio w
 Yes
 ≥
 k=0: MLESAC w wt Good samples
 ≥ (GS)
 k=1:w wt: Yes No
 Compute Negative log-
 ≥
 k=1:w wt: No lihood L, update the best 
 As MLESAC model
 k≤K
 No
 Estimated mode
 H¼nh 3.2: Ph¦n tr¶n: Têng quan v· thuªt to¡n düa tr¶n RANSAC.
 Ph¦n d÷îi: Sì ç triºn khai cõa GCSAC.
th§p ÷ñc x¡c ành tr÷îc câ thº ÷ñc triºn khai nh÷ mët i·u ki»n y¸u cõa t½nh nh§t
qu¡n. Sau â, ch¿ sau v i l¦n l°p m¨u ng¨u nhi¶n, c¡c ùng cû vi¶n m¨u tèt câ thº ¤t
÷ñc. (2) C¡c bë m¨u tèi thiºu bao gçm c¡c m¨u õ i·u ki»n £m b£o c¡c r ng buëc
h¼nh håc cõa èi t÷ñng quan t¥m. (3) i·u ki»n døng cõa thuªt to¡n RANSAC phò
hñp cõa (Hartley et al. 2003) ÷ñc sû döng º thuªt to¡n døng ngay khi tªp m¨u tèi
thiºu ÷ñc t¼m th§y cho sè l¦n l°p cõa ÷îc l÷ñng hi»n t¤i nhä hìn sè ¢ ¤t ÷ñc.
 º x¡c ành i·u ki»n døng cho thuªt to¡n ÷îc l÷ñng, mët t½nh to¡n tèt º x¡c
ành sè l¦n l°p K l  cæng thùc 3.2.
 log(1 − p)
 K = (3:2)
 log(1 − ws)
trong â p l  x¡c su§t t¼m ÷ñc mæ h¼nh mæ t£ dú li»u, s l  sè m¨u tèi thiºu c¦n thi¸t
º ÷îc l÷ñng mët mæ h¼nh, w l  t l» ph¦n tr«m cõa c¡c iºm nëi t¤i trong ¡m m¥y
iºm.
 12
3.1.3.2 Ph¥n t½ch h¼nh håc v  c¡c r ng buëc cho lüa chån m¨u tèt
 Trong c¡c ph¦n ti¸p theo, chóng tæi tr¼nh b y qu¡ tr¼nh ÷îc l÷ñng c¡c c§u tróc
h¼nh håc 3-D. Düa tr¶n ph¥n t½ch h¼nh håc n y, c¡c r ng buëc li¶n quan ÷ñc ÷a ra
º chån c¡c m¨u tèt.
 Vector ph¡p tuy¸n cõa t§t c£ c¡c iºm ÷ñc t½nh theo c¡ch ti¸p cªn trong (Holz et
al. 2011) T¤i méi iºm pi, k-l¥n cªn g¦n nh§t kn cõa iºm pi ÷ñc x¡c ành trong mët
b¡n k½nh r. Do â, vector ph¡p tuy¸n cõa pi ÷ñc suy gi£m v· ph¥n t½ch vector ri¶ng
v  c¡c gi¡ trà ri¶ng cõa ma trªn hi»p ph÷ìng sai C, ÷ñc tr¼nh b y ð ph¦n 2.2.3.2.
 a. Ph¥n t½ch h¼nh håc cho c¡c èi t÷ñng h¼nh trö
C¡c quan h» h¼nh håc cõa c¡c tham sè tr¶n ÷ñc thº hi»n trong h¼nh 3.3 (a). Mët h¼nh
trö câ thº ÷ñc ÷îc l÷ñng tø hai iºm (p1; p2) (hai iºm m u xanh) v  vectì ph¡p
tuy¸n t÷ìng ùng cõa chóng (n1; n2) (÷ñc ¡nh d§u b¬ng m u xanh l¡ c¥y v  m u
v ng). °t γc l  tröc ch½nh cõa h¼nh trö (÷íng m u ä) ÷ñc ÷îc t½nh b¬ng:
 γc = n1 × n2 (3:3)
 º x¡c ành mët iºm t¥m I, chóng tæi chi¸u tham sè cõa hai ÷íng th¯ng
L1 = p1 + tn1 v  L2 = p2 + tn2 v o m°t ph¯ng P laneY (nh÷ h¼nh 3.3 (b)). Vector
ph¡p tuy¸n cõa m°t ph¯ng n y ÷ñc ÷îc l÷ñng b¬ng mët t½ch ch²o cõa c¡c vectì γc v 
n1 (γc × n1). iºm t¥m I l  giao iºm cõa L1 v  L2 (xem h¼nh 3.3 (c)). B¡n k½nh Ra
÷ñc °t bði kho£ng c¡ch giúa I v  p1 trong P laneY . K¸t qu£ cõa h¼nh trö ÷îc l÷ñng
tø mët ¡m m¥y iºm ÷ñc minh håa trong h¼nh 3.4 (f). Chi·u cao cõa h¼nh trö ÷îc
l÷ñng ÷ñc chu©n hâa l  1.
 ¦u ti¶n chóng tæi x¥y düng mët m°t ph¯ng π vuæng gâc vîi m°t ph¯ng P laneY
v  chùa n1. Do â vector ph¡p tuy¸n cõa nâ l  nπ = (nP laneY × n1) trong â nP laneY l 
vectì ph¡p tuy¸n cõa P laneY , nh÷ trong H¼nh 3.4 (a). Nâi c¡ch kh¡c, n1 g¦n vuæng
gâc vîi ∗ trong â ∗ l  ph²p chi¸u l¶n m°t ph¯ng . Quan s¡t n y d¨n ¸n r ng
 n2 n2 n2 π
buëc d÷îi ¥y:
 n n∗
 cp = arg min f 1 · 2g (3:4)
 p22fUnnp1g
R ng buëc trong cæng thùc (3.4) gióp vi»c t¼m ÷ñc c¡c m¨u tèt cho ÷îc l÷ñng mæ
h¼nh h¼nh trö.
3.1.4 Th½ nghi»m k¸t qu£ cõa bë ÷îc l÷ñng b·n vúng
3.1.4.1 Cì sð dú li»u ¡nh gi¡ cõa bë ÷îc l÷ñng b·n vúng
 Chóng tæi công t¤o ra c¡c iºm ng¨u nhi¶n theo c§u tróc h¼nh trö, h¼nh c¦u, h¼nh
nân. èi vîi c¡c èi t÷ñng h¼nh trö, tªp dú li»u ÷ñc thu thªp tø tªp dú li»u ¢ cæng
 13
 PlaneY
 Ic
 n
 n1 2
 γc L1
 p2 p1
 L2
 (a) (b) (c)
 p
 1 n
 p 1
 3 γ2
 n3
 γ
 n2
 n1
 n2
 Estimated 
 p γ1 p1
 2 p2 cylinder
 (d) (e) (f)
 H¼nh 3.3: C¡c thæng sè h¼nh håc cõa vªt thº h¼nh trö. (a)-(c) Gi£i th½ch v· ph¥n
 t½ch h¼nh håc º ÷îc l÷ñng mët èi t÷ñng h¼nh trö. (d)-(e) Minh håa c¡c r ng buëc
h¼nh håc ÷ñc ¡p döng trong GCSAC. (f) K¸t qu£ cõa h¼nh trö ÷îc l÷ñng ÷ñc tø mët
¡m m¥y iºm. iºm m u xanh d÷ìng l  c¡c iºm ngo¤i lai, c¡c iºm m u ä l  c¡c
 iºm nëi t¤i.
 H¼nh 3.4: (a) Thi¸t lªp c¡c tham sè h¼nh håc º ÷îc t½nh mët èi t÷ñng h¼nh trö
 tø mët ¡m m¥y iºm nh÷ mæ t£ ð tr¶n. (b) H¼nh trö ÷îc l÷ñng (m u xanh löc) tø
mët inlier p1 v  mët outlier p2. Nh÷ ÷ñc hiºn thà, â l  ÷îc l÷ñng khæng ch½nh x¡c.
 (c) vectì ph¡p tuy¸n v  ∗ tr¶n m°t ph¯ng ÷ñc ÷îc l÷ñng.
 n1 n2 π
bè [1] chùa 300 èi t÷ñng thuëc 51 lo¤i, nâ °t t¶n l  'h¼nh trö thù hai'. èi vîi èi
t÷ñng h¼nh c¦u, tªp dú li»u bao gçm hai qu£ bâng ÷ñc thu thªp tø bèn c£nh thüc.
Cuèi còng, dú li»u ¡m m¥y iºm cõa c¡c èi t÷ñng h¼nh nân, câ t¶n l  'h¼nh nân thù
hai', ÷ñc sû döng tø tªp dú li»u ÷ñc cæng bè [4].
3.1.4.2 ë o ¡nh gi¡ bë ÷îc l÷ñng m¤nh b·n vúng
 - Léi t÷ìng quan Ew cõa t l» iºm nëi t¤i ÷îc l÷ñng ÷ñc. Ew c ng nhä, thuªt
 to¡n c ng tèt. Trong â wgt l  t l» iºm nëi t¤i ÷ñc x¡c ành cõa dú li»u; w l 
 t l» nëi t¤i cõa mæ h¼nh ÷îc l÷ñng ÷ñc.
 - Têng sè léi kho£ng c¡ch Sd ÷ñc t½nh b¬ng têng kho£ng c¡ch tø b§t ký c¡c iºm
 pj ¸n mæ h¼nh ÷îc l÷ñng ÷ñc Me.
 14
 B£ng 3.2: K¸t qu£ ¡nh gi¡ trung b¼nh cõa c¡c bë dú li»u sinh.
 C¡c bë dú li»u sinh ÷ñc l°p l¤i 50 l¦n cho thèng k¶ k¸t qu£.
 Dú li»u/
 ë o RANSAC PROSAC MLESAC MSAC LOSAC NAPSAC GCSAC
 Ph÷ìng thùc
 Ew 23.59 28.62 43.13 10.92 9.95 61.27 8.49
 (%)
 'h¼nh Sd 1528.71 1562.42 1568.81 1527.93 1536.47 3168.17 1495.33
 trö 1' tp(ms) 89.54 52.71 70.94 90.84 536.84 52.03 41.35
 Ed(cm) 0.05 0.06 0.17 0.04 0.05 0.93 0.03
 EA(deg:) 3.12 4.02 5.87 2.81 2.84 7.02 2.24
 Er(%) 1.54 2.33 7.54 1.02 2.40 112.06 0.69
 Ew(%) 23.01 31.53 85.65 33.43 23.63 57.76 19.44
 3801.95 3803.62 3774.77 3804.27 3558.06 3904.22 3452.88
 'h¼nh Sd
 10.68 23.45 1728.21 9.46 31.57 2.96 6.48
 c¦u 1' tp(ms)
 Ed(cm) 0.05 0.07 1.71 0.08 0.21 0.97 0.05
 Er(%) 2.92 4.12 203.60 5.15 17.52 63.60 2.61
 Ew(%) 24.89 37.86 68.32 40.74 30.11 86.15 24.40
 Sd 2361.79 2523.68 2383.01 2388.64 2298.03 13730.53 2223.14
 'h¼nh tp(ms) 495.26 242.26 52525 227.57 1258.07 206.17 188.4
 nân 1' EA(deg:) 6.48 15.64 11.67 15.64 6.79 14.54 4.77
 E_r(%) 20.47 17.65 429.44 17.31 20.22 54.44 17.21
 - Thíi gian xû lþ tp ÷ñc t½nh b¬ng mili gi¥y (ms). Tp c ng nhä l  thuªt to¡n
 nhanh.
 - Sai sè t÷ìng èi cõa t¥m ÷îc l÷ñng ÷ñc (ch¿ d nh cho c¡c bë dú li»u têng hñp)
 Ed l  kho£ng c¡ch Euclide cõa t¥m ÷îc l÷ñng ÷ñc Ee v  mët gèc Et.
 - Léi t÷ìng èi cõa b¡n k½nh (èi vîi h¼nh trö v  h¼nh c¦u) Er l  b¡n k½nh ÷îc
 l÷ñng ÷ñc re v  gi¡ trà thüc t¸ rt.
 - ë l»ch Ea cõa gâc mð h¼nh nân ÷îc l÷ñng ae v  ¢ ành ngh¾a gâc at.
3.1.4.3 K¸t qu£ ¡nh gi¡ cõa bë ÷îc l÷ñng b·n vúng mîi
 Hi»u n«ng cõa méi ph÷ìng thùc tr¶n c¡c bë dú li»u têng hñp ÷ñc thº hi»n trong
b£ng 3.2. º ¡nh gi¡ c¡c tªp dú li»u thüc, k¸t qu£ thû nghi»m ÷ñc thº hi»n trong
b£ng 3.3 cho c¡c èi t÷ñng h¼nh trö. B£ng 3.4 thº hi»n k¸t qu£ ÷îc l÷ñng cho c¡c bë
dú li»u h¼nh c¦u v  h¼nh nân.
3.1.5 Th£o luªn
 Trong nghi¶n cùu n y, chóng tæi ¢ · xu§t GCSAC l  mët bë ÷îc l÷ñng b·n
vúng k¸t hñp giúa vi»c £m b£o sü nh§t qu¡n vîi mæ h¼nh ÷îc l÷ñng thæng qua vi»c
¡nh gi¡ t l» inlier v  r ng buëc h¼nh håc cõa èi t÷ñng quan t¥m. Chi¸n l÷ñc n y
nh¬m möc ½ch chån c¡c m¨u tèt º ÷îc l÷ñng mæ h¼nh. Ph÷ìng thùc ÷ñc · xu§t ¢
÷ñc kiºm tra vîi c¡c c§u tróc h¼nh håc cì b£n nh÷ h¼nh trö, h¼nh c¦u v  h¼nh nân.
 15
 B£ng 3.3: K¸t qu£ thû nghi»m tr¶n tªp dú li»u 'h¼nh trö thù 2'.
 C¡c th½ nghi»m ÷ñc l°p l¤i 20 l¦n, sau â c¡c k¸t qu£ ÷ñc t½nh trung b¼nh.
 Dú li»u/ w t E
 Ph÷ìng thùc S p r
 ë o (%) d (ms) (%)
 'h¼nh trö 2' MLESAC 9.94 3269.77 110.28 9.93
 (cèc c  ph¶) GCSAC 13.83 2807.40 33.44 7.00
 'h¼nh trö 2' MLESAC 19.05 1231.16 479.74 19.58
 (lon ç «n) GCSAC 21.41 1015.38 119.46 13.48
 'H¼nh trö 2' MLESAC 15.04 1211.91 101.61 21.89
 (Cèc ç «n) GCSAC 18.8 1035.19 14.43 17.87
 'H¼nh trö 2' MLESAC 13.54 1238.96 620.62 29.63
 (lon soda) GCSAC 20.6 1004.27 16.25 27.7
 B£ng 3.4: K¸t qu£ ¡nh gi¡ trung b¼nh tr¶n bë dú li»u 'qu£ c¦u thù hai',
 'nân thù hai'. C¡c tªp dú li»u thüc ÷ñc l°p l¤i 20 l¦n cho k¸t qu£ thèng k¶.
 Dú li»u/
 ë o RANSACPROSAC MLESAC MSAC LOSAC NAPSAC GCSAC
 Ph÷ìng thùc
 w(%) 99.77 99.98 99.83 99.80 99.78 98.20 100.00
 Sd 29.60 26.62 29.38 29.37 28.77 35.55 11.31
 'H¼nh tp(ms) 3.44 3.43 4.17 2.97 7.82 4.11 2.93
 c¦u 2' Er(%) 30.56 26.55 30.36 30.38 31.05 33.72 14.08
 w(%) 79.52 71.89 75.45 71.89 80.21 38.79 82.27
 Sd 126.56 156.40 147.00 143.00 96.37 1043.34 116.09
 'H¼nh tp(ms) 10.94 7.42 13.05 9.65 96.37 25.39 7.14
 nân 2' EA(deg:) 38.11 40.35 35.62 25.39 29.42 52.64 23.74
 Er(%) 77.52 77.09 74.84 75.10 71.66 76.06 68.84
C¡c tªp dú li»u thû nghi»m bao gçm c¡c bë dú li»u sinh v  bë dú li»u thu thüc t¸.
K¸t qu£ cõa thuªt to¡n GCSAC ÷ñc so s¡nh vîi c¡c thuªt to¡n düa tr¶n RANSAC
v  chóng ta câ thº th§y GCSAC ¢ ÷îc l÷ñng tèt ngay c£ nhúng ¡m m¥y iºm vîi t
l» inlier th§p. Trong t÷ìng lai, chóng tæi ti¸p töc thû nghi»m GCSAC vîi c¡c c§u tróc
h¼nh håc kh¡c v  ¡nh gi¡ ph÷ìng ph¡p ÷ñc · xu§t vîi kàch b£n thüc t¸ º ph¡t
hi»n nhi·u èi t÷ñng.
3.2 ×îc l÷ñng èi t÷ñng sû döng ngú c£nh v  r ng buëc h¼nh
 håc
3.2.1 Ph¡t hi»n èi t÷ñng sû döng ngú c£nh v  r ng buëc h¼nh håc
 Chóng ta h¢y xem x²t mët kàch b£n thüc trong c¡c ho¤t ëng phê bi¸n h ng ng y
cõa nhúng NKT. Hå i v o mët pháng cafe sau â ÷a ra mët c¥u häi "cèc c  ph¶ ð
¥u?", Nh÷ trong h¼nh 1.
 16
B£ng 3.5: K¸t qu£ trung b¼nh cõa c¡c ë o ¡nh gi¡ sû döng GCSAC v  MLESAC
 tr¶n ba tªp dú li»u. C¡c thõ töc ÷ñc l°p l¤i 50 l¦n º ¡nh gi¡ thèng k¶.
 Khæng sû döng
 Dú li»u/ Ph÷ìng thùc r ng buëc
 Ea(deg:) Er(%) tp(ms)
 dú li»u MLESAC 46.47 92.85 18.10
 1 GCSAC 36.17 81.01 13.51
 Dú li»u MLESAC 47.56 50.78 25.89
 2 GCSAC 40.68 38.29 18.38
 Dú li»u MLESAC 45.32 48.48 22.75
 3 GCSAC 43.06 46.9 17.14
3.2.2 · xu§t ph÷ìng thùc ph¡t hi»n èi t÷ñng sû döng ngú v  r ng buëc
 h¼nh håc
 Trong bèi c£nh ph¡t triºn c¡c h» thèng hé trñ t¼m ki¸m èi t÷ñng cho NKT (nh÷
trong h¼nh 1).
3.2.2.1 Kiºm ành mæ h¼nh sû döng r ng buëc ngú c£nh
3.2.3 Th½ nghi»m k¸t qu£ cõa ph¡t hi»n c¡c èi t÷ñng sû döng r ng buëc
 ngú c£nh
3.2.3.1 Mi¶u t£ cì sð dú li»u ¡nh gi¡
 Tªp dú li»u ¦u ti¶n ÷ñc t¤o tø mët tªp dú li»u cæng bè trong [3].
3.2.3.2 C¡c ë o ¡nh gi¡
3.2.3.3 C¡c k¸t qu£ cõa ph¡t hi»n c¡c èi t÷ñng sû döng r ng buëc ngú c£nh
 B£ng 3.5 so s¡nh hi»u n«ng cõa ph÷ìng ph¡p · xu§t GCSAC v  MLESAC.
3.2.4 Th£o luªn
 CH×ÌNG 4
 PHT HI›N V€ ×ÎC L×ÑNG MÆ HœNH †Y Õ
 CÕA ÈI T×ÑNG 3-D V€ PHT TRIšN ÙNG
 DÖNG
4.1 Ph¡t hi»n èi t÷ñng 3-D
4.1.1 Khði ¦u
 C¡c èi t÷ñng quan t¥m ÷ñc °t tr¶n m°t ph¯ng b n v  l  c¡c èi t÷ñng câ c§u
tróc h¼nh håc ìn gi£n (v½ dö: cèc c  ph¶, lå, chai, lon soda l  h¼nh trö, bâng ¡, hoa
 17
 B£ng 4.1: K¸t qu£ trung b¼nh ph¡t hi»n c¡c vªt thº h¼nh c¦u tr¶n hai giai o¤n
 ë o/
 Giai Giai o¤n 2 Thíi gian
 Dú li»u
 o¤n xû lþ
 1
 tp(s)/c£nh
 ë tri»u ë ch½nh ë tri»u ë ch½nh
 Ph÷ìng thùc
 hçi(%) x¡c(%) hçi(%) x¡c(%)
 Dú li»u
 PSM 62.23 48.36 60.56 46.68 1.05
 thù 1
 CVFGS 56.24 50.38 48.27 42.34 1.2
 DLGS 88.24 78.52 76.52 72.29 0.5
qu£ l  h¼nh c¦u). Ph÷ìng ph¡p cõa chóng tæi ¢ khai th¡c hi»u su§t cõa YOLO [2]
nh÷ mët ph÷ìng ph¡p khði nguçn º ph¡t hi»n èi t÷ñng trong h¼nh £nh RGB v¼ nâ
l  ph÷ìng ph¡p câ hi»u su§t cao nh§t º ph¡t hi»n èi t÷ñng. Sau â, c¡c èi t÷ñng
÷ñc ph¡t hi»n ÷ñc chi¸u v o dú li»u ¡m m¥y iºm (dú li»u 3-D) º t¤o ra mæ h¼nh
èi t÷ñng ¦y õ º c¦m n­m, mæ t£ c¡c èi t÷ñng.
4.1.2 C¡c nghi¶n cùu li¶n quan
4.1.3 Mët nghi¶n cùu so s¡nh cõa ph¡t hi»n èi t÷ñng 3-D
4.1.3.1 Ph÷ìng thùc düa tr¶n h¼nh håc cho ph¡t hi»n c¡c c§u tróc h¼nh håc ìn gi£n
 (PSM)
 Ph÷ìng ph¡p n y sû döng ph¡t hi»n c¡c c§u tróc h¼nh håc cì b£n (PSM) cõa
(Schnabel et al. 2007) trong ¡m m¥y iºm cõa c¡c èi t÷ñng.
4.1.3.2 K¸t hñp ph¥n cöm èi t÷ñng, °c tr÷ng ph¥n bè h÷îng (VFH), GCSAC cho
 ÷îc l÷ñng mæ h¼nh ¦y õ - (CVFGS)
4.1.3.3 K¸t hñp cõa håc s¥u v  GCSAC cho ph¡t hi»n v  x¥y düng mæ h¼nh ¦y õ
 cõa èi t÷ñng - (DLGS)
 M¤ng n y chia h¼nh £nh ¦u v o th nh