Luận án Nhận dạng cử chỉ động của bàn tay người sử dụng kết hợp thông tin hình ảnh và độ sâu ứng dụng trong tương tác người - Thiết bị

 lý phùc t¤p và/hoặc t½nh to¡n thời gian cao. Trong khi đó
vi»c ph¡t hi»n và tr½ch chọn vùng bàn tay là mët trong nhúng bước ti·n xû lý trong
bài to¡n nhªn d¤ng cû ch¿ động cõa bàn tay. V¼ vªy, nëi dung chương này đề xu§t gi£i
ph¡p học c¡c tham sè mô h¼nh để đạt được độ ch½nh x¡c cao, đ¡p ùng thời gian thực
trong ph¡t hi»n và tr½ch chọn vùng bàn tay. Sau đó, dựa vào vi»c k¸t hñp c¡c d¤ng t½n
hi»u bi¸n đổi theo quy luªt cõa c¡c cû ch¿ động đã định nghĩa, đề xu§t mët gi£i ph¡p
để ph¥n đoạn chuéi cû ch¿ động cõa bàn tay đáp ùng thời gian thực.
3.2 Gi£n đồ học cõa người dùng
3.2.1 Mët sè gi£ thi¸t và ràng buëc
3.2.2 Sơ đồ đề xu§t
 (a) The proposed vision-based hand detection and segmentation
 RGB Hand region
 image
 Hand detected and 
 Preprocessing Detecting body Detecting hand 
 Kinect Segmented
 data area candidates 
 Depth Pruning hand 
 image
 Learning parameters Learning parameters Learning 
 (µ,δ) ,η of background (d± ∆) of a distance to parameters (µ,δ)
 model hand of skin model
 (b) The proposed user-guide scheme
 H¼nh 3.1 Minh họa h» thèng đ· xu§t ph¡t hi»n và tr½ch chọn bàn tay.
 - Ti·n xû lý: Do £nh I và D thu thªp tø c£m bi¸n Kinect không có cùng tọa độ.
 Do đó, bước ti·n xû lý nh¬m hi»u ch¿nh để đưa c¡c điểm £nh màu và £nh độ s¥u
 v· cùng tọa độ. Phương ph¡p được đề xu§t trong [1] được sû dụng.
 - Ph¡t hi»n người Bd:
 Bd = DjDiff(D;BG)>T hreshbody (3.1)
 - Ph¡t hi»n tay Hd:
 Hd = BdjBd<T hreshhand (3.2)
 - Làm mịn vùng bàn tay: K¸t hñp màu da tr¶n vùng c¡c ùng vi¶n £nh độ s¥u Hd:
 ∗
 H = IjHd;Ωc (3.3)
3.2.3 Học c¡c tham sè
 Để ph¡t hi»n vùng bàn tay, h» thèng đề xu§t c¦n ph£i sû dụng mët sè tham sè.
C¡c tham sè này có thº được học tø trước và sû dụng sau đó.
 8
3.2.3.1 Học tham sè cõa mô h¼nh n·n
 Sû dụng mô h¼nh GMM [6] để quan s¡t sự ên định cõa méi điểm £nh p tr¶n
mët chuéi n £nh độ s¥u: sp = [D1;p;D2;p; :::; Dn;p]. Tham sè quan s¡t là độ l»ch chu©n
σp = std(sp) cõa điểm £nh. Trong đó, điểm £nh p cõa mô h¼nh n·n được biºu di¹n bởi
BGp = (µp; ηp; σp), được t½nh to¡n như sau:
 ˆ Mô h¼nh nhi¹u ηp:
 (
 0 if σp < τ
 ηp = (3.4)
 255 otherwise
 ˆ Gi¡ trị trung b¼nh µp:
 Pn
 ( t=1 Dt;p
 n if σp < τ
 µp = Pk (3.5)
 t=1 Dt;pjDt;p<ivd
 k otherwise
 (a) RGB image (b) Depth image (c) Body extraction (d) Candidates of hand
 H¼nh 3.2 C¡c k¸t qu£ cõa giai đo¤n ph¡t hi»n bàn tay
H¼nh 3.2(a-c) minh họa c¡c k¸t qu£ trø n·n. H¼nh 3.2(c) biºu di¹n k¸t qu£ vùng ph¡t
hi»n người, sau đó là ph¡t hi»n c¡c vùng là ùng vi¶n cõa vùng bàn tay.
3.2.3.2 Học tham sè kho£ng c¡ch tø tay tới c£m bi¸n Kinect
 C¡c ph¦n dịch chuyºn được t½nh to¡n dựa tr¶n sự kh¡c bi»t giúa c¡c khung h¼nh
li¶n ti¸p tr¶n £nh độ s¥u Dt−2;Dt−1;Dt như sau:
 8 D = D − D
 t−2;t−1 t−1 t−2
 Dt−1;t = Dt − Dt−1 (3.6)
 >
 : Dhand = Dt;t−1 \ Dt−2;t−1
3.2.3.3 Học tham sè màu da vùng bàn tay
 Sự ên định cõa ph¥n bè màu da x¡c định dựa tr¶n tương quan ch²o cõa hai biºu
đồ màu da bàn tay cõa c¡c khung h¼nh li¶n ti¸p nhau t, với ∆t = jt − t−1j. H¼nh
 1 PN
3.4(d) cho th§y t½ch lũy sai sè N t=1 ∆t tø khung h¼nh 1 đến N. Gi¡ trị này t«ng d¦n
tương ùng với sự sai kh¡c khi vùng màu da cán bi¸n động do tay chưa đặt đúng vị tr½.
Cho đến mët khi sai sè dao đëng quanh mët gi¡ trị nh§t định tương ùng cõa màu da
cõa người th¼ vi»c học có thº døng l¤i.
 9
 (a) (b) (c)
 - -
 =
 (d)
 (e) (f) (g)
 H¼nh 3.3 K¸t qu£ cõa tham sè kho£ng c¡ch.
 1
 Accumulation of ∆
 0.8
 0.6
 0.4
 0.2
 frame
 0
 0 10 20 30 40
 (a) frame # 0 (b) frame # i (c) frame # n (d) Accumulation of ∆ along frames
 H¼nh 3.4 Hu§n luy»n mô h¼nh màu da
3.2.4 Ph¡t hi»n và tinh ch¿nh k¸t qu£ vùng bàn tay dựa tr¶n gi£n đồ học
 Hi
 ROI i
 H*
 (a) A candidate of (b) Mahalanobis (c) Hand detection
 hand distance
H¼nh 3.5 K¸t qu£ cõa tr½ch chọn vùng bàn tay. (a) Ứng vi¶n vùng bàn tay; (b) Kho£ng
c¡ch Mahalanobis; (c) K¸t qu£ tinh ch¿nh.
 ∗
 Tø vùng ùng vi¶n cõa bàn tay Hi được mở rëng với H = Hi × δ (H¼nh chú nhªt
màu xanh ở H¼nh 3.5(a)). Sau đó, kho£ng c¡ch Mahalanobis giúa H∗ và mô h¼nh màu
da được t½nh to¡n đº tr½ch chọn vùng bàn tay như h¼nh 3.5(b). Vùng bàn tay được làm
đầy với ph¦n màu da bị thi¸u và với vùng ùng vi¶n cõa bàn tay không trùng với màu
da s³ được lo¤i bỏ. Sau khi làm mượt th¼ k¸t qu£ thu được là H∗∗) như minh họa trong
h¼nh 3.5(c).
3.3 Ph¥n đoạn cû ch¿ động cõa bàn tay
 Ph¥n đoạn cû ch¿ là thực hi»n x¡c định điểm đầu và điểm k¸t thúc cõa mët cû ch¿
trong chuéi khung h¼nh li¶n ti¸p. Dựa tr¶n đặc trưng cõa cû ch¿ định nghĩa là có t½nh
chu kỳ đóng, h¼nh tr¤ng ban đầu và k¸t thúc cõa méi cû ch¿ là gièng nhau. Gi£i thuªt
ph¥n đoạn cû ch¿ được đề xu§t dựa tr¶n sự bi¸n đổi cõa hàm t½n hi»u di»n t½ch vùng
bàn tay, và vªn tèc chuyºn động cõa nó, cụ thº như sau: Hàm fS(t) được định nghĩa
 10
 1.0
 fV
 ʚ0,0ʛ ͬ ʚ0,0ʛ ͬ
 fS
 0.8 f
 ʚͬ$, ͭ$ʛ ʚͬ$ͮͥ, ͭ$ͮͥʛ C
 0.6
 0.4
 ͍$ ͍$ͮͥ
 ͭ ͭ 0.2
 ͎͙͝͡ ʚ͎$ʛ ͚ͣ ͚͕͙ͦ͡ ͨ$ ͎͙͝͡ ʚ͎$ͮͥʛ ͚ͣ ͚͕͙ͦ͡ ͨ$ͮͥ
 (a) Hand movements in time 0
 0 10 20 30 40 50 60
 (b) The combination of area and velocity signal
 H¼nh 3.6 K¸t hñp t½n hi»u di»n t½ch và vªn tèc cõa bàn tay.
 1.0 Orignal signal
 fC(t) Smoothed signal
 Applied opening operator
 Gesture starting
 0.8 Gesture ending
 0.6
 0.4
 0.2
 0 t
 0 50 100 150 200 250 300 350 400
 1.0
 0.8
 0.6
 0.4
 0.2
 Ground Truth Ground Truth Ground Truth
 0
 0 20 40 60 80 100
H¼nh 3.7 Hàng tr¶n: T½n hi»u fC (t). Hàng giúa: phóng to mët ph¦n t½n hi»u fC (t).
Hàng dưới cùng: minh họa sự thay đổi cõa h¼nh d¡ng bàn tay khi thực hi»n l»nh.
để biºu di¹n di»n t½ch cõa vùng bàn tay so với toàn bë k½ch thước £nh xt t¤i thời điểm
t trong bë đệm:
 8
 X <1 if i belongs to hand region St
 fS(t) = δi with δi = (3.7)
 8i2St :0 otherwise
 Hàm fV (t) biºu di¹n vªn tèc chuyºn động cõa vùng bàn tay Vt t¤i thời điểm t:
 p 2 2
 ((xi+1 − xi) + (yi+1 − yi)
 fV (t) = (3.8)
 Ti+1 − Ti
 Hàm fC (t) k¸t hñp hai t½n hi»u fC (t) = (fS(t), fV (t)) như sau:
 fC (t) = Max(jjfS(t)jj; jjfV (t)jj) (3.9)
 11
 Sau đó, hàm fC (t) được sû dụng để ph¡t hi»n điểm b­t đ¦u và k¸t thúc cõa cû
ch¿ động cõa bàn tay như minh họa trong h¼nh 3.7.
3.4 C¡c k¸t qu£ thû nghi»m
 Mười người được mời tham gia đánh gi¡ thû nghi»m h» thèng ph¡t hi»n và tr½ch
chọn vùng bàn tay. Méi người đều được thực hi»n với kịch b£n có s®n như nhau gồm:
học c¡c tham sè, thực hi»n thû nghi»m. C¡c k¸t qu£ v· thời gian học, thời gian đáp
ùng, độ ch½nh x¡c cõa h» thèng được ghi l¤i để ph¥n t½ch và đánh gi¡.
3.4.1 Y¶u c¦u thời gian học đối với người dùng
3.4.2 Thời gian đáp ùng để tr½ch chọn và nhªn d¤ng vùng bàn tay
 Gi£i ph¡p đề xu§t y¶u c¦u mët thời gian để người dùng hu§n luy»n c¡c mô h¼nh
tham sè cõa h» thèng. Tuy nhi¶n, thời gian đáp ùng cõa h» thèng l¤i kh¡ nhanh, trung
b¼nh là 8 fps. Gi£i ph¡p đề xu§t xem như đạt được thời gian thực và nhanh hơn r§t
nhi·u so với mët sè gi£i ph¡p đã đề xu§t ([4],[5] l¶n tới 2 fps).
3.4.3 Hi»u qu£ cõa mô h¼nh học đối với ph¡t hi»n và tr½ch chọn bàn tay
 B£ng 3.1 K¸t qu£ JI với vi»c sû dụng/không sû dụng gi£n đồ học
 Subject 1 2 3 4 5 6 7 8 9 10
 P F rames 102 121 157 144 147 149 141 142 125 135
 Không sû dụng gi£n đồ học
 JI(%) 55.4 53.4 71.7 56.8 68.2 73.5 58.2 63.1 64.8 61.3
 Avg. ± std 62.6 ± 6.5 %
 Sû dụng gi£n đồ học
 JI(%) 86.7 87.6 89.5 88.9 90.4 84.8 87.8 92.4 88.1 83.6
 Avg. ± std 87.98 ± 2.58 %
3.4.4 Hi»u qu£ cõa gi£i ph¡p ph¥n đoạn cû ch¿ động bàn tay
 False alarm rate Area Combination False alarm rate Area Combination
 1 1
 0.8 0.8
 0.6 0.6
 0.4 0.4
 0.2 0.2
 0 0
 0.75 0.8 0.85 0.9 0.95 1 0.8 0.85 0.9 0.95 1
 True positive rate True positive rate
 (a) Spotting results of MICA1 dataset (b) Spotting results of MICA2 dataset
 H¼nh 3.8 K¸t qu£ ph¥n đo¤n chuéi cû ch¿ động tr¶n CSDL MICA1 và MICA2
 12
3.5 Th£o luªn và k¸t luªn
 Chương này đã tr¼nh bày c¡c phương ph¡p cho ph²p ph¡t hi»n vùng bàn tay và
ph¥n đoạn cû ch¿ động tø £nh RGB-D. Phương ph¡p ph¥n vùng dú tr¶n vi»c học trước
mët sè tham sè cõa môi trường. Làm cho h» thèng khi ho¤t động s³ đáp ùng nhanh
hơn và b·n vúng để ph¡t hi»n, tr½ch chọn vùng bàn tay. Phương ph¡p ph¥n đoạn dựa
tr¶n vi»c ph¥n t½ch sự thay đổi cõa hàm t½n hi»u vªn tèc và di»n t½ch cõa h¼nh tr¤ng
tay. C¡c đánh gi¡ thực nghi»m cho th§y c¡c phương ph¡p đề xu§t là kh£ thi khi triºn
khai trong c¡c ùng dụng thực t¸ c£ v· thời gian đáp ùng và độ ch½nh x¡c.
 CHƯƠNG 4
 BIỂU DIỄN CỬ CHỈ ĐỘNG BÀN TAY KẾT HỢP
 ĐẶC TRƯNG KHÆNG GIAN VÀ THÍI GIAN
4.1 Mở đầu
 Chương này tr¼nh bày mët phương ph¡p mới để biºu di¹n cû ch¿ động cõa bàn tay
trong không gian đặc trưng mới. Trong đó, không gian mới là sự k¸t hñp tø c¡c đặc
trưng không gian (ISOMAP[2]) và c¡c đặc trưng thời gian (KLT[3]). Ngoài ra, tø c¡c
chuéi cû ch¿ không đồng đều nhau v· k½ch thước do c¡c nguy¶n nh¥n như tèc đë thực
hi»n, k¸t qu£ cõa c¡c kh¥u ti·n xû lý, nhi·u lo¤i cû ch¿, người thực hi»n kh¡c nhau,...
Do đó, c¡c cû ch¿ động sai kh¡c nhau v· độ dài n¶n gi£i ph¡p đồng bë pha cõa chuéi
cû ch¿ động đã được đề xu§t.
4.2 Phương ph¡p biºu di¹n cû ch¿ đëng cõa bàn tay
 Spotted dynamic 
 hand gesture
 KLT KLT Spatial-
 Phase 
 Temporal 3D-CNN
 DTW Synchrolization
 PCA ISOMAP Space
 Representation Dynamic Hand Gesture Representation Representation
 RMSE
 RBF SVM Linear SVM
 K_NN
 Recognition schemes
 Recognition Recognition
 Gesture label
H¼nh 4.1 So s¡nh gi£i ph¡p đề xu§t với c¡c phương ph¡p nhªn d¤ng cû ch¿ động kh¡c
 13
4.2.1 Biºu di¹n bàn tay tø c¡c đặc trưng không gian và thời gian
4.2.1.1 Tr½ch chọn đặc trưng thời gian
 C¡c điểm đặc trưng được tr½ch chọn tr¶n tøng bàn tay tø khung h¼nh đầu ti¶n cho
đến khung h¼nh cuèi cùng trong chuéi cû ch¿ động. Sau đó, sự k¸t nèi cõa c¡c điểm đặc
trưng này với nhau biºu di¹n quỹ đạo chuyºn động cõa bàn tay. Méi quỹ đạo cõa bàn
 i
tay X gồm K điểm đặc trưng fp1; p2; :::; pK g (váng trán màu đỏ trong h¼nh .4.2(a)).
Quỹ đạo cõa Xi được biºu di¹n bởi công thùc 4.2 sau đây:
 i i i i i i i
 Xfp = f(x1; y1); (x2; y2); :::; (xN ; yN )g (4.1)
Sû dụng gi¡ trị trung b¼nh cõa t§t c£ N=20 điểm đặc trưng để t½nh quỹ đạo cõa cû ch¿
 i
Xfp như 4.2 (váng trán màu xanh trong H¼nh .4.2(b)):
 PK xj PK yj
 p = (x ; y ) = ( i=1 i ; i=1 i ) (4.2)
 j j j K K
 Quỹ đạo trung b¼nh biºu di¹n hướng dịch chuyºn cõa cû ch¿ tay. Đây ch½nh là
 G G
đặc trưng thời gian T rN tr½ch chọn tø chuéi c¡c khung h¼nh li¶n ti¸p G (T rN =
[p1; p2; :::; pK ]) như (4.3):
 G
 T rN = f(x1; y1); (x2; y2); :::; (xN ; yN )g (4.3)
 G G∗
Tọa độ cõa c¡c £nh là kh¡c nhau n¶n T rN c¦n đưñc chu©n hóa v· T rN (H¼nh .4.2(b))
bởi tọa độ trung b¼nh (x; y) cõa t§t c£ c¡c £nh trong tøng chuéi cû ch¿ động trong
(4.4), (4.5), (4.6):
 PN x PN y
 x = i=1 i ; y = i=1 i (4.4)
 N N
 G∗ 1 2 N
 T rN = [pi;j; pi;j; :::; pi;j] (4.5)
 G∗ 1 2 N
 T rN = [pj − (x; y); pj − (x; y); :::; pj − (x; y)] (4.6)
4.2.1.2 Tr½ch chọn đặc trưng không gian sû dụng kỹ thuªt suy gi£m tuy¸n t½nh
4.2.1.3 Tr½ch chọn đặc trưng không gian sû dụng kỹ thuªt đa t¤p
 Kỹ thuªt ISOMAP được ¡p dụng để suy gi£m sè chi·u phi tuyºn. Mục đích nh¬m
khai th¡c c¡c c§u trúc phi tuy¸n ti·m ©n cõa c§u trúc lớp dú li»u. H¼nh. 4.3. Thực
nghi»m cho th§y, với dú li»u cû ch¿ động bàn tay như định nghĩa, ch¿ c¦n ba chi·u là
 14
 (0,0) x
 t = 0 t = 1 t = 2
 y
 a. Optical flow b. Trajectory
 H¼nh 4.2 Minh họa chuyºn động cõa c¡c điểm đặc trưng và quỹ đạo chuyºn động
có thº đủ để biºu di¹n c¡c đặc trưng không gian cõa t½n hi»u h¼nh tr¤ng bàn tay. V¼
vªy, với kỹ thuªt ISOMAP, chuéi cû ch¿ tay được biºu di¹n như (4.7):
 G
 Y N = f(Y1;1;Y1;2;Y1;3); (Y2;1;Y2;2;Y2;3); :::; (YN;1;YN;2;YN;3)g (4.7)
 4 Three-dimensional Isomap embedding (with neighborhood graph).
 x 10
 1.5 0.16
 1 0.14 On_off
 Up
 0.12
 0.5 Down
 Left
 0.1
 0 Right
 0.08
 -0.5
 0.06
 Residual variance Residual
 -1
 0.04
 -1.5
 -3 0.02
 -2
 -1
 0 0
 2
 1 1 1.5 1 2 3 4 5 6 7 8 9 10
 0 0.5
 2 -1 -0.5
 4 -1.5 Isomap dimensionality
 x 10
 4
 a. 3D manifold of hand posturesx 10 b. Residual presentations
 H¼nh 4.3 a) Biºu di¹n 05 cû ch¿ tay trong không gian đa t¤p 3 chi·u.
4.2.2 Kỹ thuªt đồng bë pha DTW với sự ph¥n lớp K-NN
4.2.2.1 Đồng bë pha sû dụng với kỹ thuªt DTW
 Trong ph¦n này, kỹ thuªt DTW được sû dụng để đồng bë pha giúa c¡c cû ch¿
động, k¸t hñp với phương ph¡p biºu di¹n c¡c đặc trưng không gian sû dụng kỹ thuªt
PCA, và đặc trưng thời gian sû dụng kỹ thuªt KLT. Bë ph¥n lớp K-NN được dùng để
ph¥n lo¤i cû ch¿ động với thang đo RMSE giúa c¡c cû ch¿ động.
4.2.2.2 Nhªn d¤ng cû ch¿ động cõa bàn tay với phương ph¡p K-NN
4.2.3 Gi£i ph¡p đồng bë pha và nhªn d¤ng cû ch¿ động cõa bàn tay
4.2.3.1 Biºu di¹n cû ch¿ động cõa bàn tay
 Mët cû động cõa bàn tay GTS bao gồm N h¼nh tr¤ng như trong (4.8). Trong đó,
c¡c đặc trưng theo thời gian được tr½ch chọn với hai tham sè bởi kỹ thuªt KLT (xi; yi).
C¡c đặc trưng theo không gian được biºu di¹n bởi ba tham sè trong không gian đa t¤p
 15
 50 50
 20
 0
 0
 0 Y1
 Y Y1 -50
 1 -20
 -50 150
 150 -150
 100
 100 -100
 50
 50 -50
 0
 0 150 0
 100 -150 x 150
 x -50 50 x 50 -100 -50 100
 0 -50 50
 0
 -100 100 0 -100
 -50 y 50 -50
 -100 100 y -100 y
 -150 -150 150 150 -150 -150
 a. 40 Turn On_off gestures b. 37 Increase gestures c. 46 Decrease gestures
 20 14 13
 11 91011 1312 1
 9131210121111112112 152016
 50 10 111011911121011391081312101981314112011099182112013210111918111109 15141 13 12 11095 19
 1514 101291110121112148111391012119159810141112101516101191110101113171291311191411122101134129819 1322 14 13106 113 8
 20 10111210 9719201020814182129201913141208913101187911177111210712813129103108122018512214191381471310111641512420 20811712 11119910 4920191216201212201712188211 199182020
 9816913811910919819201091315181311714912810131811125176721920152121811121913171119318121413841814217986324122931741819132051715115162391910111312141215126132101211121310119108791113812116108188181913120161511713192018171920419197104
 88611107121012615191221620199182031019194811813192011201715168101471717396712184915818146192013417821517578103131196147136819131646131815321771861611651251471841113148139139129111014131181210142074981031021148131039220152101814192018181791819311816120192311 18
 50 0 719162201818372031314198183214115415131851411217183812215161031491716513156782094141365271632091696815141371315283151412711116542149381815714361679138158712411171517168558121014671611586975613151914492781211732018131921718389141916201719314211171519201721352
 0 8127182017275431917151916161718317144186132875152201667171463197511214168151367384161117141518161641461510213781510475171914161310151865161574617116572143641163613781551341714166518511415215171267121720657191410154161815181917421561619172041718201173172118741431721716201915 12 1
 Y Y 201311719171536718614151442020194171315206414316815185721911718316142612914161417206515141652019417714151319716641815515205116719131512143165617414151765537161224981816151756123166781201926155163418131715916635341295161441715418111532019171847212017516462161036
 1 1 20231941513111821161251817316121661716181619122410711817515201953418191512384161519616294185152043716101861713191517491520415746320192815167514151383529141317116675821061513419178561542013141116151317651941717161041351417163615517181447151920181613315182071364167519141631716245117318202151734171614643323
 Y1 0 159120191961812132019144718141510320173218181358161620201919171131417192201916151862122041518191114132157281751481431451864152171716913145131914181651573113261472121718515734814695141831651815473151026132014174185173116122018217412571514191813166155112191841516631817482051171622031819520192011721843191817853220718141713821182020191731820181920132011718192
 -20 -50 1012714196511114179712131997102013141583461991415712131668514171513816631811416512313614518172748141591137141116111714213141571219131015321617754291213191205631082019918721419611741281318411720192019141217461319204518941011171831914920138318482019181915132131811918191719320191820201920
 810 911681018186101272058131071591012981311131372012511169720194132126712145717 1013101291311101649813128101113869367121117151661378613911181612120141019215110171321220201919212313418192331217231391821819122011231821921201920
 -150 71012149111019201110111119101281110391281112981211981072061481665 5 29111413101213810129102181191210148971061198102128139106911714105320199111828320191101423103121 11
 -50 150 913 101114101291011142781068111578 101312111579148111312101512111413117101119201121121 10
 1187 111012913811 109108 19 121101220118 10
 150 91013128 99101110 1 1013911 150
 -100 100 11 9
 150
 100 100
 100 -50 -150 50
 50 50
 50 0 -100 0
 0 -50 0
 0
 x 50 0 x -50 -50
 x -50 -50
 100 50 -100 -100 y
 -100 -100 y
 y 100
 -150 -150 150 150 -150 -150
 d. 52 Back gestures e. 37 Next gestures f. Convergence of new features representation
H¼nh 4.4 Ph¥n bè cõa 05 cû ch¿ động cõa bàn tay trong không gian sè có chi·u th§p.
ISOMAP Yi;j; i = 1::N; j = 1::3. C¡c đặc trưng sau khi tr½ch chọn được chu©n hóa và
biºu di¹n trong cùng mët không gian như sau:
 2 3
 x1 x2 ::: xN
 6 7
 " # 6 y1 y2 ::: yN 7
 TS jjT r1jj jjT r2jj ::: jjT rN jj 6 7
 G = [Pi; i = (1; :::; N)] = = 6Y1;1 Y2;1 ::: YN;17
 jjY jj jjY jj ::: jjY jj 6 7
 1 2 N 6 7
 4Y1;2 Y2;2 ::: YN;25
 Y1;3 Y2;3 ::: YN;3
 (4.8)
4.2.3.2 Ph¥n t½ch pha cõa c¡c cû ch¿ có t½nh chu kỳ
 Cû ch¿ động có N cû ch¿ tương ùng với N h¼nh tr¤ng trong không gian đa t¤p n¬m
tr¶n mët đường cong đóng, méi h¼nh tr¤ng được coi như pha cõa t½n hi»u cû ch¿ động
như trong H¼nh. 4.5.
 The most The most The most 
 similar frames 
 similar frames different frames 2πT
 s <
 i N
 (P10 ,s 10 ) π
 > 2 T
 Y (P9,s 9) s
 1 i N
 (P11 ,s 11 )
 10
 60 (P8,s 8)
 (P12 ,s 12 ) 11
 12 9 8
 (P ,s )
 40 (P ,s ) 7 7
 13 13 13 c) Quasi closed-form gesture
 7 b) Quasi closed-form gesture
 20 2 (P5,s 5) The ideal 
 1 6
 (P1,s 1) closed-form gesture
 5 (P6,s 6)
 0 3 4
 100
 (P2,s 2) 2πT
 s =
 -20 (P ,s ) i
 (P ,s ) 4 4 The most N
 3 3 0 y
 different frames
 -40 -100
 -150 -100 -50 d) Ideal closed-form gesture
 0 50 100
 x 150
 a. Closed-form gesture in new space
H¼nh 4.5 Biºu di¹n đa t¤p cõa cû ch¿ tay động “Tiếp theo" trong không gian đề xu§t
4.2.3.3 Đồng bë pha với phương ph¡p nëi suy
 Mët gi£i ph¡p nëi suy được triºn khai để đồng bë c¡c chuéi cû ch¿ động cõa bàn
tay nh¬m đưa c¡c chuéi v· cùng mët k½ch thước trong không gian mới. Gi£i ph¡p đề
 16
 The most The most 
 similar frames Rejected the most 
 different frames Interpolated between 
 similar frames 
 2πT
 s < Different frames
 i N
 π
 > 2 T
 si
 N π
 2πT = 2 T
 s = si
 i N N
 (a) Quasi close-form gesture (b) The ideal close-form gesture (c) Quasi close-form gesture (d) The ideal close-form gesture
 H¼nh 4.6 Qu¡ tr¼nh đồng bë pha cõa chuéi cû ch¿ động.
xu§t được thực hi»n với hai trường hñp: (1) Nëi suy giúa cặp hai cû ch¿ li¶n ti¸p kh¡c
nhau nh§t, (2) lo¤i bỏ bớt mët cû ch¿ giúa hai cû ch¿ tương tự nhau nh§t như minh
họa trong H¼nh. 4.6(a). Gọi M là k½ch thước cõa chuéi cõa ch¿ tay mong muèn, tø cû
 TS TS
ch¿ tay G = fP1;P2; :::; PN g t¤i (t1, t2, ::: , tN ), v²c tơ kho£ng c¡ch G được t½nh
to¡n bởi Dinter = fdi;(i = 1; :::; N − 1)g. C¡c kho£ng c¡ch này được t½nh b¬ng kho£ng
c¡ch Ơ cờ l½t di = jjPi − Pi+1jj2 giúa hai cû ch¿ tay li¶n ti¸p Pi và Pi+1.
 Khi cû ch¿ động có N cû ch¿, k½ch thước mong muèn là M và N < M. Kho£ng
c¡ch lớn nh§t đưñc x¡c định tø v²c tơ Dinter (dmax = max(Dinter)), minh họa trong
H¼nh. 4.6(c). Điểm xa nhau nh§t đưñc nëi suy với điểm P ∗ (4.9) được ch±n vào giúa.
Qu¡ tr¼nh nëi suy đưñc lặp l¤i cho đến khi k½ch thước cõa chuéi cû ch¿ mới b¬ng M:
 x − x y − y Y − Y Y − Y Y − Y
 P ∗ = [ i+1 i ; i+1 i ; i+1;1 i;1 ; i+1;2 i;2 ; i+1;3 i;3 ]T (4.9)
 2 2 2 2 2
 Khi N > M, v²c tơ kho£ng c¡ch nhỏ nh§t được t½nh to¡n giúa hai cû ch¿ tay g¦n
nhau nh§t Dinter (dmin = min(Dinter)). Ph²p lo¤i trø mët điểm tø hai điểm g¦n nhau
nh§t được thực hi»n như (4.10). Qu