Luận án Nghiên cứu và phát triển các phương pháp nhận dạng cây dựa trên nhiều ảnh bộ phận của cây, có tương tác với người sử dụng

 đoạn tự động 42.3
 KDES gèc với ph¥n đoạn tự động 35.5
 C¡c k¸t qu£ tr¶n cơ sở dú li»u Flavia
 Phương ph¡p đề xu§t thực hi»n tr¶n cơ sở dú li»u Flavia đạt được độ ch½nh x¡c là
99.06%. Chúng tôi so s¡nh phương ph¡p đề xu§t với c¡c phương ph¡p kh¡c tr¶n cùng
cơ sở dú li»u Flavia. C¡c k¸t qu£ được cho như trong B£ng 2.4 cho th§y phương ph¡p
đề xu§t cao hơn c¡c phương ph¡p dựa tr¶n đặc trưng thi¸t k¸ trước đó. Độ ch½nh x¡c
được c£i thi»n tø 0.36 đến 6.86% so với c¡c k¸t qu£ kh¡c.
 C¡c k¸t qu£ tr¶n cơ sở dú li»u LifeCLEF 2015
 8
 B£ng 2.4 So s¡nh phương ph¡p đề xu§t với c¡c phương ph¡p dựa tr¶n thi¸t k¸ đặc
 trưng tr¶n cơ sở dú li»u Flavia
 Phương ph¡p Đặc trưng, Phương ph¡p ph¥n lớp Độ ch½nh x¡c(%)
 Phương ph¡p
 KDES c£i ti¸n; SVM 99.06
 đề xu§t
 [12] SMSD; NFC 97.5
 [13] CT,HU, moments, GF, GLCM; NFC 97.6
 [14] EnS, CDS; SVM 97.8
 [15] GIST features (486), (PCA=40%); cosine KNN 98.7
 [16] Zernike moments, HOG; SVM 96.4
 [17] Geometrical features, invariant moments; RBPNN 94.1
 [18] Geometrical features, vein features; SVM 92.2
 Đối với dú li»u này, độ đo đánh gi¡ được sû dụng là score ở mùc £nh đưñc định
nghĩa bởi cuëc thi LifeCLEF2015 [1]. K¸t qu£ nhªn d¤ng cõa phương ph¡p đưñc đề
xu§t trong chương này được gûi cho cuëc thi với t¶n l¦n lượt là Mica Run 1, Mica Run
2 và Mica Run 3. H¼nh 2.12 biºu di¹n k¸t qu£ cõa c¡c đội tham gia cuëc thi. K¸t qu£
phương ph¡p đề xu§t cõa chúng tôi tr¶n tªp £nh l¡ n·n đơn gi£n đứng thù hai trong
cuëc thi LifeCLEF2015 sau đội đứng đầu sû dụng phương ph¡p CNN, và cao hơn mët
sè đội kh¡c cũng sû dụng m¤ng CNN. K¸t qu£ này cho ph²p minh chùng hi»u qu£ cõa
phương ph¡p ti·n xû lý cũng như đặc trưng sû dụng để mô t£ £nh l¡.
 H¼nh 2.12 Chi ti¸t score đạt được cho Leaf Scan [1], đội chúng tôi có t¶n là Mica
2.5 K¸t luªn
 Trong chương này, mët phương ph¡p nhªn d¤ng c¥y dựa tr¶n £nh l¡ tr¶n n·n phùc
t¤p đã được đề xu§t. C¡c k¸t qu£ thû nghi»m ch¿ ra r¬ng vi»c k¸t hñp giúa KDES c£i
ti¸n và ph¥n đoạn tương t¡c trong phương ph¡p đề xu§t đã vượt qua KDES gèc và c¡c
phương ph¡p dựa tr¶n đặc trưng được thi¸t k¸ kh¡c cho c¡c cơ sở dú li»u ImageCLEF
2013, Flavia và LifeCLEF 2015.
 9
 CHƯƠNG 3
 KỸ THUẬT KẾT HỢP SAU CHO NHẬN DẠNG
 CÂY DỰA TRÊN NHIỀU BË PHẬN
3.1 Giới thi»u
 Theo quan điểm cõa c¡c nhà thực vªt học nhªn d¤ng loài c¥y ch¿ dựa vào c¡c £nh
cõa mët bë phªn là không đủ thông tin do sự tương tự lớn giúa c¡c loài kh¡c nhau và
sự bi¸n đổi lớn trong cùng mët loài. Do đó hi»n nay đã có nhi·u nghi¶n cùu thực hi»n
nhªn d¤ng c¥y dựa tr¶n nhi·u bë phªn. Chương này chúng tôi đề xu§t mët kỹ thuªt
k¸t hñp nhi·u bë phªn. Không m§t t½nh têng qu¡t, chúng tôi thực hi»n và đánh gi¡ c¡c
kỹ thuªt k¸t hñp cho méi cặp bë phªn cõa c¥y. Chúng tôi đề xu§t mët phương ph¡p
gọi là phương ph¡p k¸t hñp lai b·n vúng (RHF), phương ph¡p này thực hi»n k¸t hñp
phương ph¡p k¸t hñp dựa tr¶n bi¸n đổi và k¸t hñp dựa tr¶n ph¥n lớp (CBF). C¡ch k¸t
hñp đề xu§t được mi¶u t£ trong H¼nh 3.2.
 H¼nh 3.2 C¡ch k¸t hñp đề xu§t cho nhªn d¤ng c¥y đa bë phªn
3.2 Phương ph¡p k¸t hñp lai b·n vúng RHF
 Trong chương này, chúng tôi sû dụng mët sè ký hi»u sau:
 ˆ q = fI1;I2; ::; IN g: là c¥u truy v§n chùa c¡c £nh cõa N bë phªn (trong công vi»c
 này chúng tôi chọn N = 2);
 ˆ C: sè loài trong cơ sở dú li»u;
 ˆ si(Ik) là độ tin cªy cõa loài thù i khi sû dụng £nh cõa bë phªn k được gọi là Ik
 như là c¥u truy v§n cõa nhªn d¤ng đơn bë phªn với 1 ≤ i ≤ C; 1 ≤ k ≤ N;
 ˆ c: lớp dự b¡o cho c¥u truy v§n q.
 10
 Kỹ thuªt k¸t hñp dựa tr¶n sự bi¸n đổi: bao gồm 3 luªt ch½nh sau:
 Khi ¡p dụng 3 luªt này, c¡c £nh trong c¥u truy v§n q được dự đoán vào lớp c định
nghĩa như sau:
 Luªt lớn nh§t (Max rule):
 c = arg max max si(Ik) (3.1)
 i k=1::N
 Luªt têng (Sum rule):
 N
 X
 c = arg max si(Ik) (3.2)
 i
 k=1
 Luªt nh¥n (Product rule):
 N
 Y
 c = arg max si(Ik) (3.3)
 i
 k=1
 C¡c phương ph¡p k¸t hñp dựa tr¶n bi¸n đổi không ph£i luôn luôn đạt được k¸t
qu£ tèt. Tuy nhi¶n c¡c phương ph¡p này là đơn gi£n và không y¶u c¦u qu¡ tr¼nh hu§n
luy»n, h¦u h¸t c¡c phương ph¡p nhªn d¤ng c¥y dựa tr¶n nhi·u bë phªn đều sû dụng
c¡c phương ph¡p này.
 Kỹ thuªt k¸t hñp dựa tr¶n ph¥n lớp (CBF)
 Ý tưởng ch½nh cõa kỹ thuªt k¸t hñp dựa tr¶n ph¥n lớp là nhi·u độ tin cªy được
đưa vào mët v²c tơ đặc trưng và sû dụng mët bë ph¥n lớp để ph¥n t¡ch c¡c lớp dựa
tr¶n không gian c¡c v²c tơ đặc trưng thu được. Chúng tôi ¡p dụng ý tưởng này cho
nhªn d¤ng c¥y tø £nh cõa hai bë phªn. Trong đó, m¡y v²c tơ hé trñ (SVM) được sû
dụng do đây là mët bë ph¥n lớp m¤nh. CBF được ti¸n hành như sau: Với méi mët
£nh, chúng tôi cho đi qua bë ph¥n lớp tương ùng, chúng tôi thu được mët danh s¡ch
C độ tin cªy tương ùng cho C lớp. Với méi cặp £nh, C cặp độ tin cªy tương ùng cho
C lớp được t¤o ra bao gồm mët m¨u dương t¤i vị tr½ lớp đúng và C − 1 m¨u ¥m cán
l¤i. C¡c m¨u dương và m¨u ¥m được mô t£ trong h¼nh 3.3. Sau đó bë ph¥n lớp SVM
được sû dụng để hu§n luy»n c¡c m¨u này.
 Trong pha kiºm thû, cho c¥u truy v§n q, phương ph¡p CBF tr£ v· k¸t qu£ hai x¡c
su§t dự b¡o cho loài thù i: mët cho lớp dương ký hi»u Ppos(i; q) và mët cho lớp ¥m ký
hi»u Pneg(i; q). Danh s¡ch c¡c loài được x¸p h¤ng bởi si(q), ở đó si(q) là đë tin cªy cõa
 11
 H¼nh 3.3 Gi£i th½ch v· c¡c m¨u ¥m và m¨u dương
loài thù i thu được cho c¥u truy v§n q thuëc v· lớp dương:
 si(q) = Ppos(i; q) (3.4)
Lớp c là lớp dự b¡o được x¡c định như sau, ở đó 1 ≤ i ≤ C
 c = arg max si(q) (3.5)
 i
 Kỹ thuªt k¸t hñp lai b·n vúng (RHF)
 Kỹ thuªt k¸t hñp dựa tr¶n ph¥n lớp có thº làm m§t đi sự ph¥n bè c¡c đặc điểm
cõa méi loài bởi v¼ t§t c£ c¡c m¨u dương và m¨u ¥m cõa t§t c£ c¡c loài được hu§n
luy»n cùng nhau. Do đó để ph¡t huy sự ph¥n bè c¡c đặc điểm cõa méi loài, chúng tôi
x¥y dựng méi loài mët mô h¼nh SVM dựa tr¶n c¡c m¨u dương và m¨u ¥m cõa méi
loài. Với méi c¥u truy v§n q, chúng tôi thu được C m¨u âm/dương tương ùng cho C
lớp. Méi m¨u tương ùng cho lớp i chúng tôi s³ cho qua bë ph¥n lớp SVM cho lớp i thu
được x¡c su§t tương ùng si(q). Sau đó chúng tôi thực hi»n nh¥n gi¡ trị si(q) với c¡c
gi¡ trị trong m¨u đang x²t. Mô h¼nh lai đề xu§t được ti¸n hành như sau:
 2
  Y 
 c = arg max si(q): si(Ik) (3:6)
 i
 k=1
 Mô h¼nh này là t½ch hñp giúa luªt nh¥n và kỹ thuªt k¸t hñp dựa tr¶n ph¥n lớp.
Chúng tôi mong đợi r¬ng x¡c su§t cõa c¥u truy v§n q vào lớp dương £nh hưởng đến
 12
k¸t qu£ k¸t hñp. N¸u x¡c su§t cõa c¥u truy v§n q vào lớp dương là cao th¼ x¡c su§t
cõa c¥u truy v§n q thuëc vào lớp thù i cũng cao.
3.3 Lựa chọn mô h¼nh ph¥n lớp cho nhªn d¤ng c¥y đơn bë phªn
 Để nhªn d¤ng c¥y dựa tr¶n nhi·u bë phªn đạt k¸t qu£ cao, ngoài vi»c sû dụng
c¡c kỹ thuªt k¸t hñp hi»u qu£, mët nh¥n tè quan trọng góp ph¦n để n¥ng cao k¸t qu£
này là k¸t qu£ nhªn d¤ng tr¶n mët bë phªn ph£i đạt k¸t qu£ cao. Với sự thành công
cõa c¡c m¤ng CNN cho c¡c bài to¡n nhªn d¤ng đối tượng trong nhúng n«m g¦n đây,
trong ph¦n này chúng tôi triºn khai mët sè m¤ng phê bi¸n là AlexNet[19], ResNet[20]
và GoogLeNet [21] cho nhªn d¤ng mët bë phªn c¥y.
 Chúng tôi đề xu§t hai chi¸n lược nhªn d¤ng đơn bë phªn được mi¶u t£ trong H¼nh
3.10: (1) Trong chi¸n lược thù nh§t, mët m¤ng CNN s³ được hu§n luy»n cho méi bë
phªn; (2) Với chi¸n lược thù hai, mët m¤ng CNN được hu§n luy»n cho t§t c£ c¡c £nh
bë phªn. Chi¸n lược thù nh§t cho ph²p k¸t hñp tường minh cho méi bë phªn trong
khi chi¸n lược thù hai không y¶u c¦u bi¸t cõa bë phªn c¥y và thực hi»n t½nh to¡n ½t
hơn do ch¿ có mët m¤ng CNN.
 H¼nh 3.10 Hai chi¸n lược nhªn d¤ng c¥y dựa tr¶n mët bë phªn.
 Khi thực hi»n hu§n luy»n, chúng tôi sû dụng bë trọng sè đã được ti·n hu§n luy»n
tr¶n cơ sở dú li»u ImageNet và tinh ch¿nh m¤ng với cơ sở dú li»u thû nghi»m.
3.4 C¡c k¸t qu£ thực nghi»m
 Để triºn khai c¡c thực nghi»m, chúng tôi cài đặt tr¶n c§u h¼nh m¡y là GHzCPU
2.20, RAM 16 GB, GPU GeForce GTX 1080 Ti với Tensorflow và tèi ưu mô h¼nh cho
nhªn d¤ng c¥y với vi»c tèi ưu c¡c tham sè được sû dụng trong AlexNet , ResNet và
GoogLeNet.
3.4.1 Cơ sở dú li»u
 Chúng tôi tr½ch xu§t tø LifeCLEF 2015, 50 loài c¥y có đầy đủ c¡c £nh cõa c¡c bë
phªn. Ngoài ra với mong muèn t«ng sè lượng £nh cho cơ sở dú li»u c¡c £nh được thu
thªp th¶m tø Internet. Cơ sở dú li»u này được hiºn thị trong B£ng 3.2. Dú li»u chia
 13
thành 3 ph¦n: CNN training là dú li»u hu§n luy»n cõa m¤ng CNN cho nhªn d¤ng mët
bë phªn; SVM input được sû dụng làm tªp dú li»u hu§n luy»n cho bë ph¥n lớp SVM;
testing được sû dụng để đánh gi¡ hi»u su§t cõa c¡c phương ph¡p k¸t hñp đã tr¼nh bày.
 B£ng 3.2 Cơ sở dú li»u thu thªp cõa 50 loài với 4 bë phªn
 Flower Leaf Entire Branch Total
 CNN Training 1650 1930 825 1388 5793
 SVM Input 986 1164 495 833 3478
 Testing 673 776 341 553 2343
 Têng 3309 3870 1661 2774 11614
 Sè loài = 50
3.4.2 C¡c k¸t qu£ thû nghi»m
 K¸t qu£ nhªn d¤ng đơn bë phªn
 C¡c k¸t qu£ thu được cho hai chi¸n lược đề xu§t đưñc hiºn thị trong B£ng 3.3.
Chúng tôi quan s¡t th§y r¬ng GoogLeNet thu được k¸t qu£ tèt hơn so với AlexNet,
ResNet ở c£ hai phương ph¡p và cho h¦u h¸t c¡c bë phªn ngo¤i trø £nh toàn bë cõa
c¥y trong chi¸n lược 2. Mët điểm thú vị là chi¸n lược 1 phù hñp với bë phªn l¡ và hoa
trong khi chi¸n lược 2 là lựa chọn tèt cho c¡c bë phªn kh¡c như cành và £nh toàn bë
c¥y. Điểm thuªn lñi cõa chi¸n lược 2 cho nhªn d¤ng đơn bë phªn là không y¶u c¦u bi¸t
lo¤i bë phªn. C¡c k¸t qu£ cũng ch¿ ra r¬ng hoa là bë phªn cho k¸t qu£ tèt nh§t, trong
khi £nh toàn bë c¥y cho k¸t qu£ th§p nh§t.
 B£ng 3.3 Độ ch½nh x¡c nhªn d¤ng c¥y dựa tr¶n mët bë phªn với hai chi¸n lược:
 (1) Mët m¤ng cho méi bë phªn; (2) Mët m¤ng cho t§t c£ c¡c bë phªn.
 AlexNet ResNet GoogLeNet
 Bë phªn Chi¸n lược 1 Chi¸n lược 2 Chi¸n lược 1 Chi¸n lược 2 Chi¸n lưñc 1 Chi¸n lược 2
 Leaf (Le) 66.2 63.8 73.4 70.6 75.0 76.6
 Flower (Fl) 73.0 72.2 75.6 75.4 82.2 78.4
 Branch (Br) 43.2 47.4 48.6 54.6 53.2 54.8
 Entire (En) 32.4 33.8 32.4 39.0 36.4 35.2
 Đánh gi¡ chi¸n lược k¸t hñp đề xu§t RHF
 B£ng 3.4, B£ng 3.5 và B£ng 3.6 cho th§y k¸t qu£ đạt được khi k¸t hñp tøng cặp
bë phªn. C¡c k¸t qu£ ch¿ ra r¬ng h¦u như k¸t qu£ k¸t hñp hai bë phªn đều cao hơn
k¸t cõa méi bë phªn tương ùng. Trong trường hñp ¡p dụng chi¸n lược 1 cho nhªn d¤ng
đơn bë phªn, đối với m¤ng AlexNet, k¸t qu£ tèt nh§t cho mët bë phªn là 73.0 % cho
bë phªn hoa, trong khi b¬ng c¡ch ¡p dụng phương ph¡p RHF đề xu§t, đë ch½nh x¡c
cõa sự k¸t hñp l¡ và hoa t«ng đáng kº là 16.8 % l¶n 89.8 %. Khi ¡p dụng ResNet, sự
k¸t hñp giúa l¡ và hoa (Le-Fl) t«ng l¶n 17 % so với mët bë phªn và 13.6% khi ¡p dụng
m¤ng GoogLeNet. Không ch¿ đối với cặp hoa và l¡ mà trong t§t c£ s¡u cặp bë phªn
k¸t hñp, phương ph¡p đề xu§t RHF đạt được k¸t qu£ cao nh§t.
 14
B£ng 3.4 Độ ch½nh x¡c đạt được ở h¤ng 1 khi k¸t hñp méi cặp bë phªn với c¡c phương ph¡p
 k¸t hñp kh¡c nhau trong trường hñp sû dụng m¤ng AlexNet.
 Chi¸n lược 1 cho nhªn d¤ng đơn bë phªn Chi¸n lược 2 cho nhªn d¤ng đơn bë phªn
 Max Sum Product Max Sum Product
 Độ ch½nh x¡c (%) rule rule rule CBF RHF rule rule rule CBF RHF
 R1 66.2 67.2 75.6 74.0 76.6 66.8 67.2 77.4 71.4 78.6
 En - Le
 R5 88.6 88.8 93.2 81.8 94.6 88.4 88.2 93.6 80.2 94.4
 R1 73.8 74.4 78.8 77.2 81.2 73.84 73.6 78.8 76.24 80.4
 En - Fl
 R5 92.6 92.8 94.2 84.2 94.4 88.8 89.2 94.8 83.6 95.6
 R1 81.6 82.0 88.6 86.2 89.8 78.8 81.2 89.6 83.2 89.6
 Le - Fl
 R5 96.8 96.8 98.2 90.4 98.4 95.6 96.0 99.2 88.8 99.2
 R1 70.2 71.0 76.8 73.8 78.4 66.4 68.2 78.2 73.6 78.2
 Br - Le
 R5 89.6 90.0 93.4 79.6 93.8 92.0 93.0 95.6 81.6 96.0
 R1 74.2 75.4 80.8 79.0 81.4 70.2 70.6 80.6 76.6 81.4
 Br - Fl
 R5 90.8 91.4 95.2 83.0 95.4 90.4 90.6 95.4 84.6 95.6
 R1 51.6 52.2 58.0 58.0 58.6 52.4 52.8 60.6 60.6 61.6
 Br - En
 R5 76.8 77.6 83.6 81.4 83.8 78.2 78.6 83.6 83.4 84.9
B£ng 3.5 Độ ch½nh x¡c đạt được ở h¤ng 1 khi k¸t hñp méi cặp bë phªn với c¡c phương ph¡p
 k¸t hñp kh¡c nhau trong trường hñp sû dụng m¤ng ResNet.
 Chi¸n lược 1 cho nhªn d¤ng đơn bë phªn Chi¸n lược 2 cho nhªn d¤ng đơn bë phªn
 Max Sum Product Max Sum Product
 Độ ch½nh x¡c (%) rule rule rule CBF RHF rule rule rule CBF RHF
 R1 70.4 72.2 75.2 73.2 78.0 73.6 75.4 80.8 73.2 80.8
 En - Le
 R5 91.8 92.6 92.8 90.6 93.2 94.2 94.4 94.8 90.6 95.2
 R1 73.8 75.4 80.0 76.4 83.2 74.6 76.0 80.2 76.4 83.2
 En - Fl
 R5 93.2 93.6 95.0 89.2 95.4 94.4 95.0 95.8 89.2 95.2
 R1 90.0 91.4 92.4 91.4 92.6 85.8 87.6 89.2 91.4 92.6
 Le - Fl
 R5 98.0 98.8 99.0 96.0 99.2 98.4 98.4 99.0 96.0 99.2
 R1 77.8 79.2 82.0 79.4 83.2 79.8 81.4 83.6 79.4 83.2
 Br - Le
 R5 91.8 92.2 94.0 90.4 94.6 94.4 94.4 96.4 90.4 94.6
 R1 80.0 81.0 84.4 82.0 86.4 78.8 80.4 85.6 81.0 86.0
 Br - Fl
 R5 93.6 94.4 97.6 91.4 97.8 95.6 96.0 96.2 91.4 97.6
 R1 52.4 54.4 62.2 55.0 60.6 60.4 66.2 69.0 55.0 69.0
 Br - En
 R5 82.0 83.4 86.6 80.4 87.4 84.8 85.6 89.6 80.4 87.6
B£ng 3.6 Độ ch½nh x¡c đạt được ở h¤ng 1 khi k¸t hñp méi cặp bë phªn với c¡c phương ph¡p
 k¸t hñp kh¡c nhau trong trường hñp sû dụng m¤ng GoogLeNet.
 Chi¸n lược 1 cho nhªn d¤ng đơn bë phªn Chi¸n lược 2 cho nhªn d¤ng đơn bë phªn
 Max Sum Product Max Sum Product
 Accuracy (%) rule rule rule CBF RHF rule rule rule CBF RHF
 R1 74.6 75.0 79.2 79.4 80.6 77.8 78.0 79.4 81.2 82.0
 En - Le
 R5 94.0 93.8 93.6 84.0 94.4 91.4 91.4 96.2 85.6 95.8
 R1 79.2 79.8 83.4 83.8 84.2 77.6 78.0 81.0 80.2 81.0
 En - Fl
 R5 95.8 96.0 97.0 89.2 96.8 93.6 93.8 95.8 84.4 96.2
 R1 91.4 92.0 95.4 93.8 95.8 90.6 90.2 92.6 91.8 92.8
 Le - Fl
 R5 99.6 99.6 99.6 96.0 99.8 98.6 98.8 99.0 93.8 99.0
 R1 79.8 81.0 84.6 80.2 84.6 81.2 81.8 85.6 81.6 86.6
 Br - Le
 R5 94.4 94.6 97.4 84.8 97.4 96.8 96.8 96.8 86.0 97.0
 R1 85.0 86.0 90.2 87.2 91.6 80.0 80.4 86.8 83.2 87.2
 Br - Fl
 R5 97.0 97.4 99.2 90.2 99.0 96.0 96.0 97.6 86.8 97.0
 R1 58.0 58.8 61.8 60.2 64.2 57.8 58.4 65.6 59.2 66.4
 Br - En
 R5 81.4 81.8 86.8 70.4 87.0 82.2 82.0 87.0 68.4 87.0
 So s¡nh phương ph¡p đề xu§t với phương ph¡p MCDCNN[22]
 Để cho th§y hi»u qu£ cõa kỹ thuªt k¸t hñp đề xu§t, chúng tôi so s¡nh phương
ph¡p RHF với MCDCNN[22]. C¡c k¸t qu£ đạt được tr¶n cùng cơ sở dú li»u được cho
 15
 B£ng 3.7 So s¡nh phương ph¡p đề xu§t với MCDCNN [22]
 Chi¸n lược 1 cho Chi¸n lược 2 cho
 nhªn d¤ng đơn bë phªn nhªn d¤ng đơn bë phªn
 RHF RHF RHF RHF RHF RHF MCDCNN
 Accuracy (%) (AlexNet) (ResNet) (GoogLeNet) (AlexNet) (ResNet) (GoogLeNet) [22]
 R1 76.6 78.0 80.6 78.6 80.8 82.0 70.0
 En - Le
 R5 94.6 93.2 94.4 94.4 95.2 95.8 91.0
 R1 81.2 83.2 84.2 80.4 83.2 81.0 75.6
 En - Fl
 R5 94.4 95.4 96.8 95.6 95.2 96.2 94.2
 R1 89.8 92.6 95.8 89.6 92.6 92.8 86.6
 Le - Fl
 R5 98.4 99.2 99.8 99.2 99.2 99.0 98.4
 R1 78.4 83.2 84.6 78.2 83.2 86.6 72.2
 Br - Le
 R5 93.8 94.6 97.4 96.0 94.6 97.0 93.0
 R1 81.4 86.4 91.6 81.4 86.0 87.2 76.8
 Br - Fl
 R5 95.4 97.8 99.0 95.6 97.6 97.0 93.0
 R1 58.6 60.6 64.2 61.6 69.0 66.4 55.2
 Br - En
 R5 83.8 87.4 87.0 84.0 87.6 87.0 80.6
trong B£ng 3.7 cho th§y phương ph¡p đề xu§t vượt trëi hơn MCDCNN trong t§t c£
c¡c cặp bë phªn k¸t hñp. Sự c£i thi»n l¶n tới 14.4 % cho sự k¸t hñp giúa cành và l¡.
3.5 K¸t luªn
 Chương này chúng tôi đã đề xu§t mët phương ph¡p k¸t hñp muën RHF cho bài
to¡n nhªn d¤ng c¥y dựa tr¶n hai bë phªn. Đối với nhªn d¤ng đơn bë phªn, chúng tôi
¡p dụng mët sè m¤ng CNN ti¶u biºu. Kỹ thuªt đề xu§t RHF cho k¸t qu£ tèt nh§t so
với c¡c kỹ thuªt k¸t hñp kh¡c với độ ch½nh x¡c t«ng tø 3.2% đến 14.8% t¤i h¤ng 1.
 CHƯƠNG 4
 CÁCH TIẾP CẬN ĐỀ XUẤT CHO NHẬN DẠNG
 CÂY TỰ ĐỘNG KHÆNG CÂ SẴN DỮ LIỆU VÀ ÁP
 DỤNG CHO HỆ THÈNG TÌM KIẾM DỰA TRÊN
 HÌNH ẢNH
4.1 C¡ch ti¸p cªn đề xu§t cho h» thèng nhªn d¤ng c¥y tự động
 khi không có s®n dú li»u
 Mặc dù đã có r§t nhi·u đề xu§t cũng như nhúng k¸t qu£ đáng ghi nhªn cho bài
to¡n nhªn d¤ng c¥y. Tuy nhi¶n, c¡c nghi¶n cùu trước đó thường dựa tr¶n gi£ thuy¸t
là cơ sở dú li»u đã có s®n. Trong chương này chúng tôi đề xu§t mët c¡ch ti¸p cªn cho
ph²p x¥y dựng c¡c h» thèng nhªn d¤ng c¥y với dú li»u không có s®n. Ý tưởng ch½nh
cõa c¡c ti¸p cªn này là c¡c loài c¥y có thº có ph¥n bè r§t kh¡c nhau tr¶n tr¡i đất, tuy
nhi¶n c¡c loài c¥y thường chia s´ đặc điểm chung: có c¡c bë phªn l¡, hoa...Xu§t ph¡t
tø quan s¡t này, chúng tôi s³ x¥y dựng mët bë ph¡t hi»n tự động c¡c bë phªn dựa tr¶n
c¡c cơ sở dú li»u đã có tø trước. Bë ph¡t hi»n tự động này s³ đưñc xem như là bước
lọc đº xû lý tự động dú li»u thu thªp tø c¡c nguồn với sự tham gia cõa nhi·u người
dùng (crowdsourcing). C¡ch ti¸p cªn được đề xu§t bao gồm 4 bước và được biºu di¹n
 16
ở H¼nh 4.3.
H¼nh 4.3 Sơ đồ đề xu§t cho x¥y dựng h» thèng nhªn d¤ng c¥y tự động khi không có
 s®n cơ sở dú li»u
 ˆ Thu thªp dú li»u c¥y: Bước đầu ti¶n là thu thªp dú li»u tø nhi·u nguồn kh¡c
 nhau.
 ˆ Ph¡t hi»n bë phªn c¥y Chúng tôi đề xu§t x¥y dựng bë ph¡t hi»n bë phªn c¥y
 (l¡, hoa, qu£, th¥n, cành, không ph£i c¥y) dựa tr¶n bë dú li»u LifeCLEF 2015 và
 sû dụng làm bë lọc dú li»u tự động để đánh gi¡ dú li»u.
 ˆ Đánh gi¡ dú li»u: Mục đích ch½nh cõa bước này là lo¤i bỏ c¡c h¼nh £nh không
 ph£i là c¥y.
 ˆ Nhªn d¤ng c¥y: Chúng tôi ¡p dụng c¡c kỹ thuªt nhªn d¤ng c¥y dựa tr¶n mët
 bë phªn hoặc nhi·u bë phªn.
Trong c¡c mục sau, chúng tôi s³ tªp trung tr¼nh bày bë ph¡t hi»n bë phªn c¥y và ùng
dụng cõa c¡ch ti¸p cªn đề xu§t trong vi»c x¥y dựng chùc n«ng t¼m ki¸m theo h¼nh £nh
cõa h» thèng tra cùu c¥y thuèc Vi»t Nam VnMed.
4.2 Ph¡t hi»n bë phªn c¥y
 Ph¡t hi»n bë phªn c¥y tự động nh¬m x¡c định bë phªn cõa c¥y có mặt trong
mët h¼nh £nh cho trước. Chúng tôi đề xu§t ¡p dụng m¤ng GoogLeNet và kỹ thuªt học
chuyºn giao để x¥y dựng bë ph¡t hi»n bë phªn.
 Để hu§n luy»n và đánh gi¡ m¤ng đề xu§t, chúng tôi l§y cơ sở dú li»u LifeCLEF
2015 và dú li»u thu thªp tø Internet. 5 bë phªn trong LifeCLEF 2015 đó là l¡ (bao
gồm l¡ + l¡ n·n đơn gi£n), hoa, qu£, th¥n, cành (bao gồm cành + toàn bë). Với mục
 17
đích ph¥n lo¤i mët £nh đầu vào là c¥y hay không ph£i là c¥y, chúng tôi c¦n t¤o mët
lớp chùa c¡c £nh không ph£i là c¥y. Với c¡c £nh không ph£i là c¥y được thu thªp tø
Internet.
 Thực nghi»m: C¡c tham sè cõa m¤ng được tinh ch¿nh như sau: k½ch thước bó:
32, tèc độ học khởi t¤o: 0.001, momentum: 0.9. B£ng 4.4 tr¼nh bày k¸t qu£ tương ùng
với hai chi¸n lược khởi t¤o trọng sè. K¸t qu£ cho th§y r¬ng vi»c sû dụng trọng sè ti·n
hu§n luy»n tr¶n mët cơ sở dú li»u lớn như ImageNet cho ph²p đạt được sự c£i thi»n
+5.08 % ở h¤ng 1 và +2.54 % ở h¤ng 2 so với trường hñp sû dụng bë trọng sè khởi
t¤o ng¨u nhi¶n. Độ ch½nh x¡c cõa phương ph¡p được đề xu§t ở h¤ng 1 và h¤ng 2 tương
ùng là 87.18 % và 97.46 %. K¸t qu£ này là r§t hùa hẹn v¼ c¡c h¼nh £nh chõ y¸u là
có n·n phùc t¤p. Điều này chùng tỏ r¬ng phương ph¡p học s¥u có kh£ n«ng học tèt
với c¡c h¼nh £nh tự nhi¶n.
 B£ng 4.4 K¸t qu£ bë ph¡t hi»n bë phªn tự động với hai bë trọng
 sè khởi t¤o kh¡c nhau.
 Bë trọng sè khởi t¤o Thù h¤ng 1 (%) Thù h¤ng 2 (%)
 Khởi t¤o ng¨u nhi¶n 82.10 94.92
 Ti·n hu§n luy»n tr¶n ImageNet 87.18 97.46
4.3 Ph¡t triºn h» thèng tra cùu c¥y thuèc Vi»t Nam (VnMed)
 H» thèng tra cùu c¥y thuèc Vi»t Nam (VnMed) đã được ph¡t triºn bởi Vi»n MICA,
Trường đại học B¡ch Khoa Hà Nëi cho ph²p t¼m ki¸m thông tin cõa 600 c¥y thuèc
thường được sû dụng ở Vi»t Nam dựa tr¶n tø khóa và mô t£ sinh học. Vi»c ph¡t triºn
chùc n«ng t¼m ki¸m dựa tr¶n h¼nh £nh là quan trọng tuy nhi¶n vi»c này khó thực hi»n
do sự khó kh«n trong vi»c thu thªp h¼nh £nh cõa c¡c c¥y thuèc. Trong nghi¶n cùu này,
chúng tôi đề xu§t ¡p dụng c¡ch ti¸p cªn ở tr¶n trong vi»c ph¡t triºn chùc n«ng t¼m
ki¸m c¥y thuèc dựa tr¶n h¼nh £nh.
 Để đánh gi¡ sự kh£ thi cũng như vai trá cõa c¡c bước trong c¡ch ti¸p cªn đề xu§t,
chúng tôi thu thªp dú li»u 100 c¥y thuèc Vi»t Nam theo 2 phương ph¡p: thõ công, dựa
tr¶n cëng đồng. Chúng tôi tê chùc c¡c £nh thu thªp được thành 4 cơ sở dú li»u như
sau:
 ˆ VnDataset1 chùa c¡c £nh thu được theo phương ph¡p thõ công;
 ˆ VnDataset2 chùa c¡c £nh cõa VnDataset1 và c¡c £nh thu thªp theo phương
 ph¡p dựa tr¶n cëng đồng. Trong cơ sở dú li»u này, sè £nh cho méi loài bi¸n đổi
 tø 57 tới 379. Trung b¼nh méi loài có 206 £nh. VnDataset2 chùa nhi¹u (như c¡c
 £nh không ph£i là c¥y) do qu¡ tr¼nh thu thªp £nh tự động tr¶n internet.
 ˆ VnDataset3 chùa c¡c £nh cán l¤i