Kirjoittaja: Mustafa Al-Rubaye
|
Kuva 1. Esimerkki mammografiakuva avoimesti saatavilla olevasta CBISDDSM
aineistosta [1].
|
Segmentaatio
Segmentoinnin tarkoituksena on jaotella digitaalinen kuva eri osiin eli
segmentteihin. Jokainen erillinen segmentti edustaa erityyppistä rakennetta.
Kuvan segmentointi on tärkeä prosessi tietokoneen digitaalisessa
kuvankäsittelyssä [2].
Lääketieteellisessä kuvantamisessa kuvasegmentointia käytetään poimimaan
kliinisesti merkityksellistä tietoa kuvista, jolloin esimerkiksi radiologit
voivat hyödyntää segmentoitua kuvaa jaottelussa eri elimiin tai
kudostyyppeihin [3]. Lisäksi tietokoneiden on helpompi analysoida valmiiksi
segmentoituja kuvia analysoimalla vain segmentoitu alue [4, 2, 5].
Segmentoinnin tulos voidaan esittää kuvasegmentteinä, jotka peittävät kuvan
mielenkiintoalueen (Kuva 3), tai ääriviivoina, jotka ovat erotettu
segmentoidusta kuvasta (Kuva 2) [4].
Mammografiakuvasta voidaan erotella eri segmentteihin kuvattu rinta,
rintalihas, ihopoimujen ja nännin alue (Kuva 2). Segmentoitavat
mielenkiintoalueet riippuvat diagnostisesta tehtävästä.
Segmentoitua rintalihasta voidaan käyttää apuna rauhaskudoksen pinta-alaa
arvioidessa [6, 7], missä rintasyöpä yleensä esiintyy [8]. Rintalihaksen
segmentointi ennen mammografian analysointia automaattisesti on tärkeä
prosessi, sillä rintalihaksessa on tiivistä kudosta, joka voi muistuttaa
rakenteeltaan rintasyövän kaltaista massaa. Siksi segmentoinnin
epäonnistuminen voi aiheuttaa enemmän vääriä positiivisia löydöksiä
mammografiakuvien luennoissa [9].
Rinnan huono asettelu voidaan tunnistaa segmentoidun nännin paikasta
mammogrammeissa [10]. Lisäksi ihopoimujen aiheuttamat kuvavääristymät voivat
heikentää mammografiakuvan laatua, sillä ne voivat näyttää poikkeavuuksilta,
mikä voi aiheuttaa tulkintavirheitä [11, 12]. Ihopoimujen poistomenetelmää
voidaan käyttää poistamaan nämä kuvavääristymät [13].
Syväoppiminen
Syväoppimisen (deep learning) mallit ovat viime aikoina kehittyneet
valtavasti ja uusia menetelmiä on kehitetty paljon nimenomaan digitaalisten
kuvien segmentointiin [14, 15, 16, 17, 18]. Tästä on hyvä esimerkki, U-Net
konvoluutioneuroverkko, joka kehitettiin biolääketieteellisten kuvien
segmentointiin [14].
U-Net arkkitehtuurissa on useita ”kerroksia” erilaisia matemaattisia
operaatioita (konvoluutio-operaatioita, ReLUaktivointifunktioita ja
max-pooling-operaatioita), joiden voidaan ajatella kerros kerrokselta
lisäävän kuvasta saatavia mielenkiintoisia piirteitä samalla kuin kuvan
spatiaalista informaatiota (käytännössä kuvan kokoa)
vähennetään.
Tämän jälkeen tulee uusi sarja erilaisia matemaattisia operaatioita
(up-konvoluutioita), joiden tarkoituksena on yhdistää (skip connection)
aikaisimmista kerroksista löydetyt piirteet ja palauttaa kuvan spatiaalista
informaatiota (segmentoitava kuva palautuu alkuperäiseen
kokoonsa). Lopputuloksena verkosta saadaan ulos segmentoitu kuva.
Verkkoa siis opetetaan kuvapareilla (kuva 3) ja tällaista opetusdataa
mallin hyvän yleistettävyyden takaamiseksi vaaditaan suuri määrä. U-Net
arkkitehtuurin avulla 512x512 -kokoisen kuvan segmentointi vie alle sekunnin
nykyaikaisella näytönohjaimella [14].
Mammogrammien segmentointi
Mammogrammien segmentointi on tärkeä esimerkiksi rinnan erottamiseksi
muista rakenteista kuten rintalihaksesta [19].
Segmentointi voidaan tehdä syväoppivan neuroverkon avulla, kun verkko
koulutetaan annotoidulla opetusdatalla eli verkolle annetaan opetusdataksi
valmiiksi segmentoituja kuvia (alkuperäisiä kuvia ja valmista segmentointia
edustavia maskeja, kuva 1 ja kuva 3). Syväoppivan verkon soveltaminen
edellyttää kuitenkin annotoitua opetusdataa (kuvia ja maskeja, kuva 1 ja
kuva 3), jotta syväoppiva neuroverkko voidaan opettaa
segmentoimaan. Usean luokan (multi-class) segmentointitekniikoiden avulla voidaan
segmentoida eri luokkia eli voidaan erotella useita erilaisia rakenteita
kerralla [20].
Opetukseen vaadittavat segmentointimaskit pitää tehdä manuaalisesti ja
työhön on olemassa valmiita annotaatiotyökaluja, kuten CVAT
annotaatiohjelmisto [21]. CVAT annotaatio-ohjelmisto on ilmainen ja erittäin
yksinkertainen merkintätyökalu, jota voidaan käyttää maskien tuottamiseen
(Kuva 2). Rinta sisältää erilaisia kudosrakenteita, joten mallin
kouluttamiseksi annotoidaan yleensä useita segmentoituja maskeja (kuva
3).
Kun syväoppiva neuroverkko on opetettu, voidaan mammografiakuvassa näkyvät
kudosrakenteet segmentoida eri osiin automaattisesti. Lisäksi syväoppivilla
menetelmillä voidaan segmentoida tarkasti taittuneet ihoalueet sekä nännit,
joiden segmentointi on erittäin haastavaa perinteisiä ei-syväoppivia
menetelmiä käyttäen.
|
Kuva 2. Esimerkki CVAT-annotaatiotyökalun käytöstä. Kuvassa näkyy
erilaisia käsin tehtyjä maskeja. Eri värit kuvastavat eri
rintakudotyypejä. Oranssi on koko kuvattu rinta, vaaleanpunainen on
rauhaskudos, sininen on rintalihas, keltainen on nänni ja vihreä on
ihopoimu.
|
Aiheeseen liittyvä työ
Lääketieteellisten kuvien segmentointia on tutkittu paljon, sillä
segmentointityötä tehdään sairaalassa ja lääketieteen tutkimuksessa laajasti
[22, 23, 18].
Rintalihakset voidaan segmentoida mammografiakuvasta käyttämällä perinteisiä
(kuvan reunantunnistusta ja kynnystämistä käyttäviä menetelmiä [24]),
ei-syväoppimiseen perustuvia menetelmiä. Mutta esimerkiksi rintamassojen
segmentointiin on kehitetty syväoppiva automaattinen segmentointimenetelmä
(hyödyntää strukturoitua tukivektorikonetta [25]).
Mammografiakuvien segmentoinnista kiinnostuneille suosittelemme tutustumaan
julkaisuun [26]. Siinä on kartoitettu syväoppivien konvoluutioneuroverkkojen
tämänhetkinen soveltuvuus muun muassa mammografiakuvien segmentointiin.
|
Kuva 3. Esimerkkikuva kuvamaskeista. Oranssi on koko kuvattu rinta,
vaaleanpunainen on rauhaskudos, sininen on rintalihas, keltainen on
nänni ja vihreä on ihopoimu.
|
Lähdeluettelo:
[1] Rebecca Sawyer Lee et al. “A curated mammography data set for use in
computer-aided detection and diagnosis research”. In: Scientific Data 4 (2017), pp. 1941–1953. doi: 10.1038/sdata.2017.177.
[2] Alberto Garcia-Garcia et al. A Review on Deep Learning Techniques
Applied to Semantic Segmentation. 2017. arXiv: 1704.06857 [cs.CV].
[3] Neeraj Sharma and Lalit M Aggarwal. Automated medical image
segmentation techniques. 2010. doi: 10.4103/0971-6203.58777.
[4] S. S. Varshney, N. Rajpal, and R. Purwar. “Comparative study of image
segmentation techniques and object matching using segmentation”. In: 2009
Proceeding of International Conference on Methods and Models in Computer
Science (ICM2CS). 2009, pp. 1–6. doi: 10.1109/ICM2CS.2009. 5397985.
[5] Vairaprakash Gurusamy, Subbu Kannan, and G.Nalini. “Review on Image
Segmentation Techniques”. In: Oct. 2014.
[6] N Karssemeijer. “Automated classification of parenchymal patterns in mammograms”. In: Physics in medicine and
biology 43.2 (Feb. 1998), pp. 365–378. issn: 0031-9155. doi:
10.1088/0031-9155/43/2/011.
[7] T Matsubara et al. “An automated classification scheme for mammograms based on amount and distribution of fibroglandular breast tissue density”. In: International Congress Series 1230
(2001). Computer Assisted Radiology and Surgery, pp. 545–552. issn:
0531-5131. doi: https://doi.org/ 10.1016/S0531-5131(01)00085-1.
[8] Nafiza Saidin et al. “Segmentation of Breast Regions in Mammogram Based on
Density: A Review”. In: arXiv preprint arXiv:1209.5494 9 (Sept. 2012).
[9] Yanfeng Li et al. “Pectoral muscle segmentation in mammograms based on
homogenous texture and intensity deviation”. In: Pattern Recognition 46.3
(2013), pp. 681–691. issn: 0031-3203. doi: https://doi.org/10.
1016/j.patcog.2012.09.021.
[10] Manju Bala Popli et al. “Breast Positioning during Mammography: Mistakes to be Avoided”. In: Breast
cancer : basic and clinical research 8 (2014), pp. 119–124. issn: 1178-2234.
doi: 10.4137/bcbcr.s17617.
[11] Early detection of
breast cancer for health professionals course. url: http:
//earlydetectionofbreastcanser.weebly.com/.
[12] Albert Gubern-M´erida et al. “Breast Segmentation and Density
Estimation in Breast MRI: A Fully Automatic Framework”. In: IEEE journal of
biomedical and health informatics 19 (Jan. 2015), pp. 349–57. doi:
10.1109/JBHI.2014.2311163.
[13] Mohammad Razavi et al. “Towards Accurate Segmentation of
Fibroglandular Tissue in Breast MRI Using Fuzzy C-Means and Skin-Folds
Removal”. In: Image Analysis and Processing — ICIAP 2015. Ed. by Vittorio
Murino and Enrico Puppo. Cham: Springer International Publishing, 2015, pp.
528–536.
[14] Olaf Ronneberger, Philipp Fischer, and Thomas Brox. U-Net:
Convolutional Networks for Biomedical Image Segmentation. 2015. arXiv: 1505.
04597 [cs.CV].
[15] Shervin Minaee et al. Image Segmentation Using Deep Learning: A
Survey. 2020. arXiv: 2001.05566 [cs.CV].
[16] Shidan Wang et al. “Pathology Image Analysis Using Segmentation Deep
Learning Algorithms”. In: The American Journal of Pathology 189.9 (2019),
pp. 1686–1698. issn: 0002-9440. doi: https://doi.org/10.1016/j.
ajpath.2019.05.007.
[17] Moeskops Pim et al. “Deep Learning for Multi-task Medical Image
Segmentation in Multiple Modalities”. In: Medical Image Computing and
Computer-Assisted Intervention – MICCAI 2016. Ed. by Ourselin Sebastien et
al. Cham: Springer International Publishing, 2016, pp. 478– 486.
[18] Matthew Lai. “Deep Learning for Medical Image Segmentation”. In: CoRR
abs/1505.02000 (2015). url: http://arxiv.org/abs/1505.02000.
[19] A. Bosch et al. “Modeling and Classifying Breast Tissue Density in
Mammograms”. In: 2006 IEEE Computer Society Conference on Computer Vision
and Pattern Recognition (CVPR’06). Vol. 2. 2006, pp. 1552–1558. doi:
10.1109/CVPR.2006.188.
[20] A. A. Novikov et al. “Fully Convolutional Architectures for Multiclass Segmentation in Chest
Radiographs”. In: IEEE Transactions on Medical Imaging 37.8 (2018), pp.
1865–1876. doi: 10.1109/TMI.2018.2806086.
[21] Boris Sekachev, Nikita Manovich, and Andrey Zhavoronkov. Computer
Vision Annotation Tool. Oct. 2019. doi: 10.5281/zenodo.3497106.
[22] Mohammad Hesam Hesamian et al. Deep Learning Techniques for Medical Image Segmentation: Achievements and
Challenges. 2019.
[23] Intisar Rizwan I Haque and Jeremiah Neubert. “Deep learning approaches
to biomedical image segmentation”. In: Informatics in Medicine Unlocked 18
(2020), p. 100297. issn: 2352-9148. doi: https://doi.org/10.1016/
j.imu.2020.100297.
[24] S. M. Kwok, R. Chandrasekhar, and Y. Attikiouzel. “Automatic pectoral
muscle segmentation on mammograms by straight line estimation and cliff
detection”. In: The Seventh Australian and New Zealand Intelligent
Information Systems Conference, 2001. 2001, pp. 67–72.
[25] N. Dhungel, G. Carneiro, and A. P. Bradley. “Deep structured learning
for mass segmentation from mammograms”. In: 2015 IEEE International
Conference on Image Processing (ICIP). 2015, pp. 2950–2954.
[26] Dina Abdelhafiz et al. “Deep convolutional neural networks for mammography: advances,
challenges and applications”. In: BMC Bioinformatics 20 (2019).