Mammografiakuvien segmentointi

Kirjoittaja: Mustafa Al-Rubaye

 

Kuva 1. Esimerkki mammografiakuva avoimesti saatavilla olevasta CBISDDSM aineistosta [1]. 

Segmentaatio

Segmentoinnin tarkoituksena on jaotella digitaalinen kuva eri osiin eli segmentteihin. Jokainen erillinen segmentti edustaa erityyppistä rakennetta. Kuvan segmentointi on tärkeä prosessi tietokoneen digitaalisessa kuvankäsittelyssä [2]. 

Lääketieteellisessä kuvantamisessa kuvasegmentointia käytetään poimimaan kliinisesti merkityksellistä tietoa kuvista, jolloin esimerkiksi radiologit voivat hyödyntää segmentoitua kuvaa jaottelussa eri elimiin tai kudostyyppeihin [3]. Lisäksi tietokoneiden on helpompi analysoida valmiiksi segmentoituja kuvia analysoimalla vain segmentoitu alue [4, 2, 5]. Segmentoinnin tulos voidaan esittää kuvasegmentteinä, jotka peittävät kuvan mielenkiintoalueen (Kuva 3), tai ääriviivoina, jotka ovat erotettu segmentoidusta kuvasta (Kuva 2) [4]. 

Mammografiakuvasta voidaan erotella eri segmentteihin kuvattu rinta, rintalihas, ihopoimujen ja nännin alue (Kuva 2). Segmentoitavat mielenkiintoalueet riippuvat diagnostisesta tehtävästä. 

Segmentoitua rintalihasta voidaan käyttää apuna rauhaskudoksen pinta-alaa arvioidessa [6, 7], missä rintasyöpä yleensä esiintyy [8]. Rintalihaksen segmentointi ennen mammografian analysointia automaattisesti on tärkeä prosessi, sillä rintalihaksessa on tiivistä kudosta, joka voi muistuttaa rakenteeltaan rintasyövän kaltaista massaa. Siksi segmentoinnin epäonnistuminen voi aiheuttaa enemmän vääriä positiivisia löydöksiä mammografiakuvien luennoissa [9]. 

Rinnan huono asettelu voidaan tunnistaa segmentoidun nännin paikasta mammogrammeissa [10]. Lisäksi ihopoimujen aiheuttamat kuvavääristymät voivat heikentää mammografiakuvan laatua, sillä ne voivat näyttää poikkeavuuksilta, mikä voi aiheuttaa tulkintavirheitä [11, 12]. Ihopoimujen poistomenetelmää voidaan käyttää poistamaan nämä kuvavääristymät [13].

 

Syväoppiminen

Syväoppimisen (deep learning) mallit ovat viime aikoina kehittyneet valtavasti ja uusia menetelmiä on kehitetty paljon nimenomaan digitaalisten kuvien segmentointiin [14, 15, 16, 17, 18]. Tästä on hyvä esimerkki, U-Net konvoluutioneuroverkko, joka kehitettiin biolääketieteellisten kuvien segmentointiin [14]. 

U-Net arkkitehtuurissa on useita ”kerroksia” erilaisia matemaattisia operaatioita (konvoluutio-operaatioita, ReLUaktivointifunktioita ja max-pooling-operaatioita), joiden voidaan ajatella kerros kerrokselta lisäävän kuvasta saatavia mielenkiintoisia piirteitä samalla kuin kuvan spatiaalista informaatiota (käytännössä kuvan kokoa) vähennetään. 

Tämän jälkeen tulee uusi sarja erilaisia matemaattisia operaatioita (up-konvoluutioita), joiden tarkoituksena on yhdistää (skip connection) aikaisimmista kerroksista löydetyt piirteet ja palauttaa kuvan spatiaalista informaatiota (segmentoitava kuva palautuu alkuperäiseen kokoonsa). Lopputuloksena verkosta saadaan ulos segmentoitu kuva. 

Verkkoa siis opetetaan kuvapareilla (kuva 3) ja tällaista opetusdataa mallin hyvän yleistettävyyden takaamiseksi vaaditaan suuri määrä. U-Net arkkitehtuurin avulla 512x512 -kokoisen kuvan segmentointi vie alle sekunnin nykyaikaisella näytönohjaimella [14].

 

Mammogrammien segmentointi

Mammogrammien segmentointi on tärkeä esimerkiksi rinnan erottamiseksi muista rakenteista kuten rintalihaksesta [19]. 

Segmentointi voidaan tehdä syväoppivan neuroverkon avulla, kun verkko koulutetaan annotoidulla opetusdatalla eli verkolle annetaan opetusdataksi valmiiksi segmentoituja kuvia (alkuperäisiä kuvia ja valmista segmentointia edustavia maskeja, kuva 1 ja kuva 3). Syväoppivan verkon soveltaminen edellyttää kuitenkin annotoitua opetusdataa (kuvia ja maskeja, kuva 1 ja kuva 3), jotta syväoppiva neuroverkko voidaan opettaa segmentoimaan. Usean luokan (multi-class) segmentointitekniikoiden avulla voidaan segmentoida eri luokkia eli voidaan erotella useita erilaisia rakenteita kerralla [20]. 

Opetukseen vaadittavat segmentointimaskit pitää tehdä manuaalisesti ja työhön on olemassa valmiita annotaatiotyökaluja, kuten CVAT annotaatiohjelmisto [21]. CVAT annotaatio-ohjelmisto on ilmainen ja erittäin yksinkertainen merkintätyökalu, jota voidaan käyttää maskien tuottamiseen (Kuva 2). Rinta sisältää erilaisia kudosrakenteita, joten mallin kouluttamiseksi annotoidaan yleensä useita segmentoituja maskeja (kuva 3).

Kun syväoppiva neuroverkko on opetettu, voidaan mammografiakuvassa näkyvät kudosrakenteet segmentoida eri osiin automaattisesti. Lisäksi syväoppivilla menetelmillä voidaan segmentoida tarkasti taittuneet ihoalueet sekä nännit, joiden segmentointi on erittäin haastavaa perinteisiä ei-syväoppivia menetelmiä käyttäen.

 

Kuva 2. Esimerkki CVAT-annotaatiotyökalun käytöstä. Kuvassa näkyy erilaisia käsin tehtyjä maskeja. Eri värit kuvastavat eri rintakudotyypejä. Oranssi on koko kuvattu rinta, vaaleanpunainen on rauhaskudos, sininen on rintalihas, keltainen on nänni ja vihreä on ihopoimu.

Aiheeseen liittyvä työ

Lääketieteellisten kuvien segmentointia on tutkittu paljon, sillä segmentointityötä tehdään sairaalassa ja lääketieteen tutkimuksessa laajasti [22, 23, 18]. 

Rintalihakset voidaan segmentoida mammografiakuvasta käyttämällä perinteisiä (kuvan reunantunnistusta ja kynnystämistä käyttäviä menetelmiä [24]), ei-syväoppimiseen perustuvia menetelmiä. Mutta esimerkiksi rintamassojen segmentointiin on kehitetty syväoppiva automaattinen segmentointimenetelmä (hyödyntää strukturoitua tukivektorikonetta [25]). 

Mammografiakuvien segmentoinnista kiinnostuneille suosittelemme tutustumaan julkaisuun [26]. Siinä on kartoitettu syväoppivien konvoluutioneuroverkkojen tämänhetkinen soveltuvuus muun muassa mammografiakuvien segmentointiin.

 

Kuva 3. Esimerkkikuva kuvamaskeista. Oranssi on koko kuvattu rinta, vaaleanpunainen on rauhaskudos, sininen on rintalihas, keltainen on nänni ja vihreä on ihopoimu.

Lähdeluettelo:

[1] Rebecca Sawyer Lee et al. “A curated mammography data set for use in computer-aided detection and diagnosis research”. In: Scientific Data 4 (2017), pp. 1941–1953. doi: 10.1038/sdata.2017.177.

[2] Alberto Garcia-Garcia et al. A Review on Deep Learning Techniques Applied to Semantic Segmentation. 2017. arXiv: 1704.06857 [cs.CV].

[3] Neeraj Sharma and Lalit M Aggarwal. Automated medical image segmentation techniques. 2010. doi: 10.4103/0971-6203.58777.

[4] S. S. Varshney, N. Rajpal, and R. Purwar. “Comparative study of image segmentation techniques and object matching using segmentation”. In: 2009 Proceeding of International Conference on Methods and Models in Computer Science (ICM2CS). 2009, pp. 1–6. doi: 10.1109/ICM2CS.2009. 5397985.

[5] Vairaprakash Gurusamy, Subbu Kannan, and G.Nalini. “Review on Image Segmentation Techniques”. In: Oct. 2014.

[6] N Karssemeijer. “Automated classification of parenchymal patterns in mammograms”. In: Physics in medicine and biology 43.2 (Feb. 1998), pp. 365–378. issn: 0031-9155. doi: 10.1088/0031-9155/43/2/011.

[7] T Matsubara et al. “An automated classification scheme for mammograms based on amount and distribution of fibroglandular breast tissue density”. In: International Congress Series 1230 (2001). Computer Assisted Radiology and Surgery, pp. 545–552. issn: 0531-5131. doi: https://doi.org/ 10.1016/S0531-5131(01)00085-1.

[8] Nafiza Saidin et al. “Segmentation of Breast Regions in Mammogram Based on Density: A Review”. In: arXiv preprint arXiv:1209.5494 9 (Sept. 2012).

[9] Yanfeng Li et al. “Pectoral muscle segmentation in mammograms based on homogenous texture and intensity deviation”. In: Pattern Recognition 46.3 (2013), pp. 681–691. issn: 0031-3203. doi: https://doi.org/10. 1016/j.patcog.2012.09.021.

[10] Manju Bala Popli et al. “Breast Positioning during Mammography: Mistakes to be Avoided”. In: Breast cancer : basic and clinical research 8 (2014), pp. 119–124. issn: 1178-2234. doi: 10.4137/bcbcr.s17617.

[11]  Early detection of breast cancer for health professionals course. url: http: //earlydetectionofbreastcanser.weebly.com/.

[12] Albert Gubern-M´erida et al. “Breast Segmentation and Density Estimation in Breast MRI: A Fully Automatic Framework”. In: IEEE journal of biomedical and health informatics 19 (Jan. 2015), pp. 349–57. doi: 10.1109/JBHI.2014.2311163.

[13] Mohammad Razavi et al. “Towards Accurate Segmentation of Fibroglandular Tissue in Breast MRI Using Fuzzy C-Means and Skin-Folds Removal”. In: Image Analysis and Processing — ICIAP 2015. Ed. by Vittorio Murino and Enrico Puppo. Cham: Springer International Publishing, 2015, pp. 528–536.

[14] Olaf Ronneberger, Philipp Fischer, and Thomas Brox. U-Net: Convolutional Networks for Biomedical Image Segmentation. 2015. arXiv: 1505. 04597 [cs.CV].

[15] Shervin Minaee et al. Image Segmentation Using Deep Learning: A Survey. 2020. arXiv: 2001.05566 [cs.CV].

[16] Shidan Wang et al. “Pathology Image Analysis Using Segmentation Deep Learning Algorithms”. In: The American Journal of Pathology 189.9 (2019), pp. 1686–1698. issn: 0002-9440. doi: https://doi.org/10.1016/j. ajpath.2019.05.007.

[17] Moeskops Pim et al. “Deep Learning for Multi-task Medical Image Segmentation in Multiple Modalities”. In: Medical Image Computing and Computer-Assisted Intervention – MICCAI 2016. Ed. by Ourselin Sebastien et al. Cham: Springer International Publishing, 2016, pp. 478– 486.

[18] Matthew Lai. “Deep Learning for Medical Image Segmentation”. In: CoRR abs/1505.02000 (2015). url: http://arxiv.org/abs/1505.02000.

[19] A. Bosch et al. “Modeling and Classifying Breast Tissue Density in Mammograms”. In: 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’06). Vol. 2. 2006, pp. 1552–1558. doi: 10.1109/CVPR.2006.188.

[20] A. A. Novikov et al. “Fully Convolutional Architectures for Multiclass Segmentation in Chest Radiographs”. In: IEEE Transactions on Medical Imaging 37.8 (2018), pp. 1865–1876. doi: 10.1109/TMI.2018.2806086.

[21] Boris Sekachev, Nikita Manovich, and Andrey Zhavoronkov. Computer Vision Annotation Tool. Oct. 2019. doi: 10.5281/zenodo.3497106.

[22] Mohammad Hesam Hesamian et al. Deep Learning Techniques for Medical Image Segmentation: Achievements and Challenges. 2019.

[23] Intisar Rizwan I Haque and Jeremiah Neubert. “Deep learning approaches to biomedical image segmentation”. In: Informatics in Medicine Unlocked 18 (2020), p. 100297. issn: 2352-9148. doi: https://doi.org/10.1016/ j.imu.2020.100297.

[24] S. M. Kwok, R. Chandrasekhar, and Y. Attikiouzel. “Automatic pectoral muscle segmentation on mammograms by straight line estimation and cliff detection”. In: The Seventh Australian and New Zealand Intelligent Information Systems Conference, 2001. 2001, pp. 67–72.

[25] N. Dhungel, G. Carneiro, and A. P. Bradley. “Deep structured learning for mass segmentation from mammograms”. In: 2015 IEEE International Conference on Image Processing (ICIP). 2015, pp. 2950–2954.

[26] Dina Abdelhafiz et al. “Deep convolutional neural networks for mammography: advances, challenges and applications”. In: BMC Bioinformatics 20 (2019).