Kirjoittaja: Mustafa Al-Rubaye
   
  
    
      |   | 
    
      | Kuva 1. Esimerkki mammografiakuva avoimesti saatavilla olevasta CBISDDSM
        aineistosta [1]. | 
  
  Segmentaatio
  Segmentoinnin tarkoituksena on jaotella digitaalinen kuva eri osiin eli
    segmentteihin. Jokainen erillinen segmentti edustaa erityyppistä rakennetta.
    Kuvan segmentointi on tärkeä prosessi tietokoneen digitaalisessa
    kuvankäsittelyssä [2]. 
  Lääketieteellisessä kuvantamisessa kuvasegmentointia käytetään poimimaan
    kliinisesti merkityksellistä tietoa kuvista, jolloin esimerkiksi radiologit
    voivat hyödyntää segmentoitua kuvaa jaottelussa eri elimiin tai
    kudostyyppeihin [3]. Lisäksi tietokoneiden on helpompi analysoida valmiiksi
    segmentoituja kuvia analysoimalla vain segmentoitu alue [4, 2, 5].
    Segmentoinnin tulos voidaan esittää kuvasegmentteinä, jotka peittävät kuvan
    mielenkiintoalueen (Kuva 3), tai ääriviivoina, jotka ovat erotettu
    segmentoidusta kuvasta (Kuva 2) [4]. 
  Mammografiakuvasta voidaan erotella eri segmentteihin kuvattu rinta,
    rintalihas, ihopoimujen ja nännin alue (Kuva 2). Segmentoitavat
    mielenkiintoalueet riippuvat diagnostisesta tehtävästä. 
  Segmentoitua rintalihasta voidaan käyttää apuna rauhaskudoksen pinta-alaa
    arvioidessa [6, 7], missä rintasyöpä yleensä esiintyy [8]. Rintalihaksen
    segmentointi ennen mammografian analysointia automaattisesti on tärkeä
    prosessi, sillä rintalihaksessa on tiivistä kudosta, joka voi muistuttaa
    rakenteeltaan rintasyövän kaltaista massaa. Siksi segmentoinnin
    epäonnistuminen voi aiheuttaa enemmän vääriä positiivisia löydöksiä
    mammografiakuvien luennoissa [9]. 
  Rinnan huono asettelu voidaan tunnistaa segmentoidun nännin paikasta
    mammogrammeissa [10]. Lisäksi ihopoimujen aiheuttamat kuvavääristymät voivat
    heikentää mammografiakuvan laatua, sillä ne voivat näyttää poikkeavuuksilta,
    mikä voi aiheuttaa tulkintavirheitä [11, 12]. Ihopoimujen poistomenetelmää
    voidaan käyttää poistamaan nämä kuvavääristymät [13].
   
  Syväoppiminen
  Syväoppimisen (deep learning) mallit ovat viime aikoina kehittyneet
    valtavasti ja uusia menetelmiä on kehitetty paljon nimenomaan digitaalisten
    kuvien segmentointiin [14, 15, 16, 17, 18]. Tästä on hyvä esimerkki, U-Net
    konvoluutioneuroverkko, joka kehitettiin biolääketieteellisten kuvien
    segmentointiin [14]. 
  U-Net arkkitehtuurissa on useita ”kerroksia” erilaisia matemaattisia
    operaatioita (konvoluutio-operaatioita, ReLUaktivointifunktioita ja
    max-pooling-operaatioita), joiden voidaan ajatella kerros kerrokselta
    lisäävän kuvasta saatavia mielenkiintoisia piirteitä samalla kuin kuvan
    spatiaalista informaatiota (käytännössä kuvan kokoa)
    vähennetään. 
  Tämän jälkeen tulee uusi sarja erilaisia matemaattisia operaatioita
    (up-konvoluutioita), joiden tarkoituksena on yhdistää (skip connection)
    aikaisimmista kerroksista löydetyt piirteet ja palauttaa kuvan spatiaalista
    informaatiota (segmentoitava kuva palautuu alkuperäiseen
    kokoonsa). Lopputuloksena verkosta saadaan ulos segmentoitu kuva. 
  Verkkoa siis opetetaan kuvapareilla (kuva 3) ja tällaista opetusdataa
    mallin hyvän yleistettävyyden takaamiseksi vaaditaan suuri määrä. U-Net
    arkkitehtuurin avulla 512x512 -kokoisen kuvan segmentointi vie alle sekunnin
    nykyaikaisella näytönohjaimella [14].
   
  Mammogrammien segmentointi
  Mammogrammien segmentointi on tärkeä esimerkiksi rinnan erottamiseksi
    muista rakenteista kuten rintalihaksesta [19]. 
  Segmentointi voidaan tehdä syväoppivan neuroverkon avulla, kun verkko
    koulutetaan annotoidulla opetusdatalla eli verkolle annetaan opetusdataksi
    valmiiksi segmentoituja kuvia (alkuperäisiä kuvia ja valmista segmentointia
    edustavia maskeja, kuva 1 ja kuva 3). Syväoppivan verkon soveltaminen
    edellyttää kuitenkin annotoitua opetusdataa (kuvia ja maskeja, kuva 1 ja
    kuva 3), jotta syväoppiva neuroverkko voidaan opettaa
    segmentoimaan. Usean luokan (multi-class) segmentointitekniikoiden avulla voidaan
    segmentoida eri luokkia eli voidaan erotella useita erilaisia rakenteita
    kerralla [20]. 
  Opetukseen vaadittavat segmentointimaskit pitää tehdä manuaalisesti ja
    työhön on olemassa valmiita annotaatiotyökaluja, kuten CVAT
    annotaatiohjelmisto [21]. CVAT annotaatio-ohjelmisto on ilmainen ja erittäin
    yksinkertainen merkintätyökalu, jota voidaan käyttää maskien tuottamiseen
    (Kuva 2). Rinta sisältää erilaisia kudosrakenteita, joten mallin
    kouluttamiseksi annotoidaan yleensä useita segmentoituja maskeja (kuva
    3).
  Kun syväoppiva neuroverkko on opetettu, voidaan mammografiakuvassa näkyvät
    kudosrakenteet segmentoida eri osiin automaattisesti. Lisäksi syväoppivilla
    menetelmillä voidaan segmentoida tarkasti taittuneet ihoalueet sekä nännit,
    joiden segmentointi on erittäin haastavaa perinteisiä ei-syväoppivia
    menetelmiä käyttäen.
   
  
    
      |   | 
    
      | 
          Kuva 2. Esimerkki CVAT-annotaatiotyökalun käytöstä. Kuvassa näkyy
          erilaisia käsin tehtyjä maskeja. Eri värit kuvastavat eri
          rintakudotyypejä. Oranssi on koko kuvattu rinta, vaaleanpunainen on
          rauhaskudos, sininen on rintalihas, keltainen on nänni ja vihreä on
          ihopoimu.
         | 
  
  Aiheeseen liittyvä työ
  Lääketieteellisten kuvien segmentointia on tutkittu paljon, sillä
    segmentointityötä tehdään sairaalassa ja lääketieteen tutkimuksessa laajasti
    [22, 23, 18]. 
  Rintalihakset voidaan segmentoida mammografiakuvasta käyttämällä perinteisiä
    (kuvan reunantunnistusta ja kynnystämistä käyttäviä menetelmiä [24]),
    ei-syväoppimiseen perustuvia menetelmiä. Mutta esimerkiksi rintamassojen
    segmentointiin on kehitetty syväoppiva automaattinen segmentointimenetelmä
    (hyödyntää strukturoitua tukivektorikonetta [25]). 
  Mammografiakuvien segmentoinnista kiinnostuneille suosittelemme tutustumaan
    julkaisuun [26]. Siinä on kartoitettu syväoppivien konvoluutioneuroverkkojen
    tämänhetkinen soveltuvuus muun muassa mammografiakuvien segmentointiin.
   
  
    
      |   | 
    
      | 
          Kuva 3. Esimerkkikuva kuvamaskeista. Oranssi on koko kuvattu rinta,
          vaaleanpunainen on rauhaskudos, sininen on rintalihas, keltainen on
          nänni ja vihreä on ihopoimu.
         | 
  
  Lähdeluettelo:
  [1] Rebecca Sawyer Lee et al. “A curated mammography data set for use in
    computer-aided detection and diagnosis research”. In: Scientific Data 4 (2017), pp. 1941–1953. doi: 10.1038/sdata.2017.177. 
  [2] Alberto Garcia-Garcia et al. A Review on Deep Learning Techniques
    Applied to Semantic Segmentation. 2017. arXiv: 1704.06857 [cs.CV].
    
  [3] Neeraj Sharma and Lalit M Aggarwal. Automated medical image
    segmentation techniques. 2010. doi: 10.4103/0971-6203.58777.
  [4] S. S. Varshney, N. Rajpal, and R. Purwar. “Comparative study of image
    segmentation techniques and object matching using segmentation”. In: 2009
    Proceeding of International Conference on Methods and Models in Computer
    Science (ICM2CS). 2009, pp. 1–6. doi: 10.1109/ICM2CS.2009. 5397985.
    
  [5] Vairaprakash Gurusamy, Subbu Kannan, and G.Nalini. “Review on Image
    Segmentation Techniques”. In: Oct. 2014. 
  [6] N Karssemeijer. “Automated classification of parenchymal patterns in mammograms”. In: Physics in medicine and
    biology 43.2 (Feb. 1998), pp. 365–378. issn: 0031-9155. doi:
    10.1088/0031-9155/43/2/011. 
  [7] T Matsubara et al. “An automated classification scheme for mammograms based on amount and distribution of fibroglandular breast tissue density”. In: International Congress Series 1230
    (2001). Computer Assisted Radiology and Surgery, pp. 545–552. issn:
    0531-5131. doi: https://doi.org/ 10.1016/S0531-5131(01)00085-1.
  [8] Nafiza Saidin et al. “Segmentation of Breast Regions in Mammogram Based on
    Density: A Review”. In: arXiv preprint arXiv:1209.5494 9 (Sept. 2012).
  [9] Yanfeng Li et al. “Pectoral muscle segmentation in mammograms based on
    homogenous texture and intensity deviation”. In: Pattern Recognition 46.3
    (2013), pp. 681–691. issn: 0031-3203. doi: https://doi.org/10.
    1016/j.patcog.2012.09.021.
  [10] Manju Bala Popli et al. “Breast Positioning during Mammography: Mistakes to be Avoided”. In: Breast
    cancer : basic and clinical research 8 (2014), pp. 119–124. issn: 1178-2234.
    doi: 10.4137/bcbcr.s17617. 
  [11]  Early detection of
    breast cancer for health professionals course. url: http:
    //earlydetectionofbreastcanser.weebly.com/.
  [12] Albert Gubern-M´erida et al. “Breast Segmentation and Density
    Estimation in Breast MRI: A Fully Automatic Framework”. In: IEEE journal of
    biomedical and health informatics 19 (Jan. 2015), pp. 349–57. doi:
    10.1109/JBHI.2014.2311163. 
  [13] Mohammad Razavi et al. “Towards Accurate Segmentation of
    Fibroglandular Tissue in Breast MRI Using Fuzzy C-Means and Skin-Folds
    Removal”. In: Image Analysis and Processing — ICIAP 2015. Ed. by Vittorio
    Murino and Enrico Puppo. Cham: Springer International Publishing, 2015, pp.
    528–536.
  [14] Olaf Ronneberger, Philipp Fischer, and Thomas Brox. U-Net:
    Convolutional Networks for Biomedical Image Segmentation. 2015. arXiv: 1505.
    04597 [cs.CV]. 
  [15] Shervin Minaee et al. Image Segmentation Using Deep Learning: A
    Survey. 2020. arXiv: 2001.05566 [cs.CV]. 
  [16] Shidan Wang et al. “Pathology Image Analysis Using Segmentation Deep
    Learning Algorithms”. In: The American Journal of Pathology 189.9 (2019),
    pp. 1686–1698. issn: 0002-9440. doi: https://doi.org/10.1016/j.
    ajpath.2019.05.007. 
  [17] Moeskops Pim et al. “Deep Learning for Multi-task Medical Image
    Segmentation in Multiple Modalities”. In: Medical Image Computing and
    Computer-Assisted Intervention – MICCAI 2016. Ed. by Ourselin Sebastien et
    al. Cham: Springer International Publishing, 2016, pp. 478– 486. 
  [18] Matthew Lai. “Deep Learning for Medical Image Segmentation”. In: CoRR
    abs/1505.02000 (2015). url: http://arxiv.org/abs/1505.02000. 
  [19] A. Bosch et al. “Modeling and Classifying Breast Tissue Density in
    Mammograms”. In: 2006 IEEE Computer Society Conference on Computer Vision
    and Pattern Recognition (CVPR’06). Vol. 2. 2006, pp. 1552–1558. doi:
    10.1109/CVPR.2006.188. 
  [20] A. A. Novikov et al. “Fully Convolutional Architectures for Multiclass Segmentation in Chest
    Radiographs”. In: IEEE Transactions on Medical Imaging 37.8 (2018), pp.
    1865–1876. doi: 10.1109/TMI.2018.2806086. 
  [21] Boris Sekachev, Nikita Manovich, and Andrey Zhavoronkov. Computer
    Vision Annotation Tool. Oct. 2019. doi: 10.5281/zenodo.3497106. 
  [22] Mohammad Hesam Hesamian et al. Deep Learning Techniques for Medical Image Segmentation: Achievements and
    Challenges. 2019. 
  [23] Intisar Rizwan I Haque and Jeremiah Neubert. “Deep learning approaches
    to biomedical image segmentation”. In: Informatics in Medicine Unlocked 18
    (2020), p. 100297. issn: 2352-9148. doi: https://doi.org/10.1016/
    j.imu.2020.100297. 
  [24] S. M. Kwok, R. Chandrasekhar, and Y. Attikiouzel. “Automatic pectoral
    muscle segmentation on mammograms by straight line estimation and cliff
    detection”. In: The Seventh Australian and New Zealand Intelligent
    Information Systems Conference, 2001. 2001, pp. 67–72. 
  [25] N. Dhungel, G. Carneiro, and A. P. Bradley. “Deep structured learning
    for mass segmentation from mammograms”. In: 2015 IEEE International
    Conference on Image Processing (ICIP). 2015, pp. 2950–2954. 
  [26] Dina Abdelhafiz et al. “Deep convolutional neural networks for mammography: advances,
    challenges and applications”. In: BMC Bioinformatics 20 (2019).