Prijava Registracija
Medix, God. 29 Br. 156/157 •Autorski pregled • Pedijatrija / Medicinska informatika

Rezultati projekta procjene spontanih pokreta putem SENDD sustava za rano otkrivanje neuroloških odstupanja u dojenčadi

Autor: Goran Kuzmac, Alessandro Ninković, Zlatko Sabol, Tomislav Strgar, Mislav Jurić, Juraj Lovrenčić, Ivana Barišić, Karlo Franić, Patrik Črnčec, Goran Krakar
Pogledajte članak u prijelomu za tisak

Sažetak:

Procjena spontanih pokreta (engl. general movement assessement – GMA) dokazano je pouzdana metoda za prepoznavanje neuroloških oštećenja u ranom dojenačkom razdoblju. Unatoč tome što ne koristi kompliciranu tehnologiju (riječ je o vizualnoj gestalt analizi videozapisa), implementaciju otežava to što zahtijeva vrijeme za obuku ispitivača te za analizu videa pojedinog pacijenta pa samim tim troši resurse zdravstvenog sustava. U razdoblju sve intenzivnije upotrebe umjetne inteligencije u medicini cilj je primjenom sustava za rano otkrivanje neuroloških odstupanja u dojenčadi (engl. system for early neurologic deviation detection – SENDD) omogućiti automatiziranu procjenu spontanih pokreta snimljenih u kućnim uvjetima koristeći sustave strojnog učenja i računalnog vida. Dosadašnji rezultati primjene SENDD-a potvrđuju njegovu primjenu kao alata za probir koji stručnjacima može omogućiti više vremena i resursa za bavljenje onom djecom koja pokazuju odstupanja od normalnih spontanih pokreta.


Ključne riječi:

neurološki razvoj; neuronske mreže; procjena spontanih pokreta; strojno učenje; umjetna inteligencija

OGLAS

Rani motorički razvoj djeteta i usvajanje repertoara pokreta mogu se objasniti teorijom selekcije neuronskih grupa.1-3 Skupine od nekoliko stotina do tisuća neurona (neuronske grupe) čine funkcionalne skupine koje izvršavaju određenu radnju. Selekcija grupa događa se sinaptičkim promjenama izazvanim aferentnim signalima u kojoj ulogu imaju topologija neurona4 te prisutnost, odnosno odsutnost istovremene električne aktivnosti.5 Uvid u razdoblje primarne varijabilnosti (primarnog repertoara) može se postići promatranjem spontanih pokreta (engl. general movements – GMs).3,6

Spontani pokreti obrasci su kretanja fetusa i dojenčeta koji uključuju sve mišićne skupine. Javljaju se od 9. tjedna gestacije i traju do 20. tjedna nakon termina poroda. Normalne spontane pokrete karakterizira značajna prostorna i vremenska varijabilnost koja reflektira endogenu aktivnost kortikalnih i subkortikalnih neuronskih grupa.7 Oštećenje tkiva mozga stečeno u prenatalnoj ili ranoj postnatalnoj dobi uzrokuje smrt neurona i prekidanje neuronskih mreža, a stoga i redukciju primarne varijabilnosti pokreta.8-10

U velikoj skupini neurorizične dojenčadi značajan udio njih će razviti teškoće u motoričkom funkcioniranju.11 Manja oštećenja će se prezentirati kao nespretnost ili razvojni poremećaj koordinacije (engl. developmental coordination disorder – DCD) čija je prevalencija oko 10% u općoj populaciji.12-14 Teška oštećenja će uzrokovati cerebralnu paralizu koja se javlja kod 2-3 na 1000 živorođene djece.15,16 Rana intervencija značajno poboljšava ishode u obje skupine umanjujući magnitudu motoričke disfunkcije i restrikcije u svakodnevnim aktivnostima.17,18

Procjena spontanih pokreta (engl. general movement assessement – GMA) koja se temelji na vizualnoj gestalt analizi pokreta cijelog tijela dojenčeta jedan je od najvrednijih alata za detekciju oštećenja mozga u ranom dojenačkom razdoblju.19,20 Pouzdanost procjene je najveća u razdoblju vrpoljenja (engl. fidgety), 9-20 tjedana nakon termina poroda.10 No metode temeljene na procjeni videozapisa zahtijevaju obučene ispitivače, što znači i vrijeme za njihovu obuku, vrijeme za snimanje (ukoliko je riječ o snimanju u instituciji) te procjenu; stoga opterećuju vremenske i prostorne resurse zdravstvenog osoblja i sustava te su samim tim skupe.21

Zadnjih godina pristupi analizi spontanih pokreta temeljeni na upotrebi umjetne inteligencije (engl. artificial intelligence – AI), odnosno strojnog učenja, dobivaju više pažnje i što je važnije metode bazirane na umjetnoj inteligenciji postaju dostupnije. Zanimljiva je ideja pokušati predvidjeti mogućnosti prirodnih neuronskih mreža koristeći umjetne. Brojna objavljena ispitivanja istražuju mogućnosti automatizacije procjene spontanih pokreta. Neke su bazirane na računalnoj analizi 2D ili 3D videozapisa čija su ograničenja mali brojevi ispitanika, a samo manji dio se temelji na korištenju algoritama strojnog učenja.22-25

Cilj istraživanja bio je primjenom sustava za rano otkrivanje neuroloških odstupanja u dojenčadi (engl. system for early neurologic deviation detection – SENDD) omogućiti automatiziranu procjenu spontanih pokreta snimljenih u kućnim uvjetima koristeći sustave strojnog učenja i računalnog vida.

Metode

Osnovni protokol korišten u projektu je procjena spontanih pokreta prema Hadders-Algra26,27 s podjelom na četiri kategorije: normalni optimalni, normalni suboptimalni, blago abnormalni i jasno abnormalni spontani pokreti. Prikupljeni su videozapisi spontanih pokreta dojenčadi u dobi vrpoljenja i prije pojave usmjerenih pokreta (od 6 do 14 tjedana nakon dobi termina poroda). Svaki video je analiziran od najmanje dva obučena ispitivača i nakon analize donesen je zaključak o kvaliteti pokreta.

S obzirom da je jedno od ograničenja ranijih sličnih istraživanja bio malen uzorak analizirane djece, videozapisi su snimani u kućnim uvjetima putem otvorene platforme (dostupne svakom zainteresiranom roditelju u većem dijelu svijeta). Za tu svrhu, kao i za potrebe analize i pohrane zapisa razvijene su mrežna aplikacija te aplikacije za mobilne telefone (iOS, Andorid) putem kojih se roditelji registriraju, ispunjavaju potrebne opće i medicinske podatke te učitavaju snimljene videozapise (slika 1). Prikupljanje svih podataka i videozapisa podliježe GDPR pravilima.

SLIKA 1. Prikazi iz aplikacije za mobilne telefone. A – uvodna stranica; B – ispunjavanje osobnih podataka i medicinske dokumentacije; C – učitavanje videozapisa; D – asistent za snimanje; E – upravljanje videozapisima


Nakon inicijalnih iskustava s prikupljenim videozapisima formulirani su tehnički zahtjevi, uvjeti snimanja i stanja djeteta koji moraju biti zadovoljeni kako bi postigli dovoljnu kvalitetu zapisa za analizu i strojno učenje (tablica 1).


Za potrebe strojnog učenja i analize potrebno je „sirovi“ videozapis pretvoriti u pogodan skup podataka. Stoga je razvijena potpuno nova aplikacija za anotaciju (označavanje) 15 ključnih točaka na tijelu djeteta (tri za svaki ekstremitet, oči i nos) i stvaranje JSON datoteke u kojoj su matematički predstavljeni položaji tih točaka tijekom cijelog zapisa (slika 2). Iz tih podataka se stvaraju „heat“ mape koje to predstavljaju grafički (intenzitet predstavlja vrijeme koje je točka provela na tom mjestu, veličina mrlje područje koje je opisala tijekom cijelog zapisa) (slika 3).


SLIKA 2. Aplikacija za označavanje ključnih točaka na tijelu djeteta. Tri točke za svaki ekstremitet (rame, lakat, zapešće; kuk, koljeno, gležanj) te oči i nos


SLIKA 3. Grafički prikaz kretanja ključnih točaka tijekom trajanja videozapisa („heat ” mape). A – zajednička mapa s ključnim točkama u različitim bojama; B – mapa desn




U istraživanju i razvoju korišteno je više od 25 različitih metoda strojnog učenja. Riječ je bila o statističkim algoritmima i metodama, vektorskim modelima te neuronskim mrežama. Slijedi prikaz rezultata podsustava SENDD AI za tri modela koja aktualno pokazuju najbolje rezultate: logistička regresija (engl. logistic regression – LR), algoritam k-najbližih susjeda (engl. K-nearest neighbors – KNN) i konvolucijska neuronska mreža (engl. convolutional neural network – CNN).

Rezultati

Do trenutka posljednjeg treniranja i testiranja mreža prikupljeno je 1200 videozapisa iz 12 različitih zemalja. Kvaliteta videozapisa snimljenih u kućnim uvjetima je zadovoljavajuća (aktualno 9% neupotrebljivih videa). Nakon isključivanja videozapisa nezadovoljavajuće kvalitete i balansiranja uzorka prema kategorijama u posljednji set za treniranje i validaciju uključena su 492 videa (262 s normalnim pokretima, 230 s abnormalnim pokretima) od 194 djeteta (119 s normalnim pokretima, 75 s abnormalnim pokretima). U aktualnom testnom setu bio je 151 video (109 s normalnim pokretima, 42 s abnormalnim) od 39 djece (29 s normalnim pokretima, 10 s abnormalnim).

U toj fazi projekta odlučeno je zbog jednostavnosti, veće pouzdanosti i karakteristika nekih modela strojnog učenja koristiti dvije kategorije izlaznih rezultata: normalne i abnormalne pokrete. Za usporedbu rezultata procjene dobivenih modelima strojnog učenja s onima dobivenim procjenom „ljudskih“ obučenih ispitivača korištene su pozitivne i negativne prediktivne vrijednosti te specifičnost i senzitivnost (tablica 2).


Modeli logističke regresije i konvolucijske neuronske mreže značajno dobro prepoznaju abnormalne pokrete i ne procjenjuju abnormalne kao normalne pokrete, stoga imaju visoku negativnu prediktivnu vrijednost (NPV) i senzitivnost. Sva tri modela griješe u procjeni normalnih pokreta kao abnormalnih, stoga imaju nisku pozitivnu prediktivnu vrijednost (PPV) i specifičnost. Dakle, postignuta je izvrsna korelacija modela umjetne inteligencije i ljudskih ispitivača u kategoriji negativne prediktivne vrijednosti. Drugim riječima, u slučaju kada modeli strojnog učenja zaključe da je riječ o normalnim pokretima, postoji visoka pouzdanost da je doista riječ o normalnim pokretima. U skupini djece za koju modeli procijene da imaju abnormalne pokrete postoji značajan udio onih koji prema procjeni obučenih ispitivača imaju normalne pokrete.


uploaded picture




uploaded picture

Zaključak

Projektom SENDD (engl. system for early neurologic deviation detection) razvijen je potpuno novi sustav za prikupljanje, analizu i pohranu videozapisa i medicinske dokumentacije koji uključuje mrežne i mobilne aplikacije te aplikaciju za anotiranje ključnih točaka u videozapisima. Sustav je široko dostupan i lak za korištenje, potpuno je funkcionalan u smislu analize i ocjene spontanih pokreta od obučenih ispitivača.

Tijekom dosadašnjeg trajanja projekta prikupljen je značajan broj videozapisa, koje su snimili roditelji u kućnim uvjetima, zadovoljavajuće kvalitete za analizu i treniranje modela strojnog učenja čime je dokazana održivost takvog sustava prikupljanja podataka.

Rezultati zadnjih testnih setova pokazuju potencijal za korištenje automatiziranog (kroz sustave umjetne inteligencije) oblika procjene spontanih pokreta kao alata probira i podrške liječnicima. Pri tome je izrazito mala mogućnost propuštanja djeteta s abnormalnim pokretima (procjene djeteta s abnormalnim pokretima kao normalnog).

Takva metoda probira je prihvatljiva u uvjetima gdje je neprepoznavanje poremećaja štetniji ishod nego pogrešno prepoznavanje poremećaja, odnosno gdje su posljedice neprepoznavanja djeteta s neuromotornim oštećenjem i propuštanja rane intervencije teži ishod nego dodatni pregled i praćenje djeteta s normalnim potencijalom. Sustav je zamišljen tako da rastereti stručnjake od analize i praćenja one djece koja imaju sigurno normalne spontane pokrete te da se vrijeme i resursi fokusiraju na one s potencijalnim teškoćama.

Povećanjem broja videozapisa za treniranje sustava umjetne inteligencije i balansiranjem uzorka (veći broj snimki abnormalnih pokreta) vjerojatno će doći do povećanja pouzdanosti u oba smjera – pozitivna prediktivna vrijednost (PPV) i negativna prediktivna vrijednost (NPV). Također će se formirati automatizirani zaključak i preporuka namijenjeni roditeljima i liječnicima.

Projekt SENDD je sufinanciran sredstvima iz europskih fondova za istraživanje, razvoj i inovaciju (Operativni program konkurentnost i kohezija, Europski strukturni i investicijski fondovi)


LITERATURA

  1. Edelman GM. Neural Darwinism: selection and reentrant signaling in higher brain function. Neuron. 1993 Feb;10(2):115-25.
  2. Sporns O, Edelman GM. Solving Bernstein's problem: a proposal for the development of coordinated movement by selection. Child Dev. 1993 Aug; 64(4):960-81.
  3. Hadders-Algra M. The neuronal group selection theory: a framework to explain variation in normal motor development. Dev Med Child Neurol. 2000 Aug;42(8):566-72. Available from: https://www.cambridge.org/core/journals/developmental-medicine-and-child-neurology/article/abs/neuronal-group-selection-theory-a-framework-to-explain-variation-in-normal-motor-development/495C92D2F53BD8413E78DE83F334EFF4. Accessed on Apr 19th 2023.
  4. Nelson PG, Fields RD, Yu C, et al. Synapse elimination from the mouse neuromuscular junction in vitro: a non-Hebbian activity-dependent process. J Neurobiol. 1993 Nov;24(11):1517-30.
  5. Changeux JP, Courrège P, Danchin A. A theory of the epigenesis of neuronal networks by selective stabilization of synapses. Proc Natl Acad Sci USA. 1973 Oct;70(10):2974-8. Available from: https://www.pnas.org/doi/abs/10.1073/pnas.70.10.2974. Accessed on Apr 19th 2023.
  6. Einspieler C, Prechtl HF. Prechtl's assessment of general movements: a diagnostic tool for the functional assessment of the young nervous system. Ment Retard Dev Disabil Res Rev. 2005;11(1):61-7.
  7. Prechtl HF. Qualitative changes of spontaneous movements in fetus and preterm infant are a marker of neurological dysfunction. Early Hum Dev. 1990 Sep;23(3):151-8.
  8. Visser GH, Laurini RN, de Vries JI, et al. Abnormal motor behaviour in anencephalic fetuses. Early Hum Dev. 1985 Nov;12(2):173-82.
  9. Hadders-Algra M. Early brain damage and the development of motor behavior in children: clues for therapeutic intervention? Neural Plast. 2001;8(1-2): 31-49. Available from: https://www.hindawi.com/journals/np/2001/813609/. Accessed on Apr 19th 2023.
  10. Hadders-Algra M. Neural substrate and clinical significance of general movements: an update. Dev Med Child Neurol. 2018 Jan;60(1):39-46.
  11. Hadders-Algra M. The neuronal group selection theory: promising principles for understanding and treating developmental motor disorders. Dev Med Child Neurol. 2000 Oct;42(10):707-15.
  12. Goyen TA, Lui K. Longitudinal motor development of "apparently normal" high-risk infants at 18 months, 3 and 5 years. Early Hum Dev. 2002 Dec;70(1-2): 103-15.
  13. De Roubaix A, Van de Velde D, Roeyers H, et al. Standardized motor assessments before the age of five predicting school-aged motor outcome including DCD: A systematic review. Eur J Paediatr Neurol. 2021 Jan;30:29-57.
  14. Andersson AK, Martin L, Strand Brodd K, et al. Patterns of everyday functioning in preschool children born preterm and at term. Res Dev Disabil. 2017 Aug;67:82-93.
  15. Morgan P, McGinley JL. Cerebral palsy. Handb Clin Neurol. 2018 Jan;159:323-36.
  16. Bax M, Goldstein M, Rosenbaum P, et al.; Executive Committee for the Definition of Cerebral Palsy. Proposed definition and classification of cerebral palsy, April 2005. Dev Med Child Neurol. 2005 Aug;47(8):571-6.
  17. Soloveichick M, Marschik PB, Gover A, et al. Movement Imitation Therapy for Preterm Babies (MIT-PB): a Novel Approach to Improve the Neurodevelopmental Outcome of Infants at High-Risk for Cerebral Palsy. J Dev Phys Disabil. 2020;32(4):587-98.
  18. Hadders-Algra M. Early diagnosis and early intervention in cerebral palsy. Front Neurol. 2014 Sep 24;5:185.
  19. Prechtl HF. General movement assessment as a method of developmental neurology: new paradigms and their consequences. The 1999 Ronnie MacKeith lecture. Dev Med Child Neurol. 2001 Dec;43(12):836-42. Available from: https://www.cambridge.org/core/journals/developmental-medicine-and-child-neurology/article/abs/general-movement-assessment-as-a-method-of-developmental-neurology-new-paradigms-and-their-consequences-the-1999-ronnie-mackeith-lecture/DDBF2A92A270A68308F50597B9BA7B27#. Accessed on Apr 19th 2023.
  20. Adde L, Rygg M, Lossius K, et al. General movement assessment: predicting cerebral palsy in clinical practise. Early Hum Dev. 2007 Jan;83(1):13-8.
  21. Irshad MT, Nisar MA, Gouverneur P, et al. AI Approaches Towards Prechtl's Assessment of General Movements: A Systematic Literature Review. Sensors (Basel). 2020 Sep 17;20(18):5321.
  22. Tsuji T, Nakashima S, Hayashi H, et al. Markerless Measurement and Evaluation of General Movements in Infants. Sci Rep. 2020 Jan;10(1):1422.
  23. McCay KD, Ho ESL, Marcroft C, et al. Establishing Pose Based Features Using Histograms for the Detection of Abnormal Infant Movements. Annu Int Conf IEEE Eng Med Biol Soc. 2019 Jul;2019:5469-72.
  24. McCay KD, Ho ESL, Shum HPH, et al. Abnormal Infant Movements Classification with Deep Learning on Pose-Based Features. IEEE Access. 2020;8:51582–92. Available from: https://e-space.mmu.ac.uk/630355/1/Abnormal_Infant_Movements_Classification_With_Deep_Learning_on_Pose-Based_Features.pdf. Accessed on Apr 19th 2023.
  25. Ni H, Xue Y, Ma L, et al. Semi-supervised body parsing and pose estimation for enhancing infant general movement assessment. Med Image Anal. 2023 Jan;83:102654.
  26. Hadders-Algra M, Klip-Van den Nieuwendijk A, et al. Assessment of general movements: towards a better understanding of a sensitive method to evaluate brain function in young infants. Dev Med Child Neurol. 1997 Feb;39(2):88-98.
  27. Hadders-Algra M, Mavinkurve-Groothuis AM, Groen SE, et al. Quality of general movements and the development of minor neurological dysfunction at toddler and school age. Clin Rehabil. 2004 May;18(3):287-99.