Kursplan för Djup maskininlärning

Efter avslutad kurs ska studenterna kunna

• förklara de fundamentala principerna inom övervakat (och oövervakat) lärande, inklusive grundläggande tekniker som korsvalidering för att undvika överträning
• beskriva de kostnadsfunktioner som typiskt optimeras inom övervakat lärande (i första hand korsentropin) och de vanligaste optimeringsmetoderna (bakåtpropagering av gradienter, mm). 
• förklara hur de traditionella framåtriktade nätverken är uppbyggda och varför de kan approximera ¿nästan¿ alla funktioner
• förstå svårigheterna med försvinnande gradienter och moderna verktyg för att motverka det problemet (som exempelvis ¿batch normalisation¿ och residuala nätverk)
• sammanfatta de huvudsakliga komponenterna i faltande nueronnät och deras huvudsakliga fördelar
• beskriva vanliga typer av återkommande neuronnät (recurrent neural networks) och var de typiskt används till
• ge en översikt av ett antal av de många moderna sorters djupa nätverk som utvecklats de senaste åren
• argumentera för fördelarna med generativa modeller, ¿transfer learning¿ och utökning av (augmenting) dataseten, då vi har en begränsad mängd annoterade dataexempel
• förklara vad Markovbeslutsproblem och ¿reinforcement learning¿ (RL) är
• använda djupa nätverk för att lösa RL-problem, exempelvis med hjälp av deep q-learning
• träna och applicera faltande nätverk (CNN) för bilder, samt återkommande nätverk (RNN) för tillämpningar med tidsserier
• utnyttja ett lämpligt mjukvarubibliotek designat för djupa neuronnät (som exempelvis TensorFlow eller Torch) för att lösa problem inom ett antal olika praktiska tillämpningar

• övervakat lärande genom att minimera korsentropin och med hjälp av korsvalidering
• stokastisk gradientsökningar, bakåtpropagering samt ett antal moderna metoder för snabbare optimering
• programmeringsspråk för att implementera djupa neuronnät
• framåtriktade neuronnät och faltande nätverk
• återkommande (recurrent) neuronnät, och framför allt nätverk av typen "long short term memory"
• "transfer learning" och data-augmentering
• "reinforcement learning" (RL), Markovbeslutsproblem, q-lärande och djupt q-lärande
• tillämpningar av exempelvis faltande nätverk på bilder och RL på beslutsproblem