Kursplan för Informationsteori

Kursplanen innehåller ändringar
Se ändringar

Kursplan fastställd 2023-01-31 av programansvarig (eller motsvarande).

Kursöversikt

  • Engelskt namnInformation theory, advanced level
  • KurskodSSY210
  • Omfattning7,5 Högskolepoäng
  • ÄgareMPICT
  • UtbildningsnivåAvancerad nivå
  • HuvudområdeElektroteknik
  • InstitutionELEKTROTEKNIK
  • BetygsskalaUG - Godkänd, Underkänd

Kurstillfälle 1

Kurstillfället är inställt. Kurstillfället ges enligt plan vartannat år. För frågor kontakta utbildningssekreteraren för
  • Undervisningsspråk Engelska
  • Anmälningskod 13119
  • Sökbar för utbytesstudenterJa

Poängfördelning

0108 Muntlig tentamen 7,5 hp
Betygsskala: UG		 7,5 hp

I program

Examinator

Behörighet

Grundläggande behörighet för avancerad nivå
Sökande med en programregistrering på ett program där kursen ingår i programplanen undantas från ovan krav.

Särskild behörighet

Engelska 6
Sökande med en programregistrering på ett program där kursen ingår i programplanen undantas från ovan krav.

Kursspecifika förkunskaper

Goda förkunskaper i sannolikhet och analys. Kursens svårighetsgrad ligger på doktorandnivå, vilket innebär att den är matematiskt mer avancerad och går i ett snabbare tempo än de flesta masterskurser.

Syfte

I denna kurs ges en introduktion till informationsteori och dess applikationer inom digital kommunikation, statistik och maskininlärning.

En viktig fördel med ett informationsteoretiskt tillvägagångssätt är dess förmåga att ge fundamentala resultat, det vill säga resultat som kan påvisa att en viss metod är optimal.

Denna sorts resultat är användbara av många skäl. De tillåter oss att, till exempel: avgöra huruvida en önskad felsannolikhet inom informationstransmission är möjlig att uppnå; att beräkna hur många observationer som behövs för att skilja en eller flera statistiska hypoteser åt; och att avgöra hur mycket data som krävs för att träna en maskininlärningsalgoritm.

Lärandemål (efter fullgjord kurs ska studenten kunna)

  • Definiera entropi, relativ entropi samt ömsesidig information och förklara deras operationella betydelser
  • Beskriva och visa Shannons källkodnings- och kanalkodningssatser
  • Beräkna kapaciteten hos en diskret kommunikationskanal
  • Beskriva de fundamentala prestandamåtten inom binär hypotesprövning, hur de relaterar till varandra, deras asymptotiska beteende samt det optimala testets struktur
  • Förklara hur relativ entropi kan användas för att karakterisera generaliseringsfel inom statistisk inlärning
  • Applicera Fanos olikhet för att visa omöjlighetsresultat inom grupptestning, grafiskt modellval och gles linjär regression

Innehåll

  • Shannons informationsmetriker: entropi, relativ entropi (även kallat Kullback-Leibler divergens), ömsesidig information
  • Den asymptotiska ekvipartitionsegenskapen och typikalitet
  • Datakompression och källkodningssatsen
  • Binär hypotesprövning, Neyman-Pearson-lemmat, Steins lemma
  • Generaliseringsfel inom statistisk inlärningsteori och Probably Approximately Correct (PAC)-gränser
  • Minimaxgränser i statistiska estimat och Fanos metod

Organisation

Kursen omfattar cirka 15 föreläsningar och 7 övningstillfällen.

Litteratur

Examination inklusive obligatoriska moment

Obligatoriska inlämningar varje vecka, muntlig examination (godkänd eller icke godkänd), 7.5 hp.

Kursens examinator får examinera enstaka studenter på annat sätt än vad som anges ovan om särskilda skäl föreligger, till exempel om en student har ett beslut från Chalmers om pedagogiskt stöd på grund av funktionsnedsättning.

Kursplanen innehåller ändringar

  • Ändring gjord på kurstillfälle:
    • 2024-03-09: Inställd Ändrat till inställd av PA
      [Kurstillfälle 2] Inställt