Kursplan för Informationsteori

Kursplan fastställd 2019-02-07 av programansvarig (eller motsvarande).

Kursöversikt

  • Engelskt namnInformation theory, advanced level
  • KurskodSSY210
  • Omfattning7,5 Högskolepoäng
  • ÄgareMPCOM
  • UtbildningsnivåAvancerad nivå
  • HuvudområdeElektroteknik
  • InstitutionELEKTROTEKNIK
  • BetygsskalaUG - Godkänd, Underkänd

Kurstillfälle 1

Kurstillfället är inställt. Kurstillfället ges enligt plan vartannat år. För frågor kontakta utbildningssekreteraren för
  • Undervisningsspråk Engelska
  • Anmälningskod 13113
  • Sökbar för utbytesstudenterJa

Poängfördelning

0108 Muntlig tentamen 7,5 hp
Betygsskala: UG		 7,5 hp

I program

Examinator

Behörighet

Information saknas

Särskild behörighet

För kurser på avancerad nivå gäller samma grundläggande och särskilda behörighetskrav som till det kursägande programmet. (När kursen är på avancerad nivå men ägs av ett grundnivåprogram gäller dock tillträdeskrav för avancerad nivå.)
Undantag från tillträdeskraven: Sökande med en programregistrering på ett program där kursen ingår i programplanen undantas från ovan krav.

Kursspecifika förkunskaper

Goda förkunskaper i sannolikhet och analys. Kursens svårighetsgrad ligger på doktorandnivå, vilket innebär att den är matematiskt mer avancerad och går i ett snabbare tempo än de flesta masterskurser.

Syfte

Syftet med kursen är att ge en grundläggande introduktion till informationsteori och tillämpningar inom konstruktion av tillförlitliga och effektiva kommunikations- och lagringssystem. Studenterna erhåller en grundläggande förståelse av fundamentala begränsningar inom datakomprimering, lagring och kommunikation. Dessutom bekantas man med begrepp såsom entropi, relativ entropi och ömsesidig information. En god förståelse av dessa koncept är ovärderlig för både forskare och utövare inom telekommunikation och signalbehandling.

Kursen rekommenderas starkt för
  • masterstudenter med intresse av teorin bakom olika ingenjörsmetoder.
  • masterstudenter som planerar att fortsätta sina studier på doktorandnivå.
  • doktorander inom trådlös och optisk kommunikation, datakomprimering, statistisk signalbehandling, neurovetenskap och maskininlärning.
Kursen erbjuder också en möjlighet att lära sig effektiva tekniker för att skriva matematik samt hur man använder dem.

Lärandemål (efter fullgjord kurs ska studenten kunna)

  • Definiera begreppen entropi, relativ entropi och ömsesidig information samt förklara hur de används.
  • Förklara och demonstrera Shannons teorem för källkodning och kanalkodning.
  • Beräkna kapaciteten för diskreta minneslösa punkt-till-punkt- och multiterminal-kanaler.
  • Definiera källkodnings- och kanalkodningsproblemet för en multiterminal-kanal, samt beskriva kodningsteoremen för distribuerad kompression, multipel access och broadcast.
  • Förklara följande kodningsstrategier: superpositionskodning, successiv annullering, dirty paper-kodning, binning och rate-splitting.
  • Tillämpa tekniker för effektivt skrivande av matematisk text.


Innehåll

  • Entropi, relativ entropi, ömsesidig information.
  • Datakomprimering, Shannons teorem för källkodning, distribuerad källkodning, rate-distortion teori
  • Kanalkapacitet, Shannons teorem för kanalkodning, beräkna kanalkapacitet.
  • Multipel access-kanalen, broadcast-kanalen, kanaler med tillstånd.
  • Informationsteori och statistik.

Organisation

Kursen omfattar cirka 15 föreläsningar och 7 övningstillfällen.

Litteratur

  • A. El Gamal and Y.-H. Kim, Network information theory. Cambridge, U.K.: Cambridge Univ. Press, 2011.
  • S. M. Moser, Information Theory (Lecture Notes), ETH Zurich, Switzerland and National Chiao Tung University, Taiwan, Dec. 2013.
  • S. M. Moser, Advanced Topics in Information Theory (Lecture Notes), ETH Zurich, Switzerland and National Chiao Tung University, Taiwan, Dec. 2013.
  • T. M. Cover and J. A. Thomas, Elements of Information Theory, 2nd ed. New York, NY, U.S.A.: Wiley, 2006.
  • D. E. Knuth, T. Larrabee, and P. M. Roberts, Mathematical Writing. Washington D.C.: Mathematical Association of America, 1989.

Examination inklusive obligatoriska moment

Obligatoriska inlämningar varje vecka, muntlig examination (godkänd eller icke godkänd), 7.5 hp.