Informasjonsteori, koding og kompresjon

Bayesian estimation. Modellering og analyse av komponentene i et generisk kommunikasjonssystem (informasjonskilde, sender, kommunikasjonskanal og mottaker). Matematiske mål for kilders informasjonsinnhold og kanalers overføringskapasitet. Prinsipper for optimal informasjonsoverføring over ulike typer kanaler. Komprimering av kilde-informasjon. Prinsipper og metoder for praktisk digital representasjon. Praktisk kanalkoding, dvs. beskyttelse mot feil ved overføring over kanaler med støy og forvrengning. Ytelse sammenlignet med informasjonsteoretiske grenser. Belief propagation.

Emnet skal gi studentene grundig forståelse av hva informasjon er, hvordan den kan representeres og hvordan den kan lagres eller transporteres med minst mulig tap eller feil.

Emnet skal gjøre studentene i stand til å

Kunnskaper:
- forstå de grunnleggende prinsipper i informationsteori vedrørende kildekoding og kanalkoding
- kjenne noe praktiske algorithmer for koding og kompresjon
- vite om grunnleggende algoritmer i informasjonsteoretisk sammenheng som belief propagation og summen-produkt algoritmen
- kjenne fordeler og ulemper av forskjellige praktiske algoritmer

Generell kompetanse:
- forstå informasjon som en annen uttryksmåte av sannsynlighet

Ferdigheter:
- velge en tilpasset algoritme for en gitt problemstilling
- bestemme informasjonsmengden som kan lagres eller overføres i en gitt problemstilling
- beregne sannsynligheter som følger av observasjoner med hjelp av Bayes sin teorem.

Forelesninger og regneøvinger.