MATA2500 Informaatioteoria (5 op)
Avainteksti
Kuvaus
Opintojakson tarkoituksena on johdatella informaation käsitteen ja sen matemaattisen analysoinnin perusideoihin. Kurssin sisältö saattaa vaihdella hieman luentokertojen välillä, mutta suuntaa-antava sisältö on seuraava.
- Informaatiosisältö
- Shannonin entropia
- Endollinen entropia
- Yhteisentropia
- Kullback-Leibler -divergenssi
- Shannonin lähdekoodauslause
- Diskreetin muistittoman kanavan kapasiteetti
- Shannonin kanavakoodauslause
- Hiukan koodausteoriaa
Osaamistavoitteet
Opintojakson suorittamisen jälkeen opiskelija:
- Tuntee ja osaa soveltaa informaatioteorian peruskäsitteitä, kuten entropia, kapasiteetti ja yhteisinformaatio.
- Ymmärtää tiedonsiirron ja pakkauksen perusongelmat.
- Ymmärtää mitä Shannonin lähde-ja kanavakoodauslauseet sanovat näistä perusongelmista.
- Osaa soveltaa edellämainittuja lauseita yksinkertaisissa tapauksissa.
- Omaa hyvän ymmärryksen diskreeteistä satunnaismuuttujista.
- Omaa karkean yleiskuvan informaatioteorian sovelluskohteista.
- On tutustunut probabilistisiin olemassaolotodistuksiin.
Esitietojen kuvaus
Opintojaksolla oletetaan, että opiskelija on käynyt jonkin todennäköisyysmatematiikan kurssin ja on tottunut todistamispohjaiseen matematiikkaan.
Todennäköisyys: Esim. MATA2600 Todennäköisyysmatematiikka tai MATA280 Stokastiikan perusteet.
Matemaattinen kypsyys: Opiskelija hallitsee matemaattisen todistamisen perusteet. On esimerkiksi käynyt JMA:t ja Lineaarialgebran tai insinöörimatematiikan opintokokonaisuuden.
Jos on epäselvyyttä sopiiko opintojakso itselle voi ottaa yhteyttä vastuuopettajaan.
Oppimateriaalit
Luentomoniste
David MacKay: Information Theory, Inference and Learning Algorithms