Tantárgy neve, kódja: Információelmélet, MSC_INF_15_L

Szak neve, képzési szintje: Mérnökinformatikus mesterképzési szak, MSc
Tanterv: 2023
Féléves konzultációs órák száma: 12
Kreditérték: 5
Elmélet: 0 %
Gyakorlat: 0 %
A tantárgy tantervi helye: 2. félév
Munkarend: Levelező
Előtanulmányi feltételek:
Értékelés: kollokvium
Tantárgy besorolása: kötelező
Oktatás nyelve: Magyar
Tantárgyfelelős: Dr. Nagy Péter
Felelős tanszék: Alaptudományi Tanszék
Tantárgy oktatója(i): Dr. Nagy Péter
Ellenőrzésért felel: Prof. Dr. Johanyák Zsolt Csaba
Tárgy oktatásának célja:
Megismeri az informatika szakterület műveléséhez szükséges általános és specifikus matematikai, természettudományos és informatikai elveket, szabályokat, összefüggéseket, eljárásokat, képessé válik ezek szabatos matematikai megfogalmazására, és konkrét problémák megoldására való alkalmazására.
Elsajátítandó ismeretanyag:

Rendszerek csoportosítása. Determinisztikus rendszerek: kanonikus egyenletek. Izomorfia, homomorfia és modell. Turing-gép. Egyensúly és stabilitás, káosz és fraktálok. Newton-Raphson-módszer. Sztochasztikus rendszerek. Stacionárius és ergodikus tulajdonságok. Markov-folyamatok. Master-egyenlet és megoldási módszerei. Határeloszlás, egyensúlyi eloszlás. Az információ fogalma és tulajdonságai. Az információs entrópia. Az információ, mint az állapotra vonatkozó bizonytalanság mennyisége: kérdezési stratégiák, kód fogalma, a Hartley-formula. Az információ valószínűségi értelmezése: az információs entrópia. A Shannon-Boltzmann-formula. Információelméleti entrópiák és kapcsolataik. A kölcsönös információ és tulajdonságai. Kraft-egyenlőtlenség. A hírközlési rendszer modellje. Jelek csoportosítása. .A forrás jellemzése: szimbólumok száma, feloldóképesség, első- és magasabb-rendű statisztikai jellemzés, feltételes forrás, redundancia, kapacitás (mintapéldák). Markov forrás entrópiája. Ergodikus rendszerek. A kód általános fogalma.. Példák természetes és mesterséges kódokra. Kódábécé, kódszó, kód. Egyértelműen dekódolható kódok, változó szóhosszúságú kódok, prefix kódok. McMillan-tétel. A kódolás-elmélet alaptétele. Shannon-Fano-kód. Optimális kód fogalma. Huffman-kód. Futamhossz-kódolás. Aritmetikai kódolás. Alkalmazások. Adaptív kódolás fogalma. Adaptív Huffman-kód. LZW kód (alkalmazási példa: GIF, animált GIF). Csatornakapacitás. Ergodikus rendszerek csatornakapacitásának meghatározása: feltételhez nem kötött és feltételhez kötött források csatornakapacitása. Preferencia-kódolási eljárások. Magasabb-rendű statisztikai szerkezettel jellemzett forrás kódolása (blokk-kódolás, csúszó-kódok, n-gramos kódok). Veszteséges kódolás, kódolás hűségkritériummal. Kódolási példák: JPEG, MPEG. Diszkrét jelek átvitele zajos csatornán. Döntési stratégiák: egymintás Bayes-döntés. Bináris, szimmetrikus csatorna. Hibajavító kódok: kontrolljegyek módszere, Hamming-távolságra épülő eljárások. Kitekintés: kvantuminformatika és kvantum-kriptográfia alapgondolatai.

Elsajátítandó szakmai kompetenciák (tudás, képesség, attitűd, autonómia és felelősség, további szakmai kompetenciák):
Tudása:

- Ismeri a műszaki informatikai rendszerek fejlesztéshez szükséges, széles körben alkalmazható problémamegoldó technikákat. - Érti az informatikai alkalmazások fejlesztéshez szükséges természettudományos és mérnöki módszerek elvét.

Képességei:

- Képes törvényszerűségeket, összefüggéseket feltárni és megérteni. - A megszerzett tudást képes alkalmazni és a gyakorlatban hasznosítani. - Megérti az alkalmazás követelményeit.

Attitűdje:

- Nyitott és elkötelezett az önművelésre, önfejlesztésre, az egyéni tudás, ismeret elmélyítésére, bővítésére a természettudományok, a mérnöki és informatikai tudományok területén.

Autonómia és felelősség:

- Alkalmas csoportban, egy-egy részterület szakértőjeként dolgozni, valamint csoportot felelősséggel irányítani.

További szakmai kompetenciák:


A számonkérés és értékelés rendszere:
Félévközi tanulmányi követelmények:
A hallgatók a szorgalmi időszakban 50 pontot szerezhetnek: max 20 pontot egy esszé készítésével, max 30 pontot pedig egy dolgozat írásával. A dolgozatírás során használható zsebszámológép, továbbá saját kézírású (nem fénymásolt, nem nyomtatott) egy lapos, kétoldalas (A4 méretű) képletgyűjtemény.
Vizsgakövetelmények:

A vizsgára bocsátásnak nincs feltétele. A hallgatóknak egy V=50 pontos, 90 perces vizsgadolgozatot kell írniuk. A dolgozatírás során használható zsebszámológép, továbbá saját kézírású (nem fénymásolt, nem nyomtatott) egy lapos, kétoldalas (A4 méretű) képletgyűjtemény. Megajánlott jegy nincs, (az F pontszámtól függetlenül) mindenkinek fel kell jelentkeznie vizsgára, a vizsgán megjelennie és vizsgadolgozatot beadnia. A félévközben szerezhető pontszám (F) max 50, Vizsga zárthelyi dolgozattal szerezhető pontszám (V) max 50 --------------------------------------------------------------------------------------------------- A szerzett pontszámok alapján számított P eredménypont: P=106,5-sqrt(125*(50,3125-F-V+F*V/50)) A jegyeket a fenti képlettel számított P eredménypontok alapján az alábbiak szerint állapítjuk meg: 50 pont alatt: 1, [50-65[ pont: 2, [65-80[ pont: 3, [80-90[ pont: 4, 90 ponttól: 5. MEGJEGYZÉS: A fentebb megfogalmazott félévközi és vizsgakövetelmények a „hagyományos” jelenléti oktatásra vonatkoznak. Online oktatás esetén az adott körülményektől (az áttérés időpontjától, a vizsgaidőszak mikéntjétől, stb.) függően változhat a számonkérések rendje és módja, amelyről természetesen a lehető leggyorsabban és egyértelműen tájékoztatást adunk, de mindenképpen a folyamatos tanulás fontosságára hívjuk fel a figyelmet.

Tanulmányi segédanyagok, laborháttér:

Letölthető elektronikus segédanyagok.

Kötelező irodalom:

Tóthné Laufer Edit: Az információ- és kódelmélet alapjai, 2019. ISBN: 978-963-449-135-4 Ranjan Bose: Information Theory, Coding & Cryptography, 2016 McGraw Hill, ISBN 978-938-588-056-8

Ajánlott irodalom:

Győri Sándor, Vajda István, Györfi László: Információ- és kódelmélet, 2013, Typotex Kiadó, ISBN: 9789639132849 Nagy Szilvia: Információelmélet, Értékünk az Ember sorozat, 2006. F. Bavaud J., C. Chappelier, J. Kohlas: An Introduction to Information Theory and Applications, 2017., University of Fribourg J. V. Stone: Information Theory: A Tutorial Introduction, 2015 Sebtel Press, ISBN 978–0–9563728–5–7