Voorwaardelijke entropie



Het internet is een onuitputtelijke bron van kennis, ook als het gaat om Voorwaardelijke entropie. Eeuwen en eeuwen van menselijke kennis over Voorwaardelijke entropie zijn in het net gegoten, en worden nog steeds in het net gegoten, en juist daarom is het zo moeilijk om er toegang toe te krijgen, omdat we plaatsen kunnen vinden waar de navigatie moeilijk of zelfs onuitvoerbaar kan zijn. Ons voorstel is dat u geen schipbreuk lijdt in een zee van gegevens betreffende Voorwaardelijke entropie en dat u alle poorten van wijsheid snel en efficiënt zult kunnen bereiken.

Met dat doel voor ogen hebben wij iets gedaan dat verder gaat dan het voor de hand liggende, namelijk het verzamelen van de meest actuele en best uitgelegde informatie over Voorwaardelijke entropie. We hebben het ook zo ingedeeld dat het gemakkelijk te lezen is, met een minimalistisch en aangenaam ontwerp, wat zorgt voor de beste gebruikerservaring en de kortste laadtijd. We maken het u gemakkelijk, zodat u zich alleen maar zorgen hoeft te maken over het leren van alles over Voorwaardelijke entropie! Dus als je denkt dat we ons doel bereikt hebben en je al weet wat je wilde weten over Voorwaardelijke entropie, dan zouden we je graag terugzien in deze kalme zeeën van sapientianl.com wanneer je honger naar kennis weer is aangewakkerd.

In de informatietheorie is voorwaardelijke entropie een maat voor de "onzekerheid" over de waarde van een willekeurige variabele die overblijft nadat het resultaat van een andere willekeurige variabele bekend wordt. De voorwaardelijke entropie is geschreven en heeft een waarde tussen 0 en , de oorspronkelijke entropie van . Het wordt gemeten in dezelfde maateenheid als entropie.

Specifiek heeft het de waarde 0 als de waarde van kan worden bepaald uit functioneel, en de waarde als en stochastisch onafhankelijk zijn .

definitie

Laat het een discrete willekeurige variabele zijn en zijn waardenbereik , dat wil zeggen, er is hoogstens een telbare set met . Dan is de entropie is door middel van

gedefinieerd, waarbij de waarden 2 ( Bit ) of e ( Nat ) typisch worden aangenomen voor de overeenkomstige eenheden. Als de kans voor één hetzelfde is , wordt deze volgens afspraak bepaald , dus de overeenkomstige term wordt niet in de som opgenomen.

Laat het een evenement zijn met . Vervolgens definieert men de voorwaardelijke entropie van gegeven door de kans te vervangen door de voorwaardelijke kans ; H.

.

Wees nu een discrete willekeurige variabele met een reeks waarden . Vervolgens wordt de voorwaardelijke entropie van gegeven gedefinieerd als het gewogen gemiddelde van de voorwaardelijke entropieën van gegeven de gebeurtenissen voor , i. H.

.

Op een hoger niveau van abstractie, het is de voorwaardelijke verwachte waarde van de informatie functie gegeven en de verwachte waarde van de functie .

kenmerken

Een geheugenloos kanaal verbindt twee bronnen. De transinformatie I (x; y) is de informatie die door X is verzonden en ook door Y is ontvangen.

Een simpele berekening laat zien

,

dus de onzekerheid van gegeven is gelijk aan de onzekerheid van en minus de onzekerheid van .

Het is met gelijkheid als en slechts als en zijn stochastisch onafhankelijk. Dit volgt uit het feit dat als en slechts als en zijn stochastisch onafhankelijk. Het betekent ook dat dit het geval is, dus alle ontvangen informatie is slechts verkeerde informatie. Evenzo gaat de volledige informatie uit bron X verloren, zodat er geen transinformatie beschikbaar is.

Geldt ook

,

met gelijkheid als en slechts als functioneel afhangt van, d. H. voor een functie .

Blokkeer entropie

Overgebracht naar een multivariate willekeurige variabele lengte , als representatie voor een blok symbolen , kan de voorwaardelijke entropie worden gedefinieerd als de onzekerheid van een symbool (volgens een bepaald gegeven blok):

met ,

waar staat voor de blok-entropie . Voor de voorwaardelijke entropie , d.w.z. de onzekerheid van een symbool na een blok, volgt:

De definities van blok-entropie en voorwaardelijke entropie zijn equivalent in de grensovergang, zie brontropie .

Transinformatie , die de sterkte van de statistische relatie tussen twee willekeurige variabelen aangeeft, hangt ook nauw samen met voorwaardelijke entropie .

voorbeeld

Laat X een bron zijn die periodiek de karakters verstuurt ... 00100010001000100010 ...

Nu moet de voorwaardelijke entropie van het momenteel waargenomen karakter worden berekend, rekening houdend met eerdere karakters.

Geen karakters overwogen

De berekening is gebaseerd op de definitie van entropie .

Waarschijnlijkheidstabel:

x = 0 x = 1
P (X = x)

Een merk waarmee rekening is gehouden

Laat nu X: = x t en Y: = x t-1 . De volgende kansen resulteren:

Waarschijnlijkheidstabellen:

P (X | Y) x = 0 x = 1
y = 0
y = 1

Het volgende is van toepassing:

          

y = 0 y = 1

Twee tekens overwogen

Laat X: = x t en Y: = (x t-2 , x t-1 ). De volgende kansen resulteren:

Y = (1,1) verschijnt nooit in de bron, dus hoeft niet te worden overwogen.

Waarschijnlijkheidstabellen:

P (X | Y) X = 0 X = 1
y = (0,0)
y = (0,1)
y = (1,0)
y = (1,1)

Het volgende is van toepassing:

y = (0,0) y = (0,1) y = (1,0) y = (1,1)
P (Y = y)

Het volgende is van toepassing:

Drie karakters overwogen

Als er al drie op elkaar volgende tekens bekend zijn, wordt ook het volgende teken bepaald (omdat de bron zich periodiek gedraagt). Dit betekent dat er geen nieuwe informatie wordt verkregen over het volgende personage. Dienovereenkomstig moet de entropie nul zijn. Dit is ook te zien in de kanstabel:

P (X | Y) X = 0 X = 1
y = (0,0,0)
y = (0,0,1)
y = (0,1,0)
y = (0,1,1)
y = (1,0,0)
y = (1,0,1)
y = (1,1,0)
y = (1,1,1)

Het volgende is van toepassing:

           

Onmogelijke gebeurtenissen worden hier gemarkeerd met "-", bijv. B. bij y = (1,0,1). De opgegeven bron zal deze uitvoer nooit leveren, aangezien een een altijd wordt gevolgd door drie nullen.

Je kunt zien dat er in de tabel geen andere waarschijnlijkheden zijn dan 0 of 1. Aangezien volgens de definitie van entropie, de entropie uiteindelijk moet zijn.

Toelichting op de waarschijnlijkheidstabellen

De tabellen verwijzen naar het bovenstaande voorbeeld van de tekenreeks.

P (X | Y) x = 0 x = 1
y = 0
y = 1

Het volgende is van toepassing:

Hier beschouwt men een personage onder de voorwaarde van het vorige personage . Als er bijvoorbeeld een karakter is , is de vraag: wat is de kans op het volgende karakter of Het volgende teken is altijd voor . Dus is . Hieruit volgt ook dat de som van de rij altijd één is.

P (X) x t = 0 x t = 1
X t-1 = 0
X t-1 = 1

Het volgende is van toepassing:

Hier kijkt men naar de frequentie van voorkomen van een karaktercombinatie. Je kunt uit de tabel lezen dat de lettercombinaties (0,1) en (1,0) net zo vaak voorkomen. De som van alle matrixingangen is één.

Entropie en informatie-inhoud

In dit voorbeeld daalt de entropie naarmate er meer karakters in aanmerking worden genomen (zie ook: Markov-proces ). Als het aantal in aanmerking genomen tekens voldoende groot wordt gekozen, convergeert de entropie naar nul.

Men zou graag de informatie-inhoud van de gegeven string van n = 12 karakters willen berekenen, wordt verkregen volgens de definitie I ges = nH (X | Y) bij ...

... geen karakters beschouwd, 9,39 bit totale informatie. (Informatie-inhoud van statistisch onafhankelijke gebeurtenissen)
... één beschouwde karakter 8,26 bit totale informatie.
... twee karakters beschouwd, 6 bit totale informatie.
... drie karakters beschouwd, 0 bit totale informatie.

literatuur

  • Martin Werner: informatie en codering. Basics and Applications, 2e editie, Vieweg + Teubner Verlag, Wiesbaden 2008, ISBN 978-3-8348-0232-3 .
  • Karl Steinbuch, Werner Rupprecht: communicatietechniek. Een inleidende presentatie, Springer Verlag, Berlijn / Heidelberg 1967.
  • R. Mathar: informatietheorie. Discrete modellen en processen, BG Teubner Verlag, Stuttgart 1996, ISBN 978-3-519-02574-0 .

web links

Opiniones de nuestros usuarios

Jasper Bosma

Ik vind de site leuk, en het artikel over Voorwaardelijke entropie is het artikel dat ik zocht

John Veldman

Ik vind de manier waarop dit bericht over Voorwaardelijke entropie_ is geschreven erg interessant, het doet me denken aan mijn schooljaren. Wat een leuke tijd. Bedankt dat je me er weer mee naar toe hebt genomen.

Rene Schepers

Deze post over Voorwaardelijke entropie was precies wat ik wilde vinden.