Multinomiale logistische Regression

In der Statistik ist die multinomiale logistische Regression, auch multinomiales Logit-Modell<ref>{{#invoke:Vorlage:Literatur|f}}</ref>, multinomiale Logit-Regression (MNL), polytome logistische Regression, polychotome logistische Regression, Softmax-Regression oder Maximum-Entropie-Klassifikator genannt, ein regressionsanalytisches Verfahren. Sie „dient zur Schätzung von Gruppenzugehörigkeiten bzw. einer entsprechenden Wahrscheinlichkeit hierfür.“<ref><templatestyles src="Webarchiv/styles.css" />{{#if:20140327131758

      | {{#ifeq: 20140327131758 | *
    | Vorlage:Webarchiv/Wartung/Stern{{#if: Archivierte Kopie | {{#invoke:WLink|getEscapedTitle|Archivierte Kopie}} | {{#invoke:Webarchiv|getdomain|http://ffb.uni-lueneburg.de/ffb-files/File/Fuenfter%20Teil.pdf}} }} (Archivversionen)
    | {{#iferror: {{#time: j. F Y|20140327131758}}
         | {{#if:  || }}Vorlage:Webarchiv/Wartung/DatumDer Wert des Parameters {{#if: wayback | wayback | Datum }} muss ein gültiger Zeitstempel der Form YYYYMMDDHHMMSS sein!
         | {{#if: Archivierte Kopie | {{#invoke:WLink|getEscapedTitle|Archivierte Kopie}} | {{#invoke:Webarchiv|getdomain|http://ffb.uni-lueneburg.de/ffb-files/File/Fuenfter%20Teil.pdf}} }} {{#ifeq:  | [] | [ | ( }}Memento{{#if: {{#if:  | {{{archiv-bot}}} |  }} |  des Vorlage:Referrer }} vom {{#time: j. F Y|20140327131758}} im Internet Archive{{#if:  | ;  }}{{#ifeq:  | [] | ] | ) }}
      }}
  }}
      | {{#if:
          | {{#iferror: {{#time: j. F Y|{{{webciteID}}}}}
    | {{#switch: {{#invoke:Str|len|{{{webciteID}}}}}
       | 16= {{#if: Archivierte Kopie | {{#invoke:WLink|getEscapedTitle|Archivierte Kopie}} | {{#invoke:Webarchiv|getdomain|http://ffb.uni-lueneburg.de/ffb-files/File/Fuenfter%20Teil.pdf}} }} {{#ifeq:  | [] | [ | ( }}Memento{{#if: {{#if:  | {{{archiv-bot}}} |  }} |  des Vorlage:Referrer }} vom {{#time: j. F Y| 19700101000000 + {{#expr: floor {{#expr: {{#invoke:Str|sub|{{{webciteID}}}|1|10}}/86400}} }} days}} auf WebCite{{#if:  | ;  }}{{#ifeq:  | [] | ] | ) }}
       | 9 = {{#if: Archivierte Kopie | {{#invoke:WLink|getEscapedTitle|Archivierte Kopie}} | {{#invoke:Webarchiv|getdomain|http://ffb.uni-lueneburg.de/ffb-files/File/Fuenfter%20Teil.pdf}} }} {{#ifeq:  | [] | [ | ( }}Memento{{#if: {{#if:  | {{{archiv-bot}}} |  }} |  des Vorlage:Referrer}} vom {{#time: j. F Y| 19700101000000 + {{#expr: floor {{#expr: {{#invoke:Str|sub|{{#invoke:Expr|base62|{{{webciteID}}}}}|1|10}}/86400}} }} days}} auf WebCite{{#if:  | ;  }}{{#ifeq:  | [] | ] | ) }}
       | #default= Der Wert des Parameters {{#if: webciteID | webciteID | ID }} muss entweder ein Zeitstempel der Form YYYYMMDDHHMMSS oder ein Schüsselwert mit 9 Zeichen oder eine 16-stellige Zahl sein!Vorlage:Webarchiv/Wartung/webcitation{{#if:  || }}
      }}
    | c|{{{webciteID}}}}} {{#if: Archivierte Kopie | {{#invoke:WLink|getEscapedTitle|Archivierte Kopie}} | {{#invoke:Webarchiv|getdomain|http://ffb.uni-lueneburg.de/ffb-files/File/Fuenfter%20Teil.pdf}} }} (Memento{{#if: {{#if:  | {{{archiv-bot}}} |  }} |  des Vorlage:Referrer}} vom {{#time: j. F Y|{{{webciteID}}}}} auf WebCite{{#if:  | ;  }}{{#ifeq:  | [] | ] | ) }}
  }}
          | {{#if: 
              | Vorlage:Webarchiv/Today
              | {{#if:
                      | Vorlage:Webarchiv/Generisch
                      | {{#if: Archivierte Kopie | {{#invoke:WLink|getEscapedTitle|Archivierte Kopie}} | {{#invoke:Webarchiv|getdomain|http://ffb.uni-lueneburg.de/ffb-files/File/Fuenfter%20Teil.pdf}} }}  
                 }}}}}}}}{{#if:
    | Vorlage:Webarchiv/archiv-bot
  }}{{#invoke:TemplatePar|check
     |all      = url=
     |opt      = text= wayback= webciteID= archive-is= archive-today= archiv-url= archiv-datum= ()= archiv-bot= format= original=
     |cat      = Wikipedia:Vorlagenfehler/Vorlage:Webarchiv
     |errNS    = 0
     |template = Vorlage:Webarchiv
     |format   = *
     |preview  = 1
  }}{{#ifexpr: {{#if:20140327131758|1|0}}{{#if:|+1}}{{#if:|+1}}{{#if:|+1}}{{#if:|+1}} <> 1
    | {{#if:  || }}Vorlage:Webarchiv/Wartung/Parameter{{#invoke:TemplUtl|failure| Fehler bei Vorlage:Webarchiv: Genau einer der Parameter 'wayback', 'webciteID', 'archive-today', 'archive-is' oder 'archiv-url' muss angegeben werden.|1}}
  }}{{#if: 
    | {{#switch: {{#invoke:Webarchiv|getdomain|{{{archiv-url}}}}}
        | web.archive.org = 
          {{#if:  || }}{{#invoke:TemplUtl|failure| Fehler bei Vorlage:Webarchiv: Im Parameter 'archiv-url' wurde URL von Internet Archive erkannt, bitte Parameter 'wayback' benutzen.|1}} 
        | webcitation.org = 
          {{#if:  || }}{{#invoke:TemplUtl|failure| Fehler bei Vorlage:Webarchiv: Im Parameter 'archiv-url' wurde URL von WebCite erkannt, bitte Parameter 'webciteID' benutzen.|1}} 
        | archive.today |archive.is |archive.ph |archive.fo |archive.li |archive.md |archive.vn = 
          {{#if:  || }}{{#invoke:TemplUtl|failure| Fehler bei Vorlage:Webarchiv: Im Parameter 'archiv-url' wurde URL von archive.today erkannt, bitte Parameter 'archive-today' benutzen.|1}}
      }}{{#if: 
         | {{#iferror: {{#iferror:{{#invoke:Vorlage:FormatDate|Execute}}|Vorlage:FormatDate/Wartung/Error}}
             | {{#if:  || }}Vorlage:Webarchiv/Wartung/Parameter{{#invoke:TemplUtl|failure| Fehler bei Vorlage:Webarchiv: Der Wert des Parameter 'archiv-datum' ist ungültig oder hat ein ungültiges Format.|1}}
          |  }} 
         | {{#if:  || }}Vorlage:Webarchiv/Wartung/Parameter{{#invoke:TemplUtl|failure| Fehler bei Vorlage:Webarchiv: Der Pflichtparameter 'archiv-datum' wurde nicht angegeben.|1}}
      }}
    | {{#if: 
         | {{#if:  || }}Vorlage:Webarchiv/Wartung/Parameter{{#invoke:TemplUtl|failure| Fehler bei Vorlage:Webarchiv: Der Parameter 'archiv-datum' ist nur in Verbindung mit 'archiv-url' angebbar.|1}}
      }}
  }}{{#if:{{#invoke:URLutil|isHostPathResource|http://ffb.uni-lueneburg.de/ffb-files/File/Fuenfter%20Teil.pdf}}
    || {{#if:  || }} URL/Pfad ungültig.
  }}{{#if: Archivierte Kopie
    | {{#if: {{#invoke:WLink|isBracketedLink|Archivierte Kopie}}
        | {{#if:  || }} Linktext ungültig.
      }}
    | {{#if:  || }}Vorlage:Webarchiv/Wartung/Linktext_fehlt Linktext fehlt.
  }}{{#switch: 
    |addlarchives|addlpages= {{#if:  || }}{{#if: 1 |Vorlage:Webarchiv/Wartung/Parameter}}{{#invoke:TemplUtl|failure| Fehler bei Vorlage:Webarchiv: enWP-Wert im Parameter 'format'.|1}}
  }}{{#ifeq: {{#invoke:Str|find|http://ffb.uni-lueneburg.de/ffb-files/File/Fuenfter%20Teil.pdf%7Carchiv}} |-1
    || {{#ifeq: {{#invoke:Str|find|{{#invoke:Str|cropleft|http://ffb.uni-lueneburg.de/ffb-files/File/Fuenfter%20Teil.pdf%7C4}}%7Chttp}} |-1
         || {{#switch: {{#invoke:Webarchiv|getdomain|http://ffb.uni-lueneburg.de/ffb-files/File/Fuenfter%20Teil.pdf }}
              | abendblatt.de | daserste.ndr.de | inarchive.com | webcitation.org = 
              | #default = {{#if:  || }}{{#if: 1 |Vorlage:Webarchiv/Wartung/URL}}{{#invoke:TemplUtl|failure| Fehler bei Vorlage:Webarchiv: Archiv-URL im Parameter 'url' anstatt URL der Originalquelle. Entferne den vor der Original-URL stehenden Mementobestandteil und setze den Archivierungszeitstempel in den Parameter 'wayback', 'webciteID', 'archive.today' oder 'archive-is' ein, sofern nicht bereits befüllt.|1}}
            }} 
       }}
  }}</ref> Die Antwortvariable (auch abhängige Variable, AV) ist dabei eine nominalskalierte Variable (Unterform der kategorialen Variable, bei der die Kategorien nicht in eine sinnvolle Reihenfolge zu bringen sind). Im Falle einer ordinalskalierten AV (ebenfalls kategorial, aber in Reihenfolge mit gleichmäßigen Abständen zwischen den Kategorien zu bringen) spricht man von einer geordneten (bzw. ordinalen) logistischen Regression. Bei gegebener verhältnis- oder intervallskalierter AV kann dagegen eine (Multiple) Lineare Regression gerechnet werden.

Beschreibung des Verfahrens

Es handelt sich um eine spezielle Form der logistischen Regression, bei der die Antwortvariable <math>Y_{i}</math> ein nominales Skalenniveau mit mehr als zwei Ausprägungen haben darf <math>Y_{i} \in \{1,\ldots,c+1\}</math>. Zusätzlich ist der Vektor der Regressoren <math>\mathbf x_{i}^{\top} = (1 , x_{i1},\ldots, x_{ik})</math> gegeben. Dabei wird für jede der Ausprägungen der abhängigen Variablen (bis auf eine Referenzkategorie) ein eigenes Regressionsmodell ausgegeben. Die Eintrittswahrscheinlichkeit für jede Kategorie <math>r</math> ist wie folgt spezifiziert:<ref name="Fahrmeier_etal" details="S. 330">Ludwig Fahrmeir, Thomas Kneib, Stefan Lang, Brian Marx: Regression: models, methods and applications. Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2</ref>

<math>\pi_{ir} = \Pr(Y_i = r) = \frac{\exp\left(\mathbf{x}^{\top}_i \boldsymbol{\beta}_{r}\right)}{1 + \sum_{s=1}^{c} \exp\left(\mathbf{x}^{\top}_i \boldsymbol{\beta}_{s}\right)}\quad, \;r=1,\ldots,c</math>,

mit den linearen Prädiktoren <math>\mathbf{x}^{\top}_i \boldsymbol{\beta}_{r}</math> und <math>\pi_{ir} = h_{r}(\eta_{ir}, \ldots, \eta_{ic})\, ,\;r=1,\ldots,c</math> als der Antwortfunktion, d. h. der Umkehrfunktion der Kopplungsfunktion.<ref name=Fahrmeier_etal details="S. 344" /> Für die Referenzkategorie gilt somit:

<math>\pi_{i,c+1} =1 -\pi_{i1}-\ldots-\pi_{ic} = \frac{1}{1 + \sum_{s=1}^{c} \exp\left(\mathbf{x}^{\top}_i \boldsymbol{\beta}_{s}\right)}</math>.

Likelihood-Funktion

Die beobachteten Werte <math>y_i \in \{0,1,\dots K\}</math> für <math>i=1,\dots,n</math> der erklärten Variablen werden als Realisierungen stochastisch unabhängiger kategorial verteilter Zufallsvariablen <math>Y_1,\dots, Y_n</math> aufgefasst.

Die Likelihood-Funktion ist für dieses Modell definiert durch:

<math>L = \prod_{i=1}^n P(Y_i=y_i) = \prod_{i=1}^n \left( \prod_{j=1}^K P(Y_i=j)^{\delta_{j,y_i}} \right) ,</math>

wobei der Index <math>i</math> die Beobachtungen 1 bis n bezeichnet und der Index <math>j</math> die Klassen 1 bis K. <math>\delta_{j,y_i}=\begin{cases}1 \text{ für } j=y_i \\ 0 \text{ sonst}\end{cases}</math> ist das Kronecker-Delta.

Die mit minus 1 multiplizierte log Likelihood-Funktion ist daher die bekannte Kreuzentropie:

<math>-\log L = - \sum_{i=1}^n \sum_{j=1}^K \delta_{j,y_i} \log(P(Y_i=j)).</math>

Beispiel

Das Beispiel behandelt die Wahlabsicht einer Person in Abhängigkeit personenspezifischer Faktoren. Aus Umfragedaten sei die Wahlabsicht einer Person nach verschiedenen Parteien bekannt (abhängige kategoriale Variable). Diese soll erklärt werden durch verschiedene Faktoren (deren Skalenniveau unerheblich ist), beispielsweise Alter, Geschlecht und Bildung.

Literatur

{{#invoke:Vorlage:Literatur|f}}
{{#invoke:Vorlage:Literatur|f}}
{{#invoke:Vorlage:Literatur|f}}

Weblinks

Einzelnachweise