Reisensburg 1998: Abstract Schulz, Sauerbrei, Schumacher
Statistical Computing '98 - Schloß Reisensburg

Shrinkage, Lasso und Garotte: neue Ansätze zur Modellbildung und Variablenselektion

Kirstin Schulz, Willi Sauerbrei, Martin Schumacher

Institut für Medizinische Biometrie und Medizinische Informatik
Albert-Ludwigs-Universität Freiburg

Bei der Analyse klinischer und epidemiologischer Studien stellt die Modellbildung einen wichtigen Schritt bei der Auswertung der Daten und der Interpretation der Ergebnisse dar. Eine übliche Vorgehensweise im Rahmen von Regressionsmodellen ist die Auswahl von möglichen Prädiktoren, die in das Regressionsmodell aufgenommen werden. Als Kriterium für ihre Güte wird dabei häufig der mittlere Vorhersagefehler benutzt.
In diesem Vortrag werden zwei neue Ansätze zur Verringerung des mittleren Vorhersagefehlers vorgestellt, die zunächst für lineare Regressionsmodelle entwickelt wurden.
Das Lasso von Tibshirani minimiert die Summe der quadrierten Residuen (RSS) unter der Nebenbedingung, daß die Summe der Absolutwerte der Regressionskoeffizienten kleiner als eine vorgegebene Konstante ist. Dies führt implizit zu einer Variablenselektion.
Breimans Garotte versucht durch ein systematisches Shrinken der Schätzer des vollen Modelles eine Verbesserung zu erreichen. Die Parameter zur Steuerung dieser Prozesse werden dabei durch Cross-Validation bestimmt. Es ist möglich, diese Verfahren auch auf andere Regressionsmodelle, zum Beispiel auf generalisierte lineare Modelle, zu übertragen.
In unserem Vortrag zeigen wir einige Eigenschaften beider Ansätze auf. Anhand von Simulationen für das lineare Regressionsmodell vergleichen wir das Lasso und die Garotte mit anderen Shrinkage- und Variablenselektionsverfahren. Dabei werden realistische Situationen mit mehreren binären, korrelierten Einflußgrößen betrachtet. Wir führen Simulationen für verschiedene Korrelationsdesigns der Kovariablen durch, bei denen die Größe des Einflusses auf die Zielgröße variiert wird.
Die Verfahren werden hinsichtlich der Selektionswahrscheinlichkeit, des Selektion Bias, dem Verhalten der Shrinkage-Faktoren und der Effekt-Schätzer, sowie der Vorhersagegüte für feste oder zufällige Kovariablenausprägungen verglichen.

Literatur:

  1. Breiman, L. (1995). Better Subset Selection Using the Nonnegative Garotte. Technometrics, 37, 373-384.
  2. Tibshirani, R. (1996). Regression shrinkage and Selection via the Lasso. Journal of the Royal Statistical Society B, 58, 267-288.
  3. van Houwelingen, J.C., le Cessie, S. (1990). Predictive value of statistical models. Statistics in Medicine 9, 1303-1325.
  4. Lawson, C.L., Hanson, R.J. (1974). Solving least-squares problems. Englewood Cliffs, N.J.: Prentice Hall.


Vortragstermin bei 30. Statistical Computing '98 --- Adresse