On Some Simulation Procedures for Comparing Nonparametric Methods of Regression
Keywords:
nonparametric regression, model comparison, benchmarking experiments, hypothesis testingAbstract
W artykule przedstawiono symulacyjną procedurę badawczą pozwalającą na porównywanie różnych nieparametrycznych modeli regresji, jak i wybór najlepszego z nich. Zaproponowana procedura przebiega dwuetapowo. W pierwszym etapie tworzony jest ranking modeli regresji, pod względem dokładności predykcji, mierzonej za pomocą błędu średniokwadratowego obliczonego metodą sprawdzania krzyżowego ( MSECV ). Drugi etap analizy ma na celu zbadanie istotności różnic pomiędzy uzyskanymi wartościami MSECV , a tym samym skorygowanie otrzymanych rankingów. Do testowania istotności wspomnianych różnic wykorzystano nieparametryczną statystykę testującą zaproponowaną przez Hothorna. Opisaną procedurę badawczą zastosowano w badaniu empirycznym, dla zbiorów danych standardowo wykorzystywanych do analizowania własności różnych metod regresji.Downloads
References
Bishop C. (1995), Neural Networks for Pattern Recognition, Oxford University Press, Oxford
Breiman L. (1996), Bagging Predictors, Machine Learning, 24, 123-140
Breiman L. (2001), Random Forests, Machine Learning, 45, 5-32
Friedman J. (1999a), Greedy Function Approximation: a Gradient Boosting Machine, Technical Report, Stanford University, Dept. of Statistics
Friedman J. (1999b), Stochastic Gradient Boosting, Technical Report, Stanford University, Dept. of Statistics
Friedman J., Stuetzle W. (1981), Projection Pursuit Regression, Journal of the American Statistical Association, 76, 817-823
Hothorn T., Leisch F., Zeileis A., Hornik K. (2005), The Design and Analysis of Benchmark Experiments, Journal of Computational and Graphical Statistics, 14(3), 675-699
Kooperberg C., Bose S., Stone C. (1997), Polychotomous Regression, Journal of the American Statistical Association, 92, 117-127
Meyer D., Leisch F., Hornik K. (2003), The Support Vector Machine under Test, Neurocomputing, 55(1-2), 169-186
Vapnik V. (1998), Statistical Learning Theory, „Adaptive and Learning Systems for Signal Processing, Communications, and Control”, John Wiley & Sons, New York
