Measuring the Quality of Multivariate Statistical Models

Michał Trzęsiok

doi:10.18778/0208-6018.339.06

Autor

Michał Trzęsiok University of Economics in Katowice, Faculty of Finance and Insurance, Department of Economic and Financial Analysis

DOI:

https://doi.org/10.18778/0208-6018.339.06

Słowa kluczowe:

jakość modelu, dopasowanie, błąd predykcji

Abstrakt

Bardzo ważnym elementem procesu modelowania statystycznego jest etap oceny jakości zbudowanego modelu. W zależności od wykorzystanej metody istnieje wiele różnych podejść do pomiaru jakości modelu. Pomiar ten może skupiać się na dopasowaniu do danych empirycznych albo może przede wszystkim uwzględniać zdolności prognostyczne modelu. Mierniki mogą być absolutne albo względne. Zestaw mierników jakości modelu obejmuje liczną grupę propozycji, z których analityk musi wybrać najodpowiedniejszy do danej sytuacji. W artykule przedstawiono zestawienie mierników jakości modelu oraz sugestię używania innych mierników jakości na etapie wyboru wariantu modelu oraz na etapie oceny jakości modelu końcowego.

Pobrania

Brak dostępnych danych do wyświetlenia.

Bibliografia

Altman D. G., Bland J. M. (1994), Statistics Notes: Diagnostic tests 1: sensitivity and specificity, “British Medical Journal”, vol. 308(6943), p. 1552.
Google Scholar

Breiman L. (2001), Random forests, “Machine Learning”, vol. 45(1), pp. 5–32.
Google Scholar

Gatnar E. (2008), Podejście wielomodelowe w zagadnieniach dyskryminacji i regresji, Wydawnictwo Naukowe PWN, Warszawa.
Google Scholar

Hastie T., Tibshirani R., Friedman J. (2001), The Elements of Statistical Learning, Springer Verlag, New York.
Google Scholar

Kitchenham B. A., Pickard L. M., MacDonell S. G., Shepperd M. J. (2001), What accuracy statistics really measure, “IEE Proceedings‑Software”, vol. 148(3), pp. 81–85.
Google Scholar

Kohavi R. (1995), A Study of Cross‑Validation and Bootstrap for Accuracy Estimation and Model Selection, “International Joint Conference on Artificial Intelligence”, pp. 1137–1145.
Google Scholar

Meyer D., Leisch F., Hornik K. (2003), The support vector machine under test, “Neurocomputting”, vol. 55(1), pp. 169–186.
Google Scholar

Misztal M. (2014), Wybrane metody oceny jakości klasyfikatorów – przegląd i przykłady zastosowań, [in:] K. Jajuga, M. Walesiak (eds.), „Taksonomia 23: Klasyfikacja i analiza danych – teoria i zastosowania. Prace Naukowe Akademii Ekonomicznej we Wrocławiu”, no. 328, pp. 156–166.
Google Scholar

Rozmus D. (2004), Random forest jako metoda agregacji modeli dyskryminacyjnych, [in:] K. Jajuga, M. Walesiak (eds.), „Taksonomia 11: Klasyfikacja i analiza danych – teoria i zastosowania. Prace Naukowe Akademii Ekonomicznej we Wrocławiu”, no. 1022, pp. 441–448.
Google Scholar

Rozmus D. (2008), Agregacja modeli klasyfikacyjnych i regresyjnych, Fundacja Promocji i Akredytacji Kierunków Ekonomicznych, Warszawa.
Google Scholar

Trzęsiok M. (2006), Metoda wektorów nośnych na tle innych metod wielowymiarowej analizy danych, [in:] K. Jajuga, M. Walesiak (eds), „Taksonomia 13. Klasyfikacja i analiza danych – teoria i zastosowania. Prace Naukowe Akademii Ekonomicznej we Wrocławiu”, no. 1126, pp. 536–542.
Google Scholar

Trzęsiok M. (2007), Symulacyjne porównanie jakości modeli otrzymanych metodą wektorów nośnych z innymi modelami regresji, [in:] J. Dziechciarz (ed.), Zastosowanie metod ilościowych, „Prace Naukowe Akademii Ekonomicznej we Wrocławiu”, no. 1189, Wrocław, pp. 234–241.
Google Scholar

Vapnik V. (1998), Statistical Learning Theory, John Wiley & Sons, New York.
Google Scholar

Wolpert D. H., Macready W. G. (1997), No Free Lunch Theorems for Optimization, “IEEE Transactions on Evolutionary Computation”, vol. 1, pp. 67–82, doi: 10.1109/4235.585893.
Google Scholar