Measuring the Quality of Multivariate Statistical Models

Michał Trzęsiok

doi:10.18778/0208-6018.339.06

Authors

Michał Trzęsiok University of Economics in Katowice, Faculty of Finance and Insurance, Department of Economic and Financial Analysis

DOI:

https://doi.org/10.18778/0208-6018.339.06

Keywords:

model quality, goodness of fit, prediction error

Abstract

Assessing the quality of a statistical model is very important, since it is crucial for the utility of the modelling process’ outcome. There are many different ways of measuring statistical models’ quality. Some of the measures represent a “goodness of fit” approach, some are “prediction ability” orientated. Among them there are absolute and relative measures. It is a researcher’s decision, which model quality measure is the most adequate for the given task. In the paper we present an overview of statistical models’ quality measures and a suggestion of using different ones during the model type selection stage and the stage of assessing the quality of the final model.

Downloads

Download data is not yet available.

References

Altman D. G., Bland J. M. (1994), Statistics Notes: Diagnostic tests 1: sensitivity and specificity, “British Medical Journal”, vol. 308(6943), p. 1552.
Google Scholar

Breiman L. (2001), Random forests, “Machine Learning”, vol. 45(1), pp. 5–32.
Google Scholar

Gatnar E. (2008), Podejście wielomodelowe w zagadnieniach dyskryminacji i regresji, Wydawnictwo Naukowe PWN, Warszawa.
Google Scholar

Hastie T., Tibshirani R., Friedman J. (2001), The Elements of Statistical Learning, Springer Verlag, New York.
Google Scholar

Kitchenham B. A., Pickard L. M., MacDonell S. G., Shepperd M. J. (2001), What accuracy statistics really measure, “IEE Proceedings‑Software”, vol. 148(3), pp. 81–85.
Google Scholar

Kohavi R. (1995), A Study of Cross‑Validation and Bootstrap for Accuracy Estimation and Model Selection, “International Joint Conference on Artificial Intelligence”, pp. 1137–1145.
Google Scholar

Meyer D., Leisch F., Hornik K. (2003), The support vector machine under test, “Neurocomputting”, vol. 55(1), pp. 169–186.
Google Scholar

Misztal M. (2014), Wybrane metody oceny jakości klasyfikatorów – przegląd i przykłady zastosowań, [in:] K. Jajuga, M. Walesiak (eds.), „Taksonomia 23: Klasyfikacja i analiza danych – teoria i zastosowania. Prace Naukowe Akademii Ekonomicznej we Wrocławiu”, no. 328, pp. 156–166.
Google Scholar

Rozmus D. (2004), Random forest jako metoda agregacji modeli dyskryminacyjnych, [in:] K. Jajuga, M. Walesiak (eds.), „Taksonomia 11: Klasyfikacja i analiza danych – teoria i zastosowania. Prace Naukowe Akademii Ekonomicznej we Wrocławiu”, no. 1022, pp. 441–448.
Google Scholar

Rozmus D. (2008), Agregacja modeli klasyfikacyjnych i regresyjnych, Fundacja Promocji i Akredytacji Kierunków Ekonomicznych, Warszawa.
Google Scholar

Trzęsiok M. (2006), Metoda wektorów nośnych na tle innych metod wielowymiarowej analizy danych, [in:] K. Jajuga, M. Walesiak (eds), „Taksonomia 13. Klasyfikacja i analiza danych – teoria i zastosowania. Prace Naukowe Akademii Ekonomicznej we Wrocławiu”, no. 1126, pp. 536–542.
Google Scholar

Trzęsiok M. (2007), Symulacyjne porównanie jakości modeli otrzymanych metodą wektorów nośnych z innymi modelami regresji, [in:] J. Dziechciarz (ed.), Zastosowanie metod ilościowych, „Prace Naukowe Akademii Ekonomicznej we Wrocławiu”, no. 1189, Wrocław, pp. 234–241.
Google Scholar

Vapnik V. (1998), Statistical Learning Theory, John Wiley & Sons, New York.
Google Scholar

Wolpert D. H., Macready W. G. (1997), No Free Lunch Theorems for Optimization, “IEEE Transactions on Evolutionary Computation”, vol. 1, pp. 67–82, doi: 10.1109/4235.585893.
Google Scholar