Skip to main content
SpringerLink
Log in

Validierung eines Fragenbogens zur Erfassung studentischer Forschungskompetenzen über Selbsteinschätzungen – Ein Instrument zur Evaluation forschungsorientierter Lehr-Lernarrangements

Validation of a questionnaire to assess university students’ research competences via self-evaluation – An instrument for evaluating research-oriented teaching and learning arrangements

  • Allgemeiner Teil
  • Published:
Unterrichtswissenschaft Aims and scope Submit manuscript

Zusammenfassung

Studentische Forschungskompetenzen können auf Grundlage eines fachkulturübergreifenden Ansatzes modelliert und mit dem zugehörigen Fragebogen zur Erfassung studentischer Forschungskompetenzen über Selbsteinschätzungen erfasst werden. Diese Kompetenzselbsteinschätzungen können ein nützliches und valides Erhebungsverfahren darstellen. Zur Validierung des vorliegenden Fragebogens wird zum einen überprüft, ob Forschungskompetenzen und keine Lern- oder Studienkompetenzen wie epistemologische Überzeugungen, kognitive Lernstrategien oder kognitive Fähigkeiten erfasst werden. Zum anderen wird die Validität der Selbsteinschätzungen von Kompetenzen überprüft. Dazu werden Zusammenhänge untersucht zu a) einem Kompetenztest zur Erfassung bildungswissenschaftlicher Forschungskompetenz sowie zu b) einem Instrument, das forschungsbezogene Selbstwirksamkeitserwartungen ebenfalls über Selbsteinschätzungen erhebt. In drei Studien werden die angenommenen Zusammenhänge auf latenter oder manifester Ebene analysiert. Die Ergebnisse weisen darauf hin, dass mit unserem Fragebogen Forschungskompetenzen und keine Lern- oder Studienkompetenzen erfasst werden. Die Ergebnisse der Validierung der Methodik deuten hingegen darauf hin, dass weitere Untersuchungen in diesem Bereich notwendig sind, um die vielfältigen Einsatzmöglichkeiten von Kompetenzselbsteinschätzungen an die jeweilige Zielgruppe anzupassen.

Abstract

University students’ research competences can be modelled on the basis of a cross-disciplinary approach and measured with the corresponding instrument to assess these competences via self-evaluation. The method of self-evaluation can be a useful and valid survey method. To validate this instrument, it is first verified that research-related competences are measured and not competences for learning and studying, such as epistemological beliefs, cognitive learning strategies or cognitive abilities. Second, the validity of self-evaluation is evaluated. Therefore, correlations are investigated to a) a test measuring Educational Research Literacy and to b) an instrument measuring research self-efficacy via self-evaluation, too. Three studies are conducted to examine the assumed relations in latent or manifest approaches. The results indicate that our instrument measures research-related competences and not competences for learning and studying. However, the results of the validation of the chosen method indicate that further research is needed in this area in order to adapt the various application possibilities of competence self-evaluation to the particular target group.

This is a preview of subscription content, log in via an institution to check access.

Access this article

Log in via an institution

Price excludes VAT (USA)
Tax calculation will be finalised during checkout.

Instant access to the full article PDF.

Institutional subscriptions

Abb. 1

Literatur

  • Arthur Jr., W., & Day, D. V. (1994). Development of a short form for the raven advanced progressive matrices test. Educational and Psychological measurement, 54(2), 394–403.

    Article  Google Scholar 

  • Bach, A. (2013). Kompetenzentwicklung im Schulpraktikum: Ausmaß und zeitliche Stabilität von Lerneffekten hochschulischer Praxisphasen. Münster: Waxmann.

    Google Scholar 

  • Bandura, A. (2006). Guide for constructing self-efficacy scales. Self. efficacy beliefs of adolescents, 5(1), 307–337.

    Google Scholar 

  • Bauer, W., Bleck-Neuhaus, J., Dombois, R., & Wehrtmann, I. (2013). Forschungsprojekte entwickeln – von der Idee bis zur Publikation. Baden-Baden: Nomos.

    Google Scholar 

  • Bieschke, K. J., Bishop, R. M., & Garcia, V. L. (1996). The utility of the research self-efficacy scale. Journal of Career Assessment, 4(1), 59–75.

    Article  Google Scholar 

  • Blüthmann, I. (2012). Studierbarkeit, Studienzufriedenheit und Studienabbruch: Analysen von Einflussfaktoren in den Bachelorstudiengängen. Berlin: Freie Universität Berlin.

    Google Scholar 

  • Bors, D. A., & Stokes, T. L. (1998). Raven’s advanced progressive matrices: Norms for first-year university students and the development of a short form. Educational and Psychological measurement, 58(3), 382–398.

    Article  Google Scholar 

  • Bortz, J., & Döring, N. (2006). Forschungsmethoden und Evaluation: Für Human- und Sozialwissenschaftler. Heidelberg: Springer-Medizin-Verlag.

    Book  Google Scholar 

  • Böttcher, F., & Thiel, F. (2018). Evaluating research-oriented teaching: a new instrument to assess university students’ research competences. Higher Education, 75(1), 91–110.

    Article  Google Scholar 

  • Böttcher, F., & Thiel, F. (2016). Der Fragebogen zur Erfassung studentischer Forschungskompetenzen – Ein Instrument auf der Grundlage des RMRK-W-Modells zur Evaluation von Formaten forschungsorientierter Lehre. In B. Berendt, A. Fleischmann, N. Schaper, B. Szczyrba, & J. Wildt (Hrsg.), Neues Handbuch Hochschullehre (I 2.11, S. 57–74). Berlin: DUZ Medienhaus.

  • Braun, E. (2008). Das Berliner Evaluationsinstrument für selbsteingeschätzte studentische Kompetenzen (BEvaKomp). Göttingen: V&R Unipress.

    Book  Google Scholar 

  • Brown, T. A. (2006). Confirmatory factor analysis for applied research. New York, NY: Guilford.

    Google Scholar 

  • Bühner, M. (2011). Einführung in die Test- und Fragebogenkonstruktion. München u. a.: Pearson Deutschland GmbH.

    Google Scholar 

  • Bulheller, S., & Häcker, H. O. (1998). Advanced Progressive Matrices (APM). Deutsche Bearbeitung und Normierung nach JC Raven. Frankfurt a. M.: Pearson Assessment.

    Google Scholar 

  • Busato, V. V., Prins, F. J., Elshout, J. J., & Hamaker, C. (2000). Intellectual ability, learning style, personality, achievement motivation and academic success of psychology students in higher education. Personality and Individual Differences, 29(6), 1057–1068.

    Article  Google Scholar 

  • Butts, R. E. (1991). Methodology, metaphysics and the pragmatic unity of science. In Akademie der Wissenschaften zu Berlin (Hrsg.), Einheit der Wissenschaften: Internationales Kolloquium der Akademie der Wissenschaften zu Berlin (Bonn, 25.–27. Juni 1990) (S. 23–28). Berlin, New York: W. de Gruyter.

  • Cassidy, S., & Eachus, P. (2000). Learning style, academic belief systems, self-report student proficiency and academic achievement in higher education. Educational Psychology, 20(3), 307–322.

    Article  Google Scholar 

  • Cattell, R. B. (1987). Intelligence: Its structure, growth and action. Amsterdam: Elsevier Science.

    Google Scholar 

  • Chevalier, A., Gibbons, S., Thorpe, A., Snell, M., & Hoskins, S. (2009). Students’ academic self-perception. Economics of Education Review, 28(6), 716–727.

    Article  Google Scholar 

  • Cohen, J. (1992). A power primer. Psychological bulletin, 112(1), 155.

    Article  Google Scholar 

  • Cramer, C. (2010). Kompetenzerwartungen Lehramtsstudierender. Grenzen und Perspektiven selbsteingeschätzter Kompetenzen in der Lehrerbildungsforschung. In A. Gehrmann, U. Hericks, & M. Lüders (Hrsg.), Bildungsstandards und Kompetenzmodelle: Beiträge zu einer aktuellen Diskussion über Schule, Lehrerbildung und Unterricht (S. 85–97). Bad Heilbrunn: Klinkhardt Verlag.

  • Decker, L., Kaplan, I., & Siebert-Ott, G. (2015). Modellierung und Erfassung akademischer Textkompetenzen (AkaTex Working Papers 3). Siegen und Köln. https://www.uni-siegen.de/phil/akatex/publikationen_und_vortraege/download/ako-workingpaper-neu.pdf. Zugegriffen: 6. Aug. 2018.

    Google Scholar 

  • Forester, M., Kahn, J. H., & Hesson-McInnis, M. S. (2004). Factor structures of three measures of research self-efficacy. Journal of Career Assessment, 12(1), 3–16.

    Article  Google Scholar 

  • Gess, C., Wessels, I., & Blömeke, S. (2017). Domain-specificity of research competencies in the social sciences: Evidence from differential item functioning. Journal for Educational Research Online, 9(2), 11–36.

    Google Scholar 

  • Groß Ophoff, J., Wolf, R., Schladitz, S., & Wirtz, M. (2017). Assessment of educational research literacy in higher education: Construct validation of the factorial structure of an assessment instrument comparing different treatments of omitted responses. Journal for Educational Research Online. Journal für Bildungsforschung Online, 9(2), 37–68.

    Google Scholar 

  • Groß Ophoff, J., Schladitz, S., Lohrmann, K., & Wirtz, M. (2014). Evidenzorientierung in bildungswissenschaftlichen Studiengängen. In K. Drossel, R. Strietholt, & W. Bos (Hrsg.), Empirische Bildungsforschung und evidenzbasierte Reformen im Bildungswesen (S. 251–275). Münster, Westf: Waxmann.

  • Hartig, J., & Kühnbach, O. (2006). Schätzung von Veränderung mit „plausible values“ in mehrdimensionalen Rasch-Modellen. In A. Ittel & H. Merkens (Hrsg.), Veränderungsmessung und Längsschnittstudien in der empirischen Erziehungswissenschaft (S. 27–44). Wiesbaden: VS Verlag für Sozialwissenschaften/GWV Fachverlage GmbH Wiesbaden.

  • Hollingsworth, M. A., & Fassinger, R. E. (2002). The role of faculty mentors in the research training of counseling psychology doctoral students. Journal of Counseling Psychology, 49(3), 324–330.

    Article  Google Scholar 

  • Kiefer, T., Robitzsch, A., & Wu, M. (2016). TAM: Test Analysis Modules. R Package. Version, Bd. 1 (S. 995–990).

    Google Scholar 

  • Klieme E., Hartig J. (2008) Kompetenzkonzepte in den Sozialwissenschaften und im erziehungswissenschaftlichen Diskurs. In M. Prenzel, I. Gogolin, HH. Krüger (Hrsg.), Kompetenzdiagnostik (S. 11-29). Wiesbaden: VS Verlag für Sozialwissenschaften

    Google Scholar 

  • König, J., & Tachtsoglou, S. (2012). Pädagogisches Professionswissen und selbsteingeschätzte Kompetenz. In J. König & A. Seifert (Hrsg.), Lehramtsstudierende erwerben pädagogisches Professionswissen. Ergebnisse der Längsschnittstudie LEK zur Wirksamkeit der erziehungswissenschaftlichen Lehrerausbildung (S. 284–297). Münster/ New York/ München/ Berlin: Waxmann.

    Google Scholar 

  • König, J., Tachtsoglou, S., & Seifert, A. (2012). Individuelle Voraussetzungen, Lerngelegenheiten und der Erwerb von pädagogischem Professionswissen. In J. König & A. Seifert (Hrsg.), Lehramtsstudierende erwerben pädagogisches Professionswissen. Ergebnisse der Längsschnittstudie LEK zur Wirksamkeit der erziehungswissenschaftlichen Lehrerausbildung (S. 234–283). Münster/ New York/ München/ Berlin: Waxmann.

    Google Scholar 

  • Kossek, B. (2009). Survey: Die forschungsgeleitete Lehre in der internationalen Diskussion. https://ctl-lectures-archiv.univie.ac.at/fileadmin/user_upload/elearning/Forschungsgeleitete_Lehre_International_090414.pdf. Zugegriffen: 11. Juli 2018.

    Google Scholar 

  • Kruger, J., & Dunning, D. (1999). Unskilled and unaware of it: how difficulties in recognizing one’s own incompetence lead to inflated self-assessments. Journal of Personality and Social Psychology, 77(6), 1121.

    Article  Google Scholar 

  • Kunter, M., & Klusmann, U. (2010). Kompetenzmessung bei Lehrkräften – Methodische Herausforderungen. Unterrichtswissenschaft, 38(1), 68–86.

    Google Scholar 

  • Langer, W. (2000). Einführung in sozialwissenschaftliche Skalen-, Index- und Typenkonstruktion. Online-Dokument. https://langer.soziologie.uni-halle.de/pdf/meth1/skalieren2.pdf. Zugegriffen: 11. Juli 2018.

  • Liepmann, D., Beauducel, A., Brocke, B., & Amthauer, R. (2001). Intelligenz-Struktur-Test 2000 R. Göttingen: Hogrefe.

    Google Scholar 

  • Little, R. J. A. (1988). A test of missing completely at random for multivariate data with missing values. Journal of the American Statistical Association, 83(404), 1198–1202.

    Article  Google Scholar 

  • Lucas, R. E., & Baird, B. M. (2006). Global Self-Assessment. In M. Eid & E. Diener (Hrsg.), Handbook of Multimethod Measurement in Psychology (S. 29–42). Washington: American Psychological Association.

    Google Scholar 

  • Lüdtke, O., Robitzsch, A., Trautwein, U., & Köller, O. (2007). Umgang mit fehlenden Werten in der psychologischen Forschung. Psychologische Rundschau, 58(2), 103–117.

    Article  Google Scholar 

  • Mabe, P. A., & West, S. G. (1982). Validity of self-evaluation of ability: A review and meta-analysis. Journal of Applied Psychology, 67(3), 280.

    Article  Google Scholar 

  • Mayer, R. E. (2003). What causes individual differences in cognitive performance? In R. J. Sternberg & E. Grigorenko (Hrsg.), Perspectives on the psychology of abilities, competencies, and expertise (S. 263–273). New York: Cambridge University Press.

    Chapter  Google Scholar 

  • Mertens, S., & Gräsel, C. (2018). Entwicklungsbereiche bildungswissenschaftlicher Kompetenzen von Lehramtsstudierenden im Praxissemester. Zeitschrift für Erziehungswissenschaft. https://doi.org/10.1007/s11618-018-0825-z.

    Article  Google Scholar 

  • Mittelhaëuser, M.-A., Béguin, A. A., & Sijtsma, K. (2011). Comparing the effectiveness of different linking designs: The internal anchor versus the external anchor and pre-test data. Arnheim. Netherlands: Cito.

    Google Scholar 

  • Mittelstraß, J. (1991). Einheit und Transdisziplinarität. In Akademie der Wissenschaften zu Berlin (Hrsg.), Einheit der Wissenschaften: Internationales Kolloquium der Akademie der Wissenschaften zu Berlin (Bonn, 25.–27. Juni 1990) (S. 12–22). Berlin, New York: W. de Gruyter.

  • Pfitzner-Eden, F., Thiel, F., & Horsley, J. (2014). An adapted measure of teacher self-efficacy for preservice teachers: Exploring its validity across two countries. Zeitschrift für Pädagogische Psychologie, 28(3), 83–92.

    Article  Google Scholar 

  • Phillips, J. C., & Russell, R. K. (1994). Research self-efficacy, the research training environment, and research productivity among graduate students in counseling psychology. The Counseling Psychologist, 22(4), 628–641.

    Article  Google Scholar 

  • Richardson, V. (1996). The role of attitudes and beliefs in learning to teach. Handbook of research on teacher education, 2, 102–119.

    Google Scholar 

  • Rodgers, W. M., Markland, D., Selzler, A.-M., Murray, T. C., & Wilson, P. M. (2014). Distinguishing perceived competence and self-efficacy: An example from exercise. Research Quarterly for Exercise and Sport, 85(4), 527–539.

    Article  Google Scholar 

  • Satorra, A., & Bentler, P. M. (2001). A scaled difference chi-square test statistic for moment structure analysis. Psychometrika, 66(4), 507–514.

    Article  Google Scholar 

  • Schermelleh-Engel, K., Moosbrugger, H., & Müller, H. (2003). Evaluating the fit of structural equation models: Tests of significance and descriptive goodness-of-fit measures. Methods of psychological research online, 8(2), 23–74.

    Google Scholar 

  • Schladitz, S., Groß Ophoff, J., & Wirtz, M. (2015). Konstruktvalidierung eines Tests zur Messung bildungswissenschaftlicher Forschungskompetenz. Zeitschrift für Pädagogik, 61, 167–184.

    Google Scholar 

  • Schommer, M. (1998). The influence of age and education on epistemological beliefs. British Journal of Educational Psychology, 68(4), 551–562.

    Article  Google Scholar 

  • Schwartz, C. E., & Sprangers, M. A. G. (1999). Methodological approaches for assessing response shift in longitudinal health-related quality-of-life research. Social science & medicine, 48(11), 1531–1548.

    Article  Google Scholar 

  • Schweizer, K., & Koch, W. (2002). Fluide Intelligenz und mittelfristig erworbenes Wissen in einer spezifischen Wissensdomäne. Zeitschrift für Psychologie / Journal of Psychology, 210(3), 111–121.

    Article  Google Scholar 

  • Simonton, D. K. (2003). Expertise, competence, and creative ability. In R. J. Sternberg & E. Grigorenko (Hrsg.), Perspectives on the psychology of abilities, competencies, and expertise (S. 213–240). New York: Cambridge University Press.

    Chapter  Google Scholar 

  • Steuer, G., Engelschalk, T., Jöstl, G., Roth, A., Wimmer, B., Schmilz, B., et al. (2015). Kompetenzen zum selbstregulierten Lernen im Studium. Ergebnisse der Befragung von Expert(inn)en aus vier Studienbereichen. In S. Blömeke & O. Zlatkin-Troitschanskaia (Hrsg.), Kompetenzen von Studierenden (S. 203–225). Weinheim u. a.: Beltz Juventa.

  • Strobl, C. (2010). Das Rasch-Modell: Eine verständliche Einführung für Studium und. München: Hampp: Praxis.

    Google Scholar 

  • Thiel, F., & Böttcher, F. (2014). Modellierung fächerübergreifender Forschungskompetenzen – Das RMKR-W-Modell als Grundlage der Planung und Evaluation von Formaten forschungsorientierter Lehre. In B. Berendt, A. Fleischmann, J. Wildt, N. Schaper & B. Szczyrba (Hrsg.), Neues Handbuch Hochschullehre (I 2.10, S. 109–124). Berlin: Raabe.

    Google Scholar 

  • Trautwein, U., & Lüdtke, O. (2007). Epistemological beliefs, school achievement, and college major: A large-scale longitudinal study on the impact of certainty beliefs. Contemporary educational psychology, 32(3), 348–366.

    Article  Google Scholar 

  • Trautwein, U., Watermann, R., Nagy, G., & Lüdtke, O. (2004). Transformation des Sekundarschulsystems und akademische Karrieren (TOSCA). Skalenhandbuch, Welle 2. Forschungsbericht. Berlin: Max-Planck-Institut für Bildungsforschung.

    Google Scholar 

  • Tremp, P., & Futter, K. (2012). Forschungsorientierung in der Lehre: Curriculare Leitlinie und studentische Wahrnehmung. In Deutsche Gesellschaft für Hochschuldidaktik, DGHD: Einführung in die Studiengangentwicklung (S. 69–80). Bielefeld: Arbeitsgemeinschaft für Hochschuldidaktik.

    Google Scholar 

  • Warm, T. A. (1989). Weighted likelihood estimation of ability in item response theory. Psychometrika, 54(3), 427–450.

    Article  Google Scholar 

  • Weinert, F. E. (2001). Concept of competence: A conceptual clarification. In D. S. Rychen & L. H. Salganik (Hrsg.), Defining and selecting key competencies (S. 45–65). Ashland, OH, US: Hogrefe & Huber Publishers.

    Google Scholar 

  • Weiß, R. H. (2006). R: Grundintelligenztest – Revision. CFT, Bd. 20. Göttingen: Hogrefe.

    Google Scholar 

  • Wigfield, A., & Eccles, J. S. (2000). Expectancy-value theory of achievement motivation. Contemporary educational psychology, 25(1), 68–81.

    Article  Google Scholar 

  • Wild, K.-P., & Schiefele, U. (1994). Lernstrategien im Studium: Ergebnisse zur Faktorenstruktur und Reliabilität eines neuen Fragebogens. Zeitschrift für differentielle und diagnostische. Psychologie, 15, 185–200.

    Google Scholar 

  • Willison, J., & O’Regan, K. (2007). Commonly known, commonly not known, totally unknown: a framework for students becoming researchers. Higher Education Research. Development, 26(4), 393–409.

    Google Scholar 

  • Wright, B. D., & Douglas, G. A. (1996). Estimating Rasch (person, ability, theta) measures with known dichotomous item difficulties: Anchored Maximum Likelihood Estimation (AMLE). Rasch Measurement Transactions, 10(2), 499.

    Google Scholar 

  • Yuan, K‐. H., & Bentler, P. M. (2000). Three likelihood‐based methods for mean and covariance structure analysis with nonnormal missing data. Sociological methodology, 30(1), 165–200.

    Article  Google Scholar 

Download references

Danksagung

Wir danken den anonymen Gutachterinnen und Gutachtern für die wertvollen Hinweise und hilfreichen Literaturempfehlungen, die in die Überarbeitung des Manuskriptes eingeflossen sind.

Author information

Authors and Affiliations

  1. Arbeitsbereich Schulpädagogik/ Schulentwicklungsforschung, Freie Universität Berlin, Habelschwerdter Allee 45, 14195, Berlin, Deutschland

    Franziska Böttcher-Oschmann & Felicitas Thiel

  2. Institut für Erziehungswissenschaft, Tübingen School of Education, Wilhemstraße 31, 72074, Tübingen, Deutschland

    Jana Groß Ophoff

Authors
  1. Franziska Böttcher-Oschmann
    View author publications

    You can also search for this author in PubMed Google Scholar

  2. Jana Groß Ophoff
    View author publications

    You can also search for this author in PubMed Google Scholar

  3. Felicitas Thiel
    View author publications

    You can also search for this author in PubMed Google Scholar

Corresponding author

Correspondence to Franziska Böttcher-Oschmann.

Caption Electronic Supplementary Material

Rights and permissions

Reprints and permissions

About this article

Check for updates. Verify currency and authenticity via CrossMark

Cite this article

Böttcher-Oschmann, F., Groß Ophoff, J. & Thiel, F. Validierung eines Fragenbogens zur Erfassung studentischer Forschungskompetenzen über Selbsteinschätzungen – Ein Instrument zur Evaluation forschungsorientierter Lehr-Lernarrangements. Unterrichtswiss 47, 495–521 (2019). https://doi.org/10.1007/s42010-019-00053-8

Download citation

  • Published:

  • Issue Date:

  • DOI: https://doi.org/10.1007/s42010-019-00053-8

Schlüsselwörter

Keywords

Search

Navigation