Qualitätssicherung in der Psychologischen Diagnostik

Auf dem Gebiet der Psychologischen Diagnostik existieren mehrere Konzepte und Ansätze, die Qualität zu sichern bzw. zu heben. Mit entsprechenden Qualitätsinitiativen soll auch eine Abgrenzung gegenüber einem unqualifizierten Einsatz von Testverfahren (der bis zur Scharlatanerie gehen kann) erreicht werden.

Die Qualität psychodiagnostischer Verfahren ist Auftraggebern von Psychodiagnostik und Diagnostizierten nicht immer leicht ersichtlich, weil häufig nur Ergebnisse der Verfahren bekannt gegeben werden und die Funktionsweise der Instrumente intransparent bleibt. Damit ist es den Beteiligten erschwert, professionell entwickelte Instrumente von solchen zu unterscheiden, welche die wissenschaftlichen Gütekriterien nicht oder nur teilweise erfüllen. Nach mehreren Schätzungen der Berufsverbände werden nur etwa 20% aller psychodiagnostischen Untersuchungen von qualifizierten Personen mit geeigneten Instrumenten (also mit ausreichender Qualität) vorgenommen.

Weil solche Instrumente oft und zunehmend für Entscheidungen von hoher Tragweite eingesetzt werden (Zulassungsentscheidungen für Bildungswege, Entscheidungen über Stellenbesetzungen und Karriereplanungen, Tauglichkeitsentscheidungen für bestimmte Tätigkeiten; Feststellung von Erkrankungen und Störungen und Ableitung der richtigen Bbehandlungsmasnahmen), beginnt sich bei allen Beteiligten ein Qualitätsbewusstsein zu entwickeln.

Dem steht noch entgegegen, dass verbindliche Regelungen auf Gesetzesebene fehlen. Das liegt nicht zuletzt auch daran, dass allseits anerkannte Krierien fehlen, die allgemeinverständlich sind. In den letzten Jahren hat es hierzu mehrere Versuche gegeben, Kriterien zu definieren und allgemeinverständlich darzustellen. Der Prozess der Konsensfindung ist allerdings noch nicht abgeschlossen.

Die Einhaltung dieser Kriterien gehört zu den berufsethischen Grundlagen psychologischer Tätigkeit. Die Kenntnis dieser Kriterien kann auch für Auftraggeber und Diagnostizierte wichtig sein, um Fehlanwendungen psychologischer Verfahren zu erkennen und geeignete Anbieter zu evaluieren.

Elemente, die der Qualitätssicherung bedürfen

Die Qualitätssicherung muss den gesamten diagnostischen Prozess umfassen, Dieser beinhaltet:

• die Qualität der eingesetzten Verfahren
• die Qualifikation der beteiligten Personen
• die Einhaltung von Abläufen und Regeln (Datenschutz, Wahrung der persönlichen Integrität, Art der Rückmeldung der Ergebnisse)

Internationale Initiative

Die Internationale Testkommission (ITC) hat Internationale Richtlinien für die Testanwendung verabschiedet, die von vielen Berufsverbänden anerkannt wird (unter anderem auch BdP Deutschland). Deutsche Fassung hier.

Inhalt:

• 1 VERANTWORTUNG FÜR ETHISCH KORREKTE TESTANWENDUNG
  • 1.1 Handeln in professioneller und ethisch korrekter Weise
  • 1.2 Stellen sicher, dass sie für die Testanwendung fachkompetent sind
  • 1.3 Übernehmen Verantwortung für ihre Anwendung von Tests
  • 1.4 Gewährleisten die sichere Verwahrung von Testmaterial
  • 1.5 Gewährleisten die vertrauliche Behandlung von Testergebnissen
• 2 FACHLICH KOMPETENTE PRAXIS IN DER TESTANWENDUNG
  • 2.1 Evaluation der möglichen Brauchbarkeit von Tests in einer diagnostischen Situation
  • 2.2 Auswahl technisch einwandfreier und für die Situation angemessener Tests
  • 2.3 Beachtung von Fragen der Fairness bei der Testanwendung
  • 2.4 Notwendige Vorbereitungen für die Testdurchführung
  • 2.5 Fachlich kompetente Testvorgabe
  • 2.6 Akkurate Testauswertung und Analyse der Testergebnisse
  • 2.7 Angemessene Interpretation der Testergebnisse
  • 2.8 Klare und exakte Weitergabe der Testergebnisse
  • 2.9 Überprüfung der Angemessenheit eines Tests und seiner Anwendung
• ANHANG A: RICHTLINIEN FÜR DEN ENTWURF VON GRUNDSÄTZEN IN DER TESTANWENDUNG
• ANHANG B: RICHTLINIEN FÜR VEREINBARUNGEN ZWISCHEN DEN AN EINEM TESTPROZESS BETEILIGTEN
• ANHANG C: GESICHTSPUNKTE, DIE BEI TESTS MIT BEHINDERTEN ODER IN ANDERER WEISE BEEINTRÄCHTIGTEN PERSONEN BEACHTET WERDEN SOLLTEN

Initiative in Deutschland

Für die Eignungsdiagnostik gibt es eine DIN-Norm 33430, welche den ganzen Prozess betrifft.

Qualitätsstandards für spezielle Aspekte

Übersetzung und Adaptation von Tests in andere Sprachen

Viele Tests sind stark sprach- und kulturabhängig. Das betrifft Formulierungen (die idiomatisch sein können) ebenso wie die Vergleichsnormen, die für die Auswerung gelten. Beispielsweise zeigt sich Extraversion in Amerika anders als in Europa. Es reicht nicht aus, Tests zu übersetzen. Es muss auch geprüft werden, ob noch das Gleiche gemessen wird. Ausserdem ist fast immer eine Neunormierung in den jeweils anderen Sprachen notwendig.

Technical Standards for Translating and Adapting Tests and Establishing Test Score Equivalence wurden von sechs führenden internationalen psychologischen Fachgesellschaften 1994 herausgegeben. Sie beinhalten Antworten zu alle wichtigen Fragen, die bei Testadaptationen und -übersetzungen auftreten.

Richtlinien für computer- und internetgestütztes Testen

Die Nutzung von IT in der psychologischen Diagnostik wird immer verbreiteter. Die Internationale Testkommission ITC hat deshalb Richtlinien für computer- und internetgestütztes Testen erarbeitet, welche Möglichkeiten und Grenzen dieses Zuganges berücksichtigen.

• 1. Give due regard to technological issues in Computer-based (CBT) and Internet Testing
  • a. Give consideration to hardware and software requirements
  • b. Take account of the robustness of the CBT/Internet test
  • c. Consider human factors issues in the presentation of material via computer or the Internet
  • d. Consider reasonable adjustments to the technical features of the test for candidates with disabilities
  • e. Provide help, information, and practice items within the CBT/Internet test
• 2. Attend to quality issues in CBT and Internet testing
  • a. Ensure knowledge, competence and appropriate use of CBT/Internet testing
  • b. Consider the psychometric qualities of the CBT/Internet test
  • c. Where the CBT/Internet test has been developed from a paper and pencil version, ensure that there is evidence of equivalence
  • d. Score and analyse CBT/Internet testing results accurately
  • e. Interpret results appropriately and provide appropriate feedback
  • f. Consider equality of access for all groups
• 3. Provide appropriate levels of control over CBT and Internet testing
  • a. Detail the level of control over the test conditions
  • b. Detail the appropriate control over the supervision of the testing
  • c. Give due consideration to controlling prior practice and item exposure
  • d. Give consideration to control over test-taker’s authenticity and cheating
• 4. Make appropriate provision for security and safeguarding privacy in CBT and Internet testing
  • a. Take account of the security of test materials
  • b. Consider the security of test-taker’s data transferred over the Internet
  • c. Maintain the confidentiality of test-taker results

Andere Länder

USA: Standards for Educational and Psychological Testing

Die Amerikanische Psychologenvereinigung (American Psychological Association, APA) hat eine international stark beachtete Qualitätsrichtlinie veröffentlicht, die Standards for Educational and Psychological Testing. Die aktuelle Fassung wurde 1999 in den USA verabschiedet.

In deutscher Sprache wurde eine frühere, aber ähnliche Fassung als Supplementum 1/1998 der Zeitschriften Diagnostica und der Zeitschrift für Differentielle und Diagnostische Psychologie veröffentlicht.

• Methodische Standards für die Testkonstruktion und -evaluation
• Standards für eine fachlich kompetente Testanwendung
• Standards für besondere Anwendungen (sprachliche Minderheiten, Personen mit Behinderungen)
• Standards für Vorgehensweisen (Durchführung, Auswerung, Interpretation; Schutz der Rechte der Probanden)

USA: Code of Fair Testing Practices in Education

Diese Standards (Stand 2004) sind vor allem auf Diagnostik im Bildungsbereich ausgerichtet. Sie sind mit den vorgenannten kompatibel, sehr auf Verständlichkeit und Praktikabilität ausgerichtet.

• A. Developing and Selecting Appropriate Tests (Testentwicklung und Testauswahl werden im Zusammenhang mit der Eignung für eine Fragestellung diskutiert)
• B. Administering and Scoring Tests (Anwendungsempfehlungen und die richtige Auswertung)
• C. Reporting and Interpreting Test Results (wie sollen Testergebnisse richtig interpretiert werden)
• D. Informing Test Takers (wie sollen Testergebnisse und diagnostische Entscheidungen bekanntgegeben werden).

Informationen über Tests und diagnostische Verfahren

Nach wie vor bleibt es für Laien sehr schwer, die Qualität psychodiagnostischer Verfahren und Vorgehensweisen einzuschätzen. Hierzu ist detaillierte Information über die Verfahren notwendig, die üblicherweise in Form von Handbüchern von den Testentwickerln bereitgestellt werden muss. Mindeststandard der Dokumentation sind Aussagen über

• die theoretischen Grundlagen, auf denen das Verfahren beruht;
• die einzelnen Entwicklungsschritte;
• die Überprüfung der Gütekriterien;
• detaillierte Richtlinien für Durchführung, Ausawertung und Interpretation.

Nicht immer existieren diese Handbücher überhaupt, nicht immer werden sie frei zur Verfügung gestellt.

Auftraggeber, besonders von grösseren Projekten, sollten allerdings auf die Einsichtnahme in diese Handbücher bestehen. Es bleibt für Laien dann unter Umständen trotzdem schwer, die Verfahrensgüte einzuschätzen. Man kann entweder Experten für die Bewertung der Verfahren beiziehen oder aber in der Fachliteratur Rezensionen dieser Verfahren suchen. Eine Reihe wissenschaftlicher Zeitschriften veröffentlichen regelmässig solche Rezensionen, die in der Regel auch unabhängig von den Testentwîcklern durchgeführt werden.

Im deutschen Sprachraum sammelt die [ZPID] als Zentralstelle für Psychologische Information und Dokumentation in Trier Informationen über Tests und solche Testrezensionen.