Cross Level User Evaluation

Today, evaluations of new flight control systems are usually based on classic usability testing methods, which consist of observations combined with interviews. In addition, there are at least partially automated system tests, but these tend to focus on the workload and stability of the system. In addition to the technical evaluation, workload, human error, teamwork and situational awareness are now in the foreground. Depending on the type of test, a wide variety of methods are chosen in order to be able to make statements on the topics mentioned.
Currently, a high degree of specialization is required from the test subjects in evaluations in order to be able to make statements about a system. In particular, the high costs, the organizational effort and the limited time availability of highly specialized experts (air traffic controllers, etc.) stand in the way of the rapid, agile development of new systems. The resulting lack of feedback through user evaluations and feedback also represents a high development risk: Insufficient feedback increases the risk of reduced acceptance of the software developed, and it increases the risk of developing software that is not accepted by users and the market.
One alternative to be investigated are statistical methods that were originally developed to correct representativeness deficiencies using so-called "auxiliary information". In this alternative approach, representativeness is deliberately violated by replacing the relevant target group with a general target group (e.g. volunteer students) for the reasons mentioned above (saving time and money). In order to correct this cost-saving error, "auxiliary information" is used to characterize the differences between the test subjects and to map their characteristics to one another.
The solution to this approach allows test results from normal people to be converted into test results from experts. Further user tests can then be carried out more easily, quickly and cost-effectively. Tests with experts can and should only validate the "converted" test results at strategic milestones and during the final evaluation.

[Original text]
"Cross Level User Evaluation"
Heutzutage stützen sich Evaluierungen neuer Flugsteuerungssysteme in der Regel auf klassische Methoden des Usability-Tests, die aus Beobachtungen in Kombination mit Interviews bestehen. Darüber hinaus gibt es zumindest teilweise automatisierte Systemtests, die sich jedoch eher auf die Arbeitsbelastung und die Stabilität des Systems konzentrieren. Neben der technischen Bewertung stehen heute Arbeitsbelastung, menschliches Fehlverhalten, Teamarbeit und Situationsbewusstsein im Vordergrund. Je nach Art der Tests wird eine große Vielfalt an Methoden gewählt, um Aussagen zu den genannten Themen treffen zu können. 
Derzeit wird von den ProbandInnen in Evaluationen ein hoher Grad an Spezialisierung verlangt, um Aussagen über ein System treffen zu können. Insbesondere die hohen Kosten, der organisatorische Aufwand und die begrenzte zeitliche Verfügbarkeit von hochspezialisierten ExpertInnen (FluglotsInnen etc.) stehen einer schnellen, agilen Entwicklung neuer Systeme entgegen. Das daraus resultierende fehlende Feedback durch Nutzerevaluationen und -rückmeldungen stellt ebenfalls ein hohes Entwicklungsrisiko dar: Unzureichendes Feedback erhöht die Gefahr einer verminderten Akzeptanz der entwickelten Software, und es erhöht die Gefahr, Software zu entwickeln, die von den NutzerInnen und dem Markt nicht angenommen wird.
Eine zu untersuchende Alternative sind statistische Methoden, die ursprünglich entwickelt wurden, um Repräsentativitätsmängel durch sogenannte „Hilfsinformationen“ zu korrigieren. Bei diesem alternativen Ansatz wird die Repräsentativität bewusst verletzt, indem aus den oben genannten Gründen (Zeit- und Kostenersparnis) die relevante Zielgruppe durch eine allgemeine Zielgruppe (z.B. freiwillige Studenten) ersetzt wird. Um diesen kostensparenden Fehler zu korrigieren, werden „Hilfsinformationen“ verwendet, um die Unterschiede der Probanden zu charakterisieren und ihre Merkmale aufeinander abzubilden.
Die Lösung dieses Ansatzes erlaubt die Umwandlung von Testergebnissen von Normalpersonen in Testergebnisse von ExpertInnen. Weitere NutzerInnentests können dann einfacher, schneller und kostengünstiger durchgeführt werden. Nur an strategischen Meilensteinen und bei der abschließenden Bewertung können und sollen Tests mit ExpertInnen die „umgewandelten“ Testergebnisse validieren.