Отправить статью по E-mail 
Экспертная оценка требований к членам аттестационных комиссий
- Авторы: Кочубей А.В.1,2, Мишарин В.М.3,2, Казаков А.С.4,2, Кочубей В.В.1,2
- Учреждения:
- Федеральный научно-клинический центр специализированных видов медицинской помощи и медицинских технологий, Москва, Россия
- Российский университет медицины, Москва, Россия
- Научно-исследовательский институт пульмонологии, Москва, Россия
- Научно-исследовательский институт организации здравоохранения и медицинского менеджмента Департамента здравоохранения города Москвы, Москва, Россия
- Выпуск: № 4 (2024)
- Страницы: 434-439
- Раздел: Статьи
- URL: https://remedium-journal.ru/journal/article/view/1728
- DOI: https://doi.org/10.32687/1561-5936-2024-28-4-434-439
- Цитировать
Аннотация
Уязвимость оценки, проводимой другим лицом, заключается в различной степени строгости экзаменатора, возможно недостаточной его компетентности и вероятной зависимости от других лиц. Обеспечение объективности экзаменаторов достигается ориентацией на неформальные признаки профессионального развития. Аттестация подразумевает оценку квалификации специалистов непосредственно членами комиссии. Цель исследования — оценить способность требований к членам аттестационных комиссий обеспечить их единый экспертный уровень квалификации и независимость. Методы. Проведён заочный экспертный опрос в одну итерацию. Выполнена экспертная оценка требований к членам аттестационных комиссий по 3 параметрам: способность требований гарантировать однообразный экспертный уровень квалификации членов комиссий в профессиональной деятельности (1) и смежных дисциплинах (2), а также независимость членов комиссий от сторонних лиц (3). Мерой измерения выбрана шкала Стейпла, где –5 — совсем не обеспечивает, +5 — гарантирует. Для анализа рассчитаны суммы оценок, выполнены проверка согласованности оценок, нормальности распределения, различий оценок по двум и множеству признаков. Пороговое значение уровня ошибки принято менее 0,05. Результаты. Экспертные оценки согласованные: W = 0,877, p ≤ 0,001. Сумма оценок способности Требований обеспечить экспертный уровень квалификации члена комиссии в профессиональной деятельности равна –193, в смежных дисциплинах — –199, независимость — –299. Экспертные оценки способности требований обеспечить независимость значимо ниже, чем экспертный уровень в профессиональной и смежных областях: U = 1372, р ≤ 0,001 для обеих пар. Требование к наличию аккредитации оценено выше, чем иные требования по способности обеспечить экспертный уровень в профессиональной и смежных областях, р = 0,001. Выводы. Требования к членам аттестационных комиссий, кроме аккредитации и членства в профессиональных организациях, не обеспечивают единый экспертный уровень в профессиональной деятельности и смежных дисциплинах членов комиссий. Ни одно из требований не гарантирует независимость членов комиссии от сторонних лиц.
Об авторах
Аделина Владимировна Кочубей
Федеральный научно-клинический центр специализированных видов медицинской помощи и медицинских технологий, Москва, Россия; Российский университет медицины, Москва, Россия
Email: kochoubeya@gmail.com
Виктор Михайлович Мишарин
Научно-исследовательский институт пульмонологии, Москва, Россия; Российский университет медицины, Москва, Россия
Email: info@pulmonology-russia.ru
Александр Сергеевич Казаков
Научно-исследовательский институт организации здравоохранения и медицинского менеджмента Департамента здравоохранения города Москвы, Москва, Россия; Российский университет медицины, Москва, Россия
Email: keyprojet@yandex.ru
Валентин Владимирович Кочубей
Федеральный научно-клинический центр специализированных видов медицинской помощи и медицинских технологий, Москва, Россия; Российский университет медицины, Москва, Россия
Email: kochoubey@gmail.com
Список литературы
- Gershuni O., Czabanowska K., Burazeri G. et al. Is there a golden recipe? A scoping review of public health workforce development. Eur. J. Public Health. 2019;29(3):401–408. doi: 10.1093/eurpub/cky247
- Staudenmann D., Waldner N., Lörwald A., Huwendiek S. Medical specialty certification exams studied according to the Ottawa Quality Criteria: a systematic review. BMC Med. Educ. 2023;23(1):619. doi: 10.1186/s12909-023-04600-x
- Zimina E. V., Kochubej A. V., Konanyhina A. K., Navarkin M. V. The domestic system of training and continuous professional development of medical workers: SWOT analysis. Modern problems of science and education. 2015;(4):445.
- Thiessen N., Fischer M. R., Huwendiek S. Assessment methods in medical specialist assessments in the DACH region — overview, critical examination and recommendations for further development. GMS J. Med. Educ. 2019;36(6):78.
- McManus I. C., Thompson M., Mollon J. Assessment of examiner leniency and stringency ('hawk-dove effect') in the MRCP(UK) clinical examination (PACES) using multi-facet Rasch modelling. BMC Med. Educ. 2006;6:42. doi: 10.1186/1472-6920-6-42
- Fuchs J. W., Youmans Q. R. Mitigating bias in the era of virtual residency and fellowship interviews. J. Grad. Med. Edu. 2020;12:674–677.
- Ryan T. Addressing bias and lack of objectivity in the Canadian resident matching process. CMAJ. 2018;190:E1211–E1212.
- Osler W. Examinations, examiners and examinees. Lancet. 1913;136:1047–1050.
- Fleming P. R., Manderson W. G., Matthews M. B. et al. Evolution of an examination, M. R. C. P. (UK). Br. Med. J. 1974;2(5910):99–107. doi: 10.1136/bmj.2.5910.99
- Wakeford R., Denney M., Ludka-Stempien K., Dacre J, McManus I. C. Cross-comparison of MRCGP & MRCP(UK) in a database linkage study of 2,284 candidates taking both examinations: assessment of validity and differential performance by ethnicity. BMC Med. Educ. 2015;15:1. doi: 10.1186/s12909-014-0281-2
- Finn Y., Cantillon P., Flaherty G. Exploration of a possible relationship between examiner stringency and personality factors in clinical assessments: a pilot study. BMC Med. Educ. 2014;14:1052. doi: 10.1186/s12909-014-0280-3
- Klein R., Snyder E. D., Koch J. et al. Analysis of narrative assessments of internal medicine resident performance: are there differences associated with gender or race and ethnicity? BMC Med. Educ. 2024;24(1):72. doi: 10.1186/s12909-023-04970-2
- Klein R., Snyder E. D., Koch J. et al. Exploring gender and thematic differences in qualitative assessments of internal medicine resident performance. BMC Med. Educ. 2023;23(1):932. doi: 10.1186/s12909-023-04917-7
- Locke R., Bell J., Scallan S. et al. The experience and professional development of medical appraisers. Educ Prim Care. 2018 Nov;29(6):351–356. doi: 10.1080/14739879.2018.1514987
- Atkinson A. R., Abbott C., Oswald A. et al. Strategies to enable transformation in medical education: faculty and trainee development in competence by design. Perspect. Med. Educ. 2024;13(1):85–94. doi: 10.5334/pme.960
- Schultz K. W., Kolomitro K., Koppula S., Bethune C. H. Competency-based faculty development: applying transformations from lessons learned in competency-based medical education. Can. Med. Educ. J. 2023;14(5):95–102. doi: 10.36834/cmej.75768
- Holmboe E. S., Ward D. S., Reznick R. K. et al. Faculty development in assessment: the missing link in competency-based medical education. Acad. Med. 2011;86(4):460–467. doi: 10.1097/ACM.0b013e31820cb2a7
- Yeates P., Sebok-Syer S. S. Hawks, doves and rasch decisions: understanding the influence of different cycles of an OSCE on students’ scores using many facet rasch modeling. Med. Teach. 2017;39:92–99.
- Seaward J. R., Carter L. R., Nagarkar P., Zhang A. Y. Rating the rater: a technique for minimizing leniency bias in residency applications. Plast. Reconstr. Surg. Glob Open. 2023;11(4):e4892. doi: 10.1097/GOX.0000000000004892
- Kiraly L., Dewey E., Brasel K. Hawks and doves: adjusting for bias in residency interview scoring. J. Surg Educ. 2020;77:e132–e137.
- Clement E. A., Oswald A., Ghosh S., Hamza D. M. Exploring the quality of feedback in entrustable professional activity narratives across 24 residency training programs. J Grad. Med. Educ. 2024;16(1):23–29. doi: 10.4300/JGME-D-23-00210.1
- Kornegay J. G., Kraut A., Manthey D. et al. Feedback in medical education: a critical appraisal. AEM Educ. Train. 2017;1:98–109. doi: 10.1002/aet2.10024
- Sheehan J. External examiners: roles and issues. J. Adv. Nurs. 1994;20(5):943–949. doi: 10.1046/j.1365-2648.1994.20050943.x
- Allen M., Russell T., Ford L. et al. Identification and evaluation of criterion measurement methods. Mil. Psychol. 2023;35(4):308–320. doi: 10.1080/08995605.2022.2050165
- Kuznetsova O. V., Samoilov A. S., Romanov S. V., Abaeva O. P. From certification to accreditation: the history of the development of domestic medical education and prospects for transition to the system continuing medical education. Extreme Medicine. 2018;20(4):551–558.
- Lockyer J., Carraccio C., Chan M. K. et al. Core principles of assessment in competency-based medical education, Med. Teach. 2017;39(6):609–616. doi: 10.1080/0142159X.2017.1315082
- Wright C., Campbell J., McGowan L. et al. Interpreting multi-source feedback: online study of consensus and variation among GP appraisers. Br. J. Gen. Pract. 2016;66(645):e277–284. doi: 10.3399/bjgp16X684373
- Norcini J., Anderson M. B., Bollela V. et al. Consensus framework for good assessment. Med. Teach. 2018;40(11):1102–1109. doi: 10.1080/0142159X.2018.1500016
