Detection of grey zones in inter-rater agreement studies

BMC Medical Research Methodology

Research

Ayfer Ezgi Yilmaz¹  Haydar Demirhan² 

[1] Department of Statistics, Hacettepe University, Beytepe, 06000, Ankara, Turkey;Mathematical Sciences Discipline, School of Science, RMIT University, 3000, Melbourne, Victoria, Australia;

关键词: Cohen’s Kappa;    Gray zone;    Inter-rater reliability;    Ordinal levels;    Transition zone;    Weighted kappa;   

DOI  :  10.1186/s12874-022-01759-7

 received in 2022-06-09, accepted in 2022-10-18,  发布年份 2022

来源: Springer

【 授权许可】

CC BY   
© The Author(s) 2022

【 图 表 】

40798_2022_490_Article_IEq3.gif

40798_2022_490_Article_IEq2.gif

Fig. 1

Fig. 4

40854_2022_439_Article_IEq93.gif

Fig. 3

Fig. 57

Fig. 4

Fig. 1

Fig. 3

Fig. 7

Fig. 56

Fig. 4

Fig. 55

Fig. 2

Fig. 6

Fig. 5

Fig. 54

Fig. 2

Fig. 1

12864_2023_9114_Article_IEq10.gif

12888_2022_4500_Article_IEq3.gif

Fig. 1

41116_2022_35_Article_IEq645.gif

41116_2022_35_Article_IEq643.gif

41116_2022_35_Article_IEq641.gif

41116_2022_35_Article_IEq639.gif

41116_2022_35_Article_IEq635.gif

Fig. 46

41116_2022_35_Article_IEq632.gif

41116_2022_35_Article_IEq627.gif

41116_2022_35_Article_IEq626.gif

41116_2022_35_Article_IEq624.gif

Fig. 45

41116_2022_35_Article_IEq597.gif

Fig. 44

41116_2022_35_Article_IEq595.gif

Fig. 43

41116_2022_35_Article_IEq593.gif

Fig. 1

41116_2022_35_Article_IEq591.gif

41116_2022_35_Article_IEq590.gif

41116_2022_35_Article_IEq589.gif

41116_2022_35_Article_IEq588.gif

41116_2022_35_Article_IEq587.gif

41116_2022_35_Article_IEq586.gif

41116_2022_35_Article_IEq585.gif

41116_2022_35_Article_IEq584.gif

41116_2022_35_Article_IEq582.gif

41116_2022_35_Article_IEq581.gif

41116_2022_35_Article_IEq580.gif

41116_2022_35_Article_IEq579.gif

41116_2022_35_Article_IEq578.gif

41116_2022_35_Article_IEq577.gif

41116_2022_35_Article_IEq576.gif

41116_2022_35_Article_IEq575.gif

41116_2022_35_Article_IEq574.gif

41116_2022_35_Article_IEq573.gif

Fig. 2

Fig. 1

41116_2022_35_Article_IEq476.gif

Fig. 1

41116_2022_35_Article_IEq474.gif

41116_2022_35_Article_IEq473.gif

41116_2022_35_Article_IEq472.gif

Fig. 18

41116_2022_35_Article_IEq470.gif

41116_2022_35_Article_IEq469.gif

41116_2022_35_Article_IEq468.gif

41116_2022_35_Article_IEq467.gif

41116_2022_35_Article_IEq466.gif

41116_2022_35_Article_IEq465.gif

41116_2022_35_Article_IEq464.gif

Fig. 2

41116_2022_35_Article_IEq462.gif

Fig. 1

41116_2022_35_Article_IEq460.gif

41116_2022_35_Article_IEq459.gif

41116_2022_35_Article_IEq458.gif

41116_2022_35_Article_IEq457.gif

41116_2022_35_Article_IEq456.gif

Fig. 17

41116_2022_35_Article_IEq454.gif

Fig. 16

41116_2022_35_Article_IEq452.gif

Fig. 15

41116_2022_35_Article_IEq450.gif

Fig. 14

41116_2022_35_Article_IEq448.gif

Fig. 13

41116_2022_35_Article_IEq446.gif

Fig. 12

41116_2022_35_Article_IEq444.gif

Fig. 2

12888_2022_4443_Article_IEq11.gif

12888_2022_4443_Article_IEq10.gif

12888_2022_4443_Article_IEq9.gif

12888_2022_4443_Article_IEq8.gif

Fig. 7

41116_2022_35_Article_IEq425.gif

12888_2022_4443_Article_IEq7.gif

12888_2022_4443_Article_IEq6.gif

12888_2022_4443_Article_IEq5.gif

41116_2022_35_Article_IEq421.gif

41116_2022_35_Article_IEq420.gif

41116_2022_35_Article_IEq410.gif

41116_2022_35_Article_IEq409.gif

41116_2022_35_Article_IEq408.gif

Fig. 4

41116_2022_35_Article_IEq406.gif

41116_2022_35_Article_IEq405.gif

41116_2022_35_Article_IEq404.gif

41116_2022_35_Article_IEq403.gif

12888_2022_4443_Article_IEq4.gif

12888_2022_4443_Article_IEq3.gif

12888_2022_4443_Article_IEq2.gif

12888_2022_4443_Article_IEq1.gif

41116_2022_35_Article_IEq398.gif

41116_2022_35_Article_IEq397.gif

41116_2022_35_Article_IEq396.gif

41116_2022_35_Article_IEq395.gif

41116_2022_35_Article_IEq394.gif

41116_2022_35_Article_IEq393.gif

Fig. 3

Fig. 4

Fig. 3

41116_2022_35_Article_IEq387.gif

41116_2022_35_Article_IEq355.gif

41116_2022_35_Article_IEq354.gif

41116_2022_35_Article_IEq353.gif

41116_2022_35_Article_IEq352.gif

41116_2022_35_Article_IEq351.gif

41116_2022_35_Article_IEq350.gif

41116_2022_35_Article_IEq349.gif

41116_2022_35_Article_IEq348.gif

41116_2022_35_Article_IEq347.gif

41116_2022_35_Article_IEq346.gif

41116_2022_35_Article_IEq345.gif

41116_2022_35_Article_IEq344.gif

41116_2022_35_Article_IEq343.gif

41116_2022_35_Article_IEq342.gif

41116_2022_35_Article_IEq341.gif

41116_2022_35_Article_IEq340.gif

41116_2022_35_Article_IEq339.gif

41116_2022_35_Article_IEq338.gif

41116_2022_35_Article_IEq337.gif

41116_2022_35_Article_IEq336.gif

41116_2022_35_Article_IEq335.gif

41116_2022_35_Article_IEq334.gif

41116_2022_35_Article_IEq333.gif

Fig. 2

Fig. 2

41116_2022_35_Article_IEq330.gif

41116_2022_35_Article_IEq329.gif

41116_2022_35_Article_IEq328.gif

Fig. 1

41116_2022_35_Article_IEq326.gif

41116_2022_35_Article_IEq325.gif

Fig. 1

41116_2022_35_Article_IEq323.gif

41116_2022_35_Article_IEq310.gif

41116_2022_35_Article_IEq321.gif

41116_2022_35_Article_IEq319.gif

41116_2022_35_Article_IEq318.gif

41116_2022_35_Article_IEq317.gif

41116_2022_35_Article_IEq316.gif

41116_2022_35_Article_IEq315.gif

41116_2022_35_Article_IEq313.gif

41116_2022_35_Article_IEq311.gif

41116_2022_35_Article_IEq309.gif

41116_2022_35_Article_IEq307.gif

41116_2022_35_Article_IEq306.gif

41116_2022_35_Article_IEq305.gif

41116_2022_35_Article_IEq304.gif

41116_2022_35_Article_IEq303.gif

41116_2022_35_Article_IEq302.gif

41116_2022_35_Article_IEq301.gif

41116_2022_35_Article_IEq300.gif

41116_2022_35_Article_IEq299.gif

41116_2022_35_Article_IEq298.gif

41116_2022_35_Article_IEq296.gif

41116_2022_35_Article_IEq295.gif

41116_2022_35_Article_IEq294.gif

Fig. 3

41116_2022_35_Article_IEq292.gif

Fig. 2

Fig. 1

41116_2022_35_Article_IEq288.gif

41116_2022_35_Article_IEq287.gif

41116_2022_35_Article_IEq286.gif

Fig. 7

Fig. 1

41116_2022_35_Article_IEq283.gif

Fig. 6

41116_2022_35_Article_IEq280.gif

41116_2022_35_Article_IEq279.gif

41116_2022_35_Article_IEq278.gif

41116_2022_35_Article_IEq277.gif

41116_2022_35_Article_IEq276.gif

41116_2022_35_Article_IEq275.gif

41116_2022_35_Article_IEq274.gif

41116_2022_35_Article_IEq273.gif

41116_2022_35_Article_IEq272.gif

41116_2022_35_Article_IEq271.gif

41116_2022_35_Article_IEq270.gif

41116_2022_35_Article_IEq269.gif

41116_2022_35_Article_IEq268.gif

41116_2022_35_Article_IEq267.gif

41116_2022_35_Article_IEq266.gif

41116_2022_35_Article_IEq265.gif

41116_2022_35_Article_IEq264.gif

41116_2022_35_Article_IEq262.gif

Fig. 4

41116_2022_35_Article_IEq259.gif

41116_2022_35_Article_IEq258.gif

41116_2022_35_Article_IEq234.gif

41116_2022_35_Article_IEq225.gif

41116_2022_35_Article_IEq223.gif

41116_2022_35_Article_IEq215.gif