BioASQ Participants Area

Test Results for MESINESP9 TASK

The evaluation measures indicating the performance of the systems that submitted results are presented below.

+ Subtrack 1

Flat Measures

System MiF EBP EBR EBF MaP MaR MaF MiP MiR Acc.
iria-1 0.3406 0.3670 0.3238 0.3339 0.4236 0.2348 0.2315 0.3641 0.3199 0.2089
iria-2 0.3389 0.3650 0.3218 0.3319 0.4214 0.2327 0.2293 0.3622 0.3185 0.2073
iria-3 0.2537 0.2758 0.2337 0.2460 0.2869 0.0854 0.0817 0.2729 0.2369 0.1480
iria-4 0.3656 0.3938 0.3481 0.3585 0.4476 0.2877 0.2760 0.3909 0.3435 0.2279
iria-mix 0.3725 0.4245 0.3402 0.3662 0.5345 0.2326 0.2354 0.4193 0.3351 0.2341
Anuj_NLP 0.0035 0.0024 0.0020 0.0021 0.0038 0.0001 0.0002 0.0053 0.0026 0.0011
bert_dna_2 0.3962 0.5167 0.3436 0.3882 0.4576 0.2527 0.2574 0.4820 0.3364 0.2530
pi_dna_2 0.3978 0.4836 0.3630 0.3915 0.4062 0.2717 0.2700 0.4520 0.3551 0.2546
bert_dna 0.3989 0.4990 0.3534 0.3905 0.4200 0.2683 0.2674 0.4662 0.3486 0.2533
pi_dna 0.4225 0.4919 0.3876 0.4120 0.4463 0.3149 0.3082 0.4667 0.3859 0.2722
pi_dna_3 0.4027 0.4710 0.3835 0.3968 0.4013 0.2795 0.2718 0.4348 0.3750 0.2583
MESINESP_baseline_t1 0.2876 0.2449 0.3839 0.2841 0.3720 0.3787 0.3438 0.2335 0.3746 0.1710
Classifier 0.3825 0.4995 0.3292 0.3731 0.4431 0.1917 0.1908 0.4622 0.3262 0.2405
CSSClassifier025 0.3823 0.4867 0.3347 0.3723 0.4230 0.1962 0.1932 0.4509 0.3318 0.2399
CSSClassifier035 0.3801 0.5075 0.3217 0.3709 0.4527 0.1845 0.1849 0.4710 0.3186 0.2390
LabelGlosses02 0.3746 0.4932 0.3207 0.3638 0.4159 0.1725 0.1713 0.4560 0.3179 0.2323
bertmesh-1 0.4808 0.5047 0.4701 0.4731 0.5124 0.4010 0.3950 0.5047 0.4591 0.3236
BERTDeCS version 2 0.4798 0.5037 0.4691 0.4721 0.5187 0.3970 0.3908 0.5037 0.4581 0.3226
BERTDeCS version 3 0.4808 0.5047 0.4708 0.4734 0.5224 0.3988 0.3918 0.5047 0.4591 0.3233
BERTDeCS version 4 0.4837 0.5077 0.4736 0.4763 0.5237 0.3990 0.3926 0.5077 0.4618 0.3261
BERTDeCS-CooMatInfer 0.4505 0.4902 0.4354 0.4443 0.4918 0.3558 0.3486 0.4791 0.4252 0.2961
tf-idf-model 0.1335 0.1405 0.1380 0.1351 0.1417 0.2076 0.1988 0.1405 0.1271 0.0757
LASIGE_BioTM_1 0.2007 0.1584 0.2712 0.1948 0.1016 0.1232 0.0941 0.1584 0.2738 0.1117
LASIGE_BioTM_2 0.1886 0.1489 0.2553 0.1832 0.0950 0.1219 0.0920 0.1489 0.2573 0.1051
AnujTagging 0.0631 0.0676 0.0638 0.0637 0.1556 0.0552 0.0486 0.0666 0.0600 0.0347
LabelGlosses01 0.3704 0.5004 0.3171 0.3611 0.4302 0.1776 0.1780 0.4526 0.3134 0.2313


+ Subtrack 2

Flat Measures

System MiF EBP EBR EBF MaP MaR MaF MiP MiR Acc.
iria-1 0.2454 0.2303 0.2625 0.2379 0.3167 0.1863 0.1534 0.2289 0.2644 0.1411
iria-3 0.1562 0.1422 0.1681 0.1502 0.1617 0.0730 0.0505 0.1419 0.1736 0.0857
iria-4 0.2003 0.1919 0.2142 0.1958 0.1620 0.2049 0.1571 0.1868 0.2158 0.1132
iria-mix 0.2003 0.1919 0.2142 0.1958 0.1620 0.2049 0.1571 0.1868 0.2158 0.1132
Anuj_ml 0.0019 0.0018 0.0018 0.0018 0.0058 0.0033 0.0011 0.0020 0.0018 0.0009
bert_dna_2 0.2383 0.3999 0.1773 0.2325 0.3611 0.1206 0.1208 0.3754 0.1746 0.1365
pi_dna_2 0.2680 0.4236 0.2073 0.2627 0.4262 0.1636 0.1650 0.4004 0.2015 0.1566
bert_dna 0.2710 0.3793 0.2261 0.2657 0.3492 0.1923 0.1853 0.3448 0.2232 0.1583
pi_dna 0.2781 0.3838 0.2347 0.2736 0.3618 0.2045 0.1969 0.3504 0.2305 0.1637
Classifier 0.2485 0.2599 0.2302 0.2308 0.3695 0.1700 0.1531 0.2721 0.2287 0.1384
CSSClassifier025 0.2819 0.2960 0.2686 0.2722 0.3920 0.1797 0.1570 0.2933 0.2715 0.1636
CSSClassifier035 0.2810 0.2919 0.2709 0.2714 0.3777 0.1801 0.1565 0.2888 0.2736 0.1631
bertmesh-1 0.3600 0.3626 0.3608 0.3515 0.4052 0.3357 0.3063 0.3626 0.3574 0.2211
BERTDeCS version 2 0.3640 0.3666 0.3655 0.3558 0.4177 0.3391 0.3102 0.3666 0.3614 0.2242
BERTDeCS version 3 0.3630 0.3657 0.3639 0.3545 0.4203 0.3428 0.3136 0.3657 0.3604 0.2234
BERTDeCS version 4 0.3563 0.3589 0.3576 0.3481 0.4362 0.3384 0.3114 0.3589 0.3537 0.2181
BERTDeCS-CooMatInfer 0.1095 0.1480 0.0735 0.0961 0.1132 0.0087 0.0025 0.1509 0.0859 0.0540
LabelGlosses01 0.2807 0.2975 0.2648 0.2709 0.4011 0.1779 0.1567 0.2949 0.2678 0.1629
subtrack2_baseline 0.1288 0.0971 0.3791 0.1452 0.0977 0.3619 0.2403 0.0781 0.3678 0.0802
clinical_trials_1.0 0.0679 0.0575 0.0730 0.0629 0.0050 0.0136 0.0056 0.0575 0.0828 0.0342
clinical_trials_0.25 0.0686 0.0581 0.0739 0.0637 0.0054 0.0133 0.0061 0.0581 0.0838 0.0345


+ Subtrack 3

Flat Measures

System MiF EBP EBR EBF MaP MaR MaF MiP MiR Acc.
iria-1 0.1871 0.1941 0.1826 0.1844 0.2589 0.1966 0.1825 0.1926 0.1820 0.1093
iria-2 0.3203 0.3509 0.2878 0.3061 0.4980 0.3166 0.3171 0.3657 0.2849 0.1910
iria-3 0.0793 0.0824 0.0758 0.0777 0.1120 0.0598 0.0501 0.0822 0.0765 0.0437
iria-4 0.2169 0.2251 0.2085 0.2119 0.3105 0.2442 0.2289 0.2232 0.2109 0.1288
iria-mix 0.2542 0.2790 0.2414 0.2528 0.4659 0.2284 0.2213 0.2750 0.2364 0.1526
Anuj_Ensemble 0.0389 0.0387 0.0385 0.0379 0.1073 0.0594 0.0617 0.0387 0.0391 0.0206
bert_dna_2 0.2479 0.3777 0.1690 0.2242 0.4872 0.1872 0.1923 0.4143 0.1769 0.1381
bert_dna 0.2479 0.3777 0.1690 0.2242 0.4872 0.1872 0.1923 0.4143 0.1769 0.1381
pi_dna 0.3628 0.5285 0.2770 0.3503 0.4891 0.1888 0.1939 0.5250 0.2772 0.2227
Classifier 0.1968 0.2595 0.1536 0.1808 0.3000 0.1394 0.1356 0.2700 0.1548 0.1076
CSSClassifier025 0.2834 0.3397 0.2564 0.2747 0.2790 0.1756 0.1575 0.3188 0.2551 0.1689
CSSClassifier035 0.2651 0.2701 0.2784 0.2602 0.2269 0.1959 0.1650 0.2547 0.2764 0.1572
LabelGlosses02 0.2921 0.4116 0.2337 0.2795 0.3453 0.1566 0.1499 0.3890 0.2338 0.1725
bertmesh-1 0.4489 0.4462 0.4626 0.4463 0.4792 0.4160 0.4010 0.4462 0.4515 0.2977
BERTDeCS version 2 0.4514 0.4487 0.4662 0.4494 0.5041 0.4271 0.4138 0.4487 0.4541 0.3005
BERTDeCS version 3 0.4480 0.4454 0.4621 0.4458 0.5161 0.4226 0.4096 0.4454 0.4507 0.2964
BERTDeCS version 4 0.4514 0.4487 0.4658 0.4493 0.4970 0.4235 0.4093 0.4487 0.4541 0.3006
BERTDeCS-CooMatInfer 0.4489 0.4462 0.4627 0.4464 0.5127 0.4209 0.4072 0.4462 0.4515 0.2980
LabelGlosses01 0.2908 0.3856 0.2449 0.2805 0.3157 0.1654 0.1532 0.3596 0.2440 0.1729
subtrack3_baseline 0.2992 0.4117 0.2298 0.2827 0.5290 0.2497 0.2518 0.4293 0.2296 0.1779
patents_1.0 0.0314 0.0239 0.0432 0.0302 0.0060 0.0135 0.0071 0.0239 0.0459 0.0159