BioASQ Participants Area

Test Results for MESINESP TASK

The evaluation measures indicating the performance of the systems that submitted results are presented below.

+ Testset

Flat Measures

System	MiF	EBP	EBR	EBF	MaP	MaR	MaF	MiP	MiR	Acc.
BioASQ_Baseline	0.2695	0.2681	0.3239	0.2754	0.3733	0.3220	0.2816	0.2337	0.3182	0.1659
iria-1	0.3630	0.5055	0.2980	0.3643	0.5257	0.1908	0.1957	0.5024	0.2842	0.2326
iria-2	0.3423	0.4699	0.2837	0.3408	0.4996	0.1715	0.1719	0.4590	0.2729	0.2145
iria-3	0.3460	0.5432	0.2674	0.3467	0.5789	0.1617	0.1690	0.5375	0.2551	0.2193
iria-4	0.2743	0.3070	0.2635	0.2760	0.2655	0.2925	0.2619	0.3068	0.2481	0.1662
iria-mix	0.3892	0.5375	0.3207	0.3906	0.5539	0.2263	0.2318	0.5353	0.3057	0.2530
X-BERT BioASQ	0.0909	0.5415	0.0508	0.0916	0.3422	0.0036	0.0045	0.5449	0.0496	0.0503
Model 1	0.4167	0.4596	0.4087	0.4160	0.4122	0.3153	0.3024	0.4466	0.3906	0.2715
Model 2	0.4165	0.4296	0.4247	0.4150	0.3918	0.3277	0.3082	0.4286	0.4051	0.2707
Model 3	0.4227	0.4651	0.4146	0.4217	0.4201	0.3251	0.3122	0.4523	0.3966	0.2768
Model 4	0.4254	0.4382	0.4343	0.4240	0.3989	0.3380	0.3194	0.4374	0.4140	0.2786
Model 5	0.4130	0.4538	0.4061	0.4122	0.4094	0.3162	0.3039	0.4416	0.3879	0.2690
PriberamSearch	0.3395	0.4582	0.2824	0.3393	0.4971	0.1742	0.1776	0.4571	0.2700	0.2146
PriberamSVM	0.3976	0.4451	0.3904	0.3871	0.4602	0.2609	0.2543	0.4183	0.3789	0.2501
PriberamBert	0.3740	0.4477	0.3463	0.3678	0.4277	0.2002	0.2009	0.4293	0.3314	0.2361
PriberamTEnsemble	0.4093	0.5465	0.3452	0.4031	0.5944	0.2024	0.2115	0.5336	0.3320	0.2642
exact matching	0.2589	0.2915	0.2395	0.2561	0.4356	0.0627	0.0575	0.2915	0.2328	0.1533
graph matching	0.2664	0.3708	0.2220	0.2642	0.4261	0.1424	0.1422	0.3501	0.2150	0.1594
Anuj_ml	0.1149	0.7547	0.0636	0.1164	0.8020	0.0005	0.0006	0.7557	0.0621	0.0636
Anuj_NLP	0.2054	0.2499	0.1961	0.2044	0.3632	0.1996	0.1744	0.2196	0.1930	0.1198
Anuj_Ensemble	0.2163	0.2608	0.2082	0.2155	0.3641	0.1997	0.1746	0.2291	0.2049	0.1270
LasigeBioTM TXMC F1	0.2507	0.3641	0.1986	0.2380	0.3646	0.0799	0.0858	0.3559	0.1936	0.1440
LasigeBioTM TXMC P	0.1271	0.6609	0.0716	0.1261	0.6989	0.0081	0.0104	0.6864	0.0701	0.0708
NLPUnique	0.2054	0.2499	0.1961	0.2044	0.3632	0.1996	0.1744	0.2196	0.1930	0.1198
X-BERT BioASQ F1	0.1430	0.5057	0.0867	0.1397	0.3095	0.0186	0.0220	0.4577	0.0847	0.0787