BioASQ Participants Area

Task Synergy - version 2024: Test Results

Test round 1

Documents

System	Mean precision	Recall	F-Measure	MAP	GMAP
dmiip1	0.3899	0.4697	0.3472	0.4535	0.1697
dmiip2	0.3826	0.4690	0.3416	0.4427	0.1814
dmiip3	0.4043	0.4718	0.3558	0.4636	0.1783
dmiip4	0.3971	0.4674	0.3508	0.4493	0.1928
dmiip5	0.3971	0.4674	0.3508	0.4493	0.1928
Fleming-1	0.2756	0.2476	0.2246	0.2110	0.0056
Fleming-2	0.2664	0.2524	0.2235	0.2152	0.0056
Fleming-3	0.2695	0.2696	0.2163	0.1985	0.0157
Fleming-4	0.3176	0.3385	0.2544	0.2342	0.0324

Snippets

System	Mean precision	Recall	F-Measure	MAP	GMAP
dmiip1	0.3629	0.5563	0.3667	0.5687	0.1220
dmiip2	0.3588	0.5255	0.3573	0.5662	0.1041
dmiip3	0.3767	0.5465	0.3684	0.5793	0.1303
dmiip4	0.3582	0.5212	0.3501	0.5543	0.1069
dmiip5	0.3582	0.5212	0.3501	0.5543	0.1069
Fleming-1	-	-	-	-	-
Fleming-2	-	-	-	-	-
Fleming-3	-	-	-	-	-
Fleming-4	-	-	-	-	-

Exact Answers

	Yes/No				Factoid			List
System	Accuracy	F1 Yes	F1 No	Macro F1	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
dmiip1	0.5000	0.6667	-	0.3333	0.5000	0.5000	0.5000	0.1984	0.0939	0.1254
dmiip2	-	-	-	-	1.0000	1.0000	1.0000	0.1478	0.1010	0.1089
dmiip3	1.0000	1.0000	-	0.5000	0.5000	1.0000	0.6250	0.2153	0.1581	0.1736
dmiip4	1.0000	1.0000	-	0.5000	0.5000	0.5000	0.5000	0.0357	0.0263	0.0303
dmiip5	-	-	-	-	1.0000	1.0000	1.0000	0.1841	0.1494	0.1470
Fleming-1	1.0000	1.0000	-	0.5000	-	-	-	0.8333	0.1092	0.1902
Fleming-2	1.0000	1.0000	-	0.5000	-	-	-	0.8333	0.1092	0.1902
Fleming-3	1.0000	1.0000	-	0.5000	-	-	-	0.8333	0.1092	0.1902
Fleming-4	1.0000	1.0000	-	0.5000	-	-	-	0.8333	0.1092	0.1902

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
dmiip1	0.1589	0.1968	0.1668	0.2066	5.00	4.50	4.79	4.93
dmiip2	0.1666	0.1626	0.1844	0.1797	4.50	3.93	3.79	4.50
dmiip3	0.0619	0.0913	0.0661	0.0977	4.21	3.57	3.79	4.43
dmiip4	0.2461	0.2431	0.2509	0.2471	5.00	4.86	4.71	5.00
dmiip5	0.1294	0.1786	0.1306	0.1815	4.93	4.57	4.93	4.86
Fleming-1	-	-	-	-	-	-	-	-
Fleming-2	-	-	-	-	-	-	-	-
Fleming-3	-	-	-	-	-	-	-	-
Fleming-4	-	-	-	-	-	-	-	-

Test round 2

Documents

System	Mean precision	Recall	F-Measure	MAP	GMAP
Fleming-1	-	-	-	-	-
dmiip1	0.1500	0.1586	0.1342	0.1262	0.0019
dmiip2	0.1529	0.1323	0.1295	0.1177	0.0011
dmiip3	0.1800	0.2061	0.1660	0.1638	0.0046
dmiip4	0.3095	0.2788	0.2467	0.2481	0.0413
dmiip5	0.3095	0.2788	0.2467	0.2481	0.0413

Snippets

System	Mean precision	Recall	F-Measure	MAP	GMAP
Fleming-1	-	-	-	-	-
dmiip1	0.1401	0.1394	0.1169	0.1455	0.0009
dmiip2	0.1286	0.0986	0.0991	0.1257	0.0005
dmiip3	0.1714	0.1570	0.1444	0.1782	0.0016
dmiip4	0.2570	0.2631	0.2266	0.3096	0.0125
dmiip5	0.2570	0.2631	0.2266	0.3096	0.0125

Exact Answers

	Yes/No				Factoid			List
System	Accuracy	F1 Yes	F1 No	Macro F1	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
Fleming-1	1.0000	1.0000	-	0.5000	0.0000	0.1667	0.0556	0.3405	0.2917	0.2652
dmiip1	1.0000	1.0000	-	0.5000	0.3333	0.6667	0.5000	0.3118	0.1328	0.1717
dmiip2	1.0000	1.0000	-	0.5000	0.6667	0.8333	0.7000	0.3077	0.0894	0.1328
dmiip3	0.6667	0.8000	-	0.4000	0.5000	0.5000	0.5000	0.3640	0.2510	0.2797
dmiip4	-	-	-	-	0.6667	0.8333	0.7000	0.3382	0.2187	0.2462
dmiip5	0.3333	0.5000	-	0.2500	0.3333	0.8333	0.5833	0.2637	0.1484	0.1775

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
Fleming-1	0.1972	0.2123	0.2016	0.2161	4.06	3.66	3.97	4.25
dmiip1	0.2538	0.2240	0.2612	0.2294	4.31	3.88	4.03	4.13
dmiip2	0.2922	0.2576	0.3050	0.2684	3.63	3.28	3.41	3.56
dmiip3	0.2750	0.2518	0.2896	0.2642	3.97	3.72	3.75	3.88
dmiip4	0.2938	0.2650	0.3058	0.2746	4.19	3.88	4.06	4.03
dmiip5	0.3240	0.2902	0.3368	0.3010	3.72	3.53	3.53	3.59

Test round 3

Documents

System	Mean precision	Recall	F-Measure	MAP	GMAP
Gatech competition	-	-	-	-	-
Fleming-1	-	-	-	-	-
UR-IW-3	0.1076	0.0619	0.0675	0.0532	0.0003
dmiip5	0.1844	0.1904	0.1645	0.1644	0.0122
UR-IW-2	0.1076	0.0619	0.0675	0.0532	0.0003
dmiip1	0.2156	0.2568	0.1981	0.1769	0.0195
dmiip2	0.1111	0.1230	0.0955	0.0842	0.0014
dmiip3	0.1667	0.1716	0.1470	0.1555	0.0061
dmiip4	0.1200	0.1333	0.1083	0.1017	0.0025

Snippets

System	Mean precision	Recall	F-Measure	MAP	GMAP
Gatech competition	-	-	-	-	-
Fleming-1	-	-	-	-	-
UR-IW-3	0.0795	0.0467	0.0474	0.0567	0.0001
dmiip5	0.1320	0.1133	0.0915	0.1386	0.0015
UR-IW-2	0.0795	0.0467	0.0474	0.0567	0.0001
dmiip1	0.1751	0.1444	0.1356	0.1811	0.0019
dmiip2	0.0987	0.0484	0.0633	0.0785	0.0002
dmiip3	0.1035	0.0868	0.0663	0.1059	0.0004
dmiip4	0.0731	0.0562	0.0494	0.0739	0.0003

Exact Answers

	Yes/No				Factoid			List
System	Accuracy	F1 Yes	F1 No	Macro F1	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
Gatech competition	0.8000	0.8571	0.6667	0.7619	0.1111	0.3333	0.1944	0.1455	0.0913	0.1060
Fleming-1	0.8000	0.8571	0.6667	0.7619	0.1111	0.2222	0.1481	0.4345	0.3437	0.3328
UR-IW-3	1.0000	1.0000	1.0000	1.0000	0.4444	0.4444	0.4444	0.2532	0.2710	0.2459
dmiip5	1.0000	1.0000	1.0000	1.0000	0.3333	0.6667	0.4815	0.3839	0.2748	0.2776
UR-IW-2	1.0000	1.0000	1.0000	1.0000	0.4444	0.5556	0.5000	0.2500	0.3285	0.2669
dmiip1	1.0000	1.0000	1.0000	1.0000	0.4444	0.6667	0.5370	0.4600	0.2553	0.3142
dmiip2	0.4000	0.4000	0.4000	0.4000	0.4444	0.4444	0.4444	0.5054	0.2714	0.3317
dmiip3	0.8000	0.8571	0.6667	0.7619	0.4444	0.6667	0.5556	0.4078	0.2767	0.3096
dmiip4	0.2000	-	0.3333	0.1667	0.4444	0.6667	0.5370	0.4210	0.3280	0.3393

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
Gatech competition	0.0766	0.0908	0.0825	0.0987	3.68	3.37	3.55	4.21
Fleming-1	0.2326	0.1951	0.2320	0.1968	2.97	2.89	2.76	2.89
UR-IW-3	0.2665	0.1872	0.2760	0.1950	4.55	4.26	4.21	4.55
dmiip5	0.2621	0.2169	0.2692	0.2220	3.95	3.79	3.79	3.87
UR-IW-2	0.2891	0.2088	0.2913	0.2103	4.21	4.03	3.87	4.08
dmiip1	0.2592	0.2013	0.2734	0.2114	4.03	3.74	3.76	4.00
dmiip2	0.2025	0.1371	0.2204	0.1519	4.24	3.79	3.76	4.18
dmiip3	0.2600	0.2159	0.2663	0.2218	4.34	4.13	4.03	4.13
dmiip4	0.2606	0.2022	0.2760	0.2130	4.66	4.37	4.29	4.47

Test round 4

Documents

System	Mean precision	Recall	F-Measure	MAP	GMAP
Gatech competition	0.0021	0.0007	0.0010	0.0003	0.0000
GTBioASQsys2	0.0371	0.0370	0.0283	0.0270	0.0001
GTBioASQsys3	0.0858	0.0554	0.0578	0.0434	0.0003
GTBioASQsys4	0.0517	0.0300	0.0355	0.0258	0.0001
GTBioASQsys5	0.0441	0.0459	0.0353	0.0267	0.0001
Fleming-1	-	-	-	-	-
UR-IW-3	0.0912	0.0831	0.0790	0.0664	0.0006
UR-IW-2	0.0792	0.0746	0.0628	0.0514	0.0003
dmiip1	0.1599	0.1378	0.1308	0.1060	0.0034
dmiip2	0.1028	0.0797	0.0804	0.0745	0.0005
dmiip3	0.1438	0.1400	0.1255	0.0998	0.0038
dmiip4	0.1042	0.1011	0.0898	0.0637	0.0011
dmiip5	0.1651	0.1671	0.1459	0.1308	0.0070

Snippets

System	Mean precision	Recall	F-Measure	MAP	GMAP
Gatech competition	0.0027	0.0009	0.0014	0.0003	0.0000
GTBioASQsys2	0.0210	0.0255	0.0146	0.0215	0.0000
GTBioASQsys3	0.0667	0.0313	0.0340	0.0317	0.0001
GTBioASQsys4	0.0542	0.0144	0.0225	0.0249	0.0001
GTBioASQsys5	0.0384	0.0377	0.0273	0.0237	0.0000
Fleming-1	-	-	-	-	-
UR-IW-3	0.0966	0.0852	0.0741	0.0989	0.0005
UR-IW-2	-	-	-	-	-
dmiip1	0.1216	0.0884	0.0907	0.0890	0.0009
dmiip2	0.1110	0.0595	0.0742	0.0981	0.0004
dmiip3	0.0842	0.0748	0.0662	0.0669	0.0005
dmiip4	0.0484	0.0410	0.0358	0.0324	0.0002
dmiip5	0.1241	0.1103	0.0982	0.1003	0.0018

Exact Answers

	Yes/No				Factoid			List
System	Accuracy	F1 Yes	F1 No	Macro F1	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
Gatech competition	0.3333	0.3333	0.3333	0.3333	0.1818	0.1818	0.1818	0.1151	0.0748	0.0806
GTBioASQsys2	0.6667	0.8000	-	0.4000	0.1818	0.4545	0.3182	0.3224	0.1701	0.2009
GTBioASQsys3	0.6667	0.7500	0.5000	0.6250	0.1818	0.2727	0.2273	0.3681	0.1735	0.2256
GTBioASQsys4	0.5000	0.5714	0.4000	0.4857	0.1818	0.2727	0.2273	0.3222	0.1718	0.1919
GTBioASQsys5	0.5000	0.5714	0.4000	0.4857	0.0909	0.1818	0.1364	0.2750	0.1102	0.1467
Fleming-1	0.8333	0.8889	0.6667	0.7778	0.1818	0.3636	0.2727	0.2372	0.2893	0.2197
UR-IW-3	1.0000	1.0000	1.0000	1.0000	0.2727	0.2727	0.2727	0.1347	0.2203	0.1455
UR-IW-2	1.0000	1.0000	1.0000	1.0000	0.2727	0.6364	0.4318	0.2054	0.3558	0.2395
dmiip1	0.8333	0.8889	0.6667	0.7778	0.2727	0.6364	0.4045	0.3761	0.2368	0.2699
dmiip2	0.3333	0.3333	0.3333	0.3333	0.1818	0.5455	0.3258	0.4036	0.2312	0.2515
dmiip3	0.6667	0.7500	0.5000	0.6250	0.1818	0.6364	0.3212	0.3171	0.1883	0.2190
dmiip4	0.1667	-	0.2857	0.1429	0.2727	0.4545	0.3409	0.3452	0.2794	0.2707
dmiip5	0.8333	0.8889	0.6667	0.7778	0.1818	0.7273	0.4167	0.3097	0.1935	0.2236

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
Gatech competition	0.0569	0.0713	0.0680	0.0853	3.29	3.05	3.46	3.76
GTBioASQsys2	0.1077	0.1174	0.1086	0.1174	3.73	3.44	3.76	3.98
GTBioASQsys3	0.0730	0.0920	0.0716	0.0909	4.10	3.93	4.05	4.32
GTBioASQsys4	0.0973	0.1170	0.0943	0.1143	2.80	2.80	2.88	3.07
GTBioASQsys5	0.0307	0.0382	0.0330	0.0410	2.15	2.10	2.29	2.51
Fleming-1	0.2469	0.2095	0.2511	0.2161	3.22	3.05	3.20	3.20
UR-IW-3	0.2424	0.2088	0.2498	0.2131	4.34	4.22	4.32	4.27
UR-IW-2	0.2568	0.2222	0.2598	0.2220	4.41	4.32	4.27	4.41
dmiip1	0.2747	0.1879	0.2942	0.2015	3.95	3.78	3.78	3.93
dmiip2	0.2560	0.1687	0.2723	0.1852	4.15	3.93	3.78	4.10
dmiip3	0.3192	0.2358	0.3333	0.2452	4.00	3.93	3.78	3.95
dmiip4	0.3112	0.2196	0.3266	0.2303	4.32	4.20	4.20	4.32
dmiip5	0.3137	0.2483	0.3302	0.2566	4.29	4.24	4.20	4.32

Copyright © 2023, the BioASQ Challenge (http://bioasq.org)

Platinum sponsors of the BioASQ Challenge between 2012 and 2023

Google was a proud sponsor of the BioASQ Challenge from 2018 to 2022.
BioASQ was supported by the National Library of Medicine of the National Institutes of Health under award number R13LM012214. The content is solely the responsibility of the authors and does not necessarily represent the official views of the National Institutes of Health.
The research leading to these results has received funding from the European Commission's Seventh Framework Programme (FP7/2007-2013, ICT-2011.4.4(d), Intelligent Information Management, Targeted Competition Framework) under grant agreement n° 318652.