BioASQ Participants Area

Task Synergy - version 2026: Test Results

Test round 1

Documents

System	Mean precision	Recall	F-Measure	MAP	GMAP
"RMC_1"	0.4230	0.3118	0.3276	0.3696	0.1141
RMC_2	0.4230	0.3118	0.3276	0.3696	0.1141
AgenticAI and RAG	0.5295	0.4281	0.4235	0.5378	0.3293
Fleming-2	0.4049	0.3052	0.3128	0.3878	0.1123
Fleming-3	0.4311	0.3154	0.3305	0.3913	0.0741
dmiip2024	0.4475	0.3885	0.3603	0.4304	0.2085
dmiip2024_1	0.4459	0.3868	0.3588	0.4293	0.2029
dmiip2024_3	0.4836	0.4456	0.4012	0.5023	0.4191
dmiip2024_2	0.4852	0.4459	0.4021	0.4995	0.4179
dmiip2024_4	0.4787	0.4420	0.3973	0.4892	0.4059
Fleming-1	0.4525	0.3388	0.3503	0.4224	0.1201

Snippets

System	Mean precision	Recall	F-Measure	MAP	GMAP
"RMC_1"	0.2992	0.2388	0.2416	0.2370	0.0381
RMC_2	0.2992	0.2388	0.2416	0.2370	0.0381
AgenticAI and RAG	0.4789	0.3023	0.3283	0.4642	0.1743
Fleming-2	0.3188	0.1906	0.2152	0.2648	0.0653
Fleming-3	0.3423	0.2000	0.2315	0.2725	0.0359
dmiip2024	0.3947	0.3152	0.2996	0.4786	0.1486
dmiip2024_1	0.4056	0.3177	0.3062	0.4922	0.1514
dmiip2024_3	0.4190	0.3603	0.3360	0.5374	0.3825
dmiip2024_2	0.4276	0.3654	0.3397	0.5411	0.3747
dmiip2024_4	0.4278	0.3572	0.3359	0.5427	0.3733
Fleming-1	0.3664	0.2186	0.2485	0.3047	0.0586

Exact Answers

	Yes/No				Factoid			List
System	Accuracy	F1 Yes	F1 No	Macro F1	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
"RMC_1"	-	-	-	-	-	-	-	-	-	-
RMC_2	-	-	-	-	-	-	-	-	-	-
AgenticAI and RAG	-	-	-	-	-	-	-	-	-	-
Fleming-2	-	-	-	-	-	-	-	-	-	-
Fleming-3	-	-	-	-	-	-	-	-	-	-
dmiip2024	-	-	-	-	-	-	-	-	-	-
dmiip2024_1	-	-	-	-	-	-	-	-	-	-
dmiip2024_3	-	-	-	-	-	-	-	-	-	-
dmiip2024_2	-	-	-	-	-	-	-	-	-	-
dmiip2024_4	-	-	-	-	-	-	-	-	-	-
Fleming-1	-	-	-	-	-	-	-	-	-	-

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
"RMC_1"	-	-	-	-	-	-	-	-
RMC_2	-	-	-	-	-	-	-	-
AgenticAI and RAG	-	-	-	-	-	-	-	-
Fleming-2	-	-	-	-	-	-	-	-
Fleming-3	-	-	-	-	-	-	-	-
dmiip2024	-	-	-	-	-	-	-	-
dmiip2024_1	-	-	-	-	-	-	-	-
dmiip2024_3	-	-	-	-	-	-	-	-
dmiip2024_2	-	-	-	-	-	-	-	-
dmiip2024_4	-	-	-	-	-	-	-	-
Fleming-1	-	-	-	-	-	-	-	-

Test round 2

Documents

System	Mean precision	Recall	F-Measure	MAP	GMAP
RMC_2	0.0050	0.0200	0.0080	0.0067	0.0000
RMC_3	0.0180	0.0513	0.0238	0.0186	0.0000
RMC_4	0.0180	0.0513	0.0238	0.0186	0.0000
"RMC_1"	0.0050	0.0200	0.0080	0.0067	0.0000
AgenticAI and RAG	0.3320	0.3743	0.3018	0.3370	0.0387
dmiip2024	0.2540	0.2511	0.2189	0.2282	0.0100
dmiip2024_1	0.2440	0.2398	0.2110	0.2396	0.0100
dmiip2024_3	0.3260	0.4214	0.3167	0.3296	0.0891
dmiip2024_4	0.3260	0.3860	0.3090	0.3163	0.0698
dmiip2024_2	0.3220	0.3820	0.3055	0.3122	0.0692
Fleming-1	-	-	-	-	-
vllm agents	0.2267	0.1902	0.1761	0.1767	0.0035

Snippets

System	Mean precision	Recall	F-Measure	MAP	GMAP
RMC_2	0.0478	0.0243	0.0242	0.0264	0.0000
RMC_3	0.0267	0.0436	0.0247	0.0185	0.0000
RMC_4	0.0267	0.0436	0.0247	0.0185	0.0000
"RMC_1"	0.0478	0.0243	0.0242	0.0264	0.0000
AgenticAI and RAG	0.2641	0.2283	0.2147	0.2522	0.0095
dmiip2024	0.1648	0.1767	0.1479	0.2188	0.0028
dmiip2024_1	0.1759	0.1763	0.1509	0.2403	0.0029
dmiip2024_3	0.2730	0.3443	0.2623	0.3650	0.0373
dmiip2024_4	0.2291	0.2754	0.2185	0.2944	0.0192
dmiip2024_2	0.2389	0.2904	0.2298	0.3133	0.0201
Fleming-1	0.0479	0.0037	0.0068	0.0050	0.0000
vllm agents	0.1875	0.0998	0.1179	0.1572	0.0012

Exact Answers

	Yes/No				Factoid			List
System	Accuracy	F1 Yes	F1 No	Macro F1	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
RMC_2	0.8750	0.9231	0.6667	0.7949	0.3636	0.3636	0.3636	0.2944	0.2391	0.2253
RMC_3	0.6250	0.7692	-	0.3846	0.3636	0.3636	0.3636	0.3389	0.2150	0.2379
RMC_4	0.8750	0.9231	0.6667	0.7949	0.2727	0.2727	0.2727	0.2944	0.2391	0.2253
"RMC_1"	0.6250	0.7692	-	0.3846	0.3636	0.3636	0.3636	0.3389	0.2150	0.2379
AgenticAI and RAG	0.8750	0.9231	0.6667	0.7949	0.5455	0.5455	0.5455	0.4515	0.6403	0.5092
dmiip2024	0.7500	0.8333	0.5000	0.6667	0.1818	0.2727	0.2121	0.4889	0.4381	0.4134
dmiip2024_1	0.8750	0.9091	0.8000	0.8545	0.1818	0.1818	0.1818	0.4532	0.4614	0.4101
dmiip2024_3	0.8750	0.9231	0.6667	0.7949	0.1818	0.3636	0.2727	0.4931	0.4757	0.4329
dmiip2024_4	1.0000	1.0000	1.0000	1.0000	0.1818	0.1818	0.1818	0.3905	0.4719	0.3955
dmiip2024_2	0.8750	0.9231	0.6667	0.7949	0.1818	0.2727	0.2273	0.4667	0.4659	0.3928
Fleming-1	0.8750	0.9231	0.6667	0.7949	0.2727	0.3636	0.2909	0.5429	0.5269	0.5124
vllm agents	0.6250	0.7273	0.4000	0.5636	0.0000	0.0909	0.0455	0.0866	0.1431	0.0911

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
RMC_2	0.2462	0.2277	0.2444	0.2259	4.21	4.02	4.17	4.33
RMC_3	0.1571	0.1797	0.1516	0.1746	4.14	3.38	4.17	4.50
RMC_4	0.2497	0.2241	0.2503	0.2227	4.19	4.12	4.21	4.40
"RMC_1"	0.1571	0.1797	0.1516	0.1746	4.14	3.38	4.17	4.50
AgenticAI and RAG	0.4071	0.2826	0.4150	0.2849	4.60	4.55	4.29	4.67
dmiip2024	0.1495	0.1815	0.1461	0.1784	4.21	3.67	4.19	4.50
dmiip2024_1	0.1820	0.2171	0.1856	0.2225	4.21	3.74	4.24	4.57
dmiip2024_3	0.1802	0.2149	0.1815	0.2163	4.26	4.05	4.52	4.69
dmiip2024_4	0.1991	0.2209	0.1965	0.2179	4.29	3.79	4.21	4.48
dmiip2024_2	0.2045	0.2346	0.2004	0.2318	4.52	3.95	4.21	4.76
Fleming-1	0.3357	0.2009	0.3423	0.2027	4.17	4.50	3.86	4.10
vllm agents	0.1922	0.0929	0.2346	0.1117	2.12	2.17	1.86	2.29

Test round 3

Documents

System	Mean precision	Recall	F-Measure	MAP	GMAP
"RMC_1"	0.0111	0.0061	0.0078	0.0032	0.0000
RMC_2	0.0111	0.0061	0.0078	0.0032	0.0000
RMC_3	-	-	-	-	-
RMC_4	-	-	-	-	-
AgenticAI and RAG	0.2578	0.3352	0.2573	0.2318	0.0304
MedRAG Q/A System	0.0272	0.0255	0.0249	0.0078	0.0001
dmiip2024	0.2178	0.3123	0.2274	0.2081	0.0386
dmiip2024_1	0.1956	0.2751	0.2056	0.1816	0.0278
dmiip2024_2	0.2778	0.3499	0.2788	0.2488	0.0401
dmiip2024_3	0.2622	0.3171	0.2642	0.2324	0.0444
dmiip2024_4	0.2733	0.3454	0.2744	0.2451	0.0396
Fleming-1	-	-	-	-	-
Fleming-2	-	-	-	-	-
Fleming-3	-	-	-	-	-
Fleming-4	-	-	-	-	-
Fleming-5	-	-	-	-	-
UR-IW-1	0.1708	0.2278	0.1848	0.1681	0.0030

Snippets

System	Mean precision	Recall	F-Measure	MAP	GMAP
"RMC_1"	0.0154	0.0053	0.0077	0.0079	0.0000
RMC_2	0.0154	0.0053	0.0077	0.0079	0.0000
RMC_3	-	-	-	-	-
RMC_4	-	-	-	-	-
AgenticAI and RAG	0.2174	0.0903	0.1178	0.1428	0.0072
MedRAG Q/A System	0.0245	0.0073	0.0107	0.0049	0.0000
dmiip2024	0.1664	0.0832	0.1040	0.1509	0.0067
dmiip2024_1	0.1625	0.0787	0.1007	0.1525	0.0055
dmiip2024_2	0.2113	0.0989	0.1299	0.2188	0.0041
dmiip2024_3	0.2049	0.0976	0.1267	0.2165	0.0057
dmiip2024_4	0.2112	0.0973	0.1285	0.2178	0.0041
Fleming-1	0.4826	0.3833	0.3896	0.3568	0.2292
Fleming-2	0.4973	0.2961	0.3424	0.3765	0.2850
Fleming-3	0.4812	0.2957	0.3328	0.3712	0.2750
Fleming-4	0.4758	0.2999	0.3304	0.3717	0.3044
Fleming-5	0.4859	0.2995	0.3359	0.3859	0.3184
UR-IW-1	0.1401	0.0771	0.0927	0.1067	0.0010

Exact Answers

	Yes/No				Factoid			List
System	Accuracy	F1 Yes	F1 No	Macro F1	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
"RMC_1"	0.7273	0.8235	0.4000	0.6118	0.3636	0.3636	0.3636	0.3511	0.1924	0.2226
RMC_2	0.8182	0.8750	0.6667	0.7708	0.1818	0.1818	0.1818	0.3689	0.2218	0.2295
RMC_3	0.7273	0.8235	0.4000	0.6118	0.3636	0.3636	0.3636	0.3511	0.1924	0.2226
RMC_4	0.8182	0.8750	0.6667	0.7708	0.1818	0.1818	0.1818	0.3689	0.2218	0.2295
AgenticAI and RAG	0.7273	0.8235	0.4000	0.6118	-	-	-	-	-	-
MedRAG Q/A System	0.4545	0.5000	0.4000	0.4500	0.0000	0.0909	0.0455	0.3378	0.2136	0.2138
dmiip2024	0.6364	0.7500	0.3333	0.5417	0.1818	0.2727	0.2121	0.5678	0.4994	0.4173
dmiip2024_1	0.5455	0.6154	0.4444	0.5299	0.1818	0.1818	0.1818	0.5511	0.4117	0.3705
dmiip2024_2	0.7273	0.8235	0.4000	0.6118	0.1818	0.1818	0.1818	0.5067	0.4388	0.3602
dmiip2024_3	0.7273	0.8235	0.4000	0.6118	0.0909	0.2727	0.1667	0.4678	0.3843	0.3469
dmiip2024_4	0.7273	0.8421	-	0.4211	0.1818	0.2727	0.2273	0.3800	0.3367	0.2680
Fleming-1	0.8182	0.8750	0.6667	0.7708	0.2727	0.4545	0.3364	0.5744	0.4705	0.4810
Fleming-2	0.8182	0.8750	0.6667	0.7708	0.2727	0.4545	0.3364	0.5744	0.4705	0.4810
Fleming-3	0.8182	0.8750	0.6667	0.7708	0.2727	0.4545	0.3364	0.5744	0.4705	0.4810
Fleming-4	0.8182	0.8750	0.6667	0.7708	0.2727	0.4545	0.3364	0.5744	0.4705	0.4810
Fleming-5	0.8182	0.8750	0.6667	0.7708	0.2727	0.4545	0.3364	0.5744	0.4705	0.4810
UR-IW-1	0.8182	0.8889	0.5000	0.6944	0.3636	0.4545	0.3939	0.3606	0.5329	0.3915

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
"RMC_1"	0.1490	0.1672	0.1442	0.1631	1.04	0.87	1.02	1.13
RMC_2	0.2132	0.1883	0.2157	0.1908	1.55	1.38	1.47	1.71
RMC_3	0.1490	0.1672	0.1442	0.1631	1.04	0.87	1.02	1.13
RMC_4	0.2129	0.1947	0.2146	0.1968	1.64	1.42	1.53	1.78
AgenticAI and RAG	-	-	-	-	-	-	-	-
MedRAG Q/A System	0.0548	0.0626	0.0578	0.0644	4.11	3.69	3.82	4.38
dmiip2024	0.1756	0.1884	0.1779	0.1908	3.73	3.33	3.56	3.91
dmiip2024_1	0.1789	0.1992	0.1765	0.1982	3.73	3.22	3.42	3.95
dmiip2024_2	0.1687	0.1938	0.1694	0.1951	3.73	3.38	3.84	3.96
dmiip2024_3	0.1596	0.1874	0.1613	0.1909	4.00	3.69	3.95	4.31
dmiip2024_4	0.1705	0.1860	0.1728	0.1863	3.58	3.15	3.42	3.76
Fleming-1	0.3358	0.2229	0.3423	0.2247	1.20	1.18	1.16	1.15
Fleming-2	0.3358	0.2229	0.3423	0.2247	1.20	1.18	1.16	1.15
Fleming-3	0.3358	0.2229	0.3423	0.2247	1.20	1.18	1.16	1.15
Fleming-4	0.3358	0.2229	0.3423	0.2247	1.20	1.18	1.16	1.15
Fleming-5	0.3358	0.2229	0.3423	0.2247	1.20	1.18	1.16	1.15
UR-IW-1	0.2233	0.1940	0.2374	0.2012	0.35	0.36	0.31	0.36

Test round 4

Documents

System	Mean precision	Recall	F-Measure	MAP	GMAP
"RMC_1"	-	-	-	-	-
RMC_2	-	-	-	-	-
RMC_3	-	-	-	-	-
RMC_4	-	-	-	-	-
dmiip2024	0.1194	0.2005	0.1359	0.1174	0.0012
dmiip2024_1	0.1250	0.2004	0.1419	0.1153	0.0012
dmiip2024_2	0.2056	0.4641	0.2564	0.3029	0.0982
dmiip2024_3	0.1917	0.4504	0.2423	0.3154	0.1029
dmiip2024_4	0.2028	0.4541	0.2517	0.3001	0.1018
Fleming-1	-	-	-	-	-
AgenticAI and RAG	0.2444	0.4608	0.2882	0.2905	0.0403

Snippets

System	Mean precision	Recall	F-Measure	MAP	GMAP
"RMC_1"	-	-	-	-	-
RMC_2	-	-	-	-	-
RMC_3	-	-	-	-	-
RMC_4	-	-	-	-	-
dmiip2024	0.1059	0.1041	0.0950	0.1205	0.0007
dmiip2024_1	0.1242	0.1335	0.1104	0.1325	0.0009
dmiip2024_2	0.1976	0.2682	0.1972	0.2955	0.0239
dmiip2024_3	0.1741	0.2430	0.1706	0.2837	0.0227
dmiip2024_4	0.1930	0.2637	0.1923	0.3018	0.0248
Fleming-1	0.0955	0.0912	0.0836	0.0553	0.0005
AgenticAI and RAG	0.1953	0.2544	0.1877	0.1958	0.0098

Exact Answers

	Yes/No				Factoid			List
System	Accuracy	F1 Yes	F1 No	Macro F1	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
"RMC_1"	0.8000	0.8750	0.5000	0.6875	0.4000	0.4000	0.4000	0.3282	0.1963	0.2184
RMC_2	0.7000	0.8000	0.4000	0.6000	0.2000	0.2000	0.2000	0.3641	0.2303	0.2286
RMC_3	0.8000	0.8750	0.5000	0.6875	0.4000	0.4000	0.4000	0.3282	0.1963	0.2184
RMC_4	0.7000	0.8000	0.4000	0.6000	0.2000	0.2000	0.2000	0.3641	0.2303	0.2286
dmiip2024	0.8000	0.8333	0.7500	0.7917	0.2000	0.3000	0.2500	0.6859	0.4062	0.4457
dmiip2024_1	0.8000	0.8333	0.7500	0.7917	0.3000	0.3000	0.3000	0.5808	0.3965	0.3941
dmiip2024_2	0.8000	0.8571	0.6667	0.7619	0.2000	0.3000	0.2500	0.4923	0.3956	0.3456
dmiip2024_3	0.9000	0.9231	0.8571	0.8901	0.1000	0.1000	0.1000	0.4692	0.2597	0.2844
dmiip2024_4	0.8000	0.8571	0.6667	0.7619	0.2000	0.4000	0.3000	0.5244	0.3729	0.3838
Fleming-1	0.9000	0.9333	0.8000	0.8667	0.5000	0.5000	0.5000	0.4346	0.7550	0.5055
AgenticAI and RAG	0.8000	0.8571	0.6667	0.7619	-	-	-	-	-	-

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
"RMC_1"	0.1407	0.1567	0.1361	0.1527	0.11	0.11	0.11	0.11
RMC_2	0.2230	0.1940	0.2265	0.1969	0.70	0.74	0.79	0.83
RMC_3	0.1407	0.1567	0.1361	0.1527	0.11	0.11	0.11	0.11
RMC_4	0.2146	0.1919	0.2173	0.1937	0.70	0.72	0.70	0.79
dmiip2024	0.1945	0.2127	0.1913	0.2099	3.89	3.49	3.72	4.00
dmiip2024_1	0.1993	0.2161	0.2010	0.2185	3.66	3.36	3.51	3.94
dmiip2024_2	0.2264	0.2291	0.2319	0.2358	4.38	4.02	4.04	4.38
dmiip2024_3	0.1448	0.1783	0.1504	0.1866	4.36	3.89	4.15	4.49
dmiip2024_4	0.1743	0.1969	0.1736	0.1965	4.09	3.55	3.89	4.28
Fleming-1	0.4247	0.2909	0.4423	0.2978	4.40	4.57	4.04	4.45
AgenticAI and RAG	-	-	-	-	-	-	-	-

Copyright © 2023, the BioASQ Challenge (http://bioasq.org)

Platinum sponsors of the BioASQ Challenge between 2012 and 2023

Google was a proud sponsor of the BioASQ Challenge from 2018 to 2022.
BioASQ was supported by the National Library of Medicine of the National Institutes of Health under award number R13LM012214. The content is solely the responsibility of the authors and does not necessarily represent the official views of the National Institutes of Health.
The research leading to these results has received funding from the European Commission's Seventh Framework Programme (FP7/2007-2013, ICT-2011.4.4(d), Intelligent Information Management, Targeted Competition Framework) under grant agreement n° 318652.