BioASQ Participants Area

Task 13b: Test Results of Phase B

The test results are presented in separate tables for each type of annotation. The "System Description" of each system is used.
The evaluation measures that are used in Task B are presented here .
Warning: For ideal answers, good ROUGE results do not always imply good manual scores.

Test batch 1

Exact Answers

	Yes/No				Factoid			List
System	Accuracy	F1 Yes	F1 No	Macro F1	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
IISR first submit	1.0000	1.0000	1.0000	1.0000	0.3846	0.3846	0.3846	0.5873	0.4714	0.4967
IISR 2nd submit	1.0000	1.0000	1.0000	1.0000	0.3462	0.4231	0.3846	0.5923	0.5198	0.5302
IISR 3rd submit	1.0000	1.0000	1.0000	1.0000	0.4231	0.5000	0.4615	0.5801	0.4531	0.4903
IISR 4th submit	1.0000	1.0000	1.0000	1.0000	0.4231	0.4615	0.4423	0.6056	0.5297	0.5438
IISR 5th submit	0.9412	0.9565	0.9091	0.9328	0.4231	0.4615	0.4423	0.4784	0.3164	0.3676
UniTor_0	0.9412	0.9565	0.9091	0.9328	0.4231	0.4615	0.4423	0.4787	0.5181	0.4632
UniTor_1	0.9412	0.9565	0.9091	0.9328	0.4231	0.4615	0.4423	0.5184	0.5330	0.4912
UniTor_2	0.9412	0.9565	0.9091	0.9328	0.4231	0.4615	0.4423	0.4510	0.4679	0.4382
UniTor_3	0.9412	0.9565	0.9091	0.9328	0.4231	0.4615	0.4423	0.4435	0.4874	0.4471
DB_vector_&_LLM	0.9412	0.9565	0.9091	0.9328	0.3846	0.5000	0.4423	0.6220	0.5359	0.5527
google_serach_&_LLM	0.9412	0.9565	0.9091	0.9328	0.3846	0.5000	0.4423	0.6220	0.5359	0.5527
UR-IW-1	1.0000	1.0000	1.0000	1.0000	0.3846	0.5385	0.4423	0.4075	0.5942	0.4419
UR-IW-2	0.9412	0.9600	0.8889	0.9244	0.4615	0.5385	0.4936	0.4331	0.4619	0.4257
UR-IW-3	0.8824	0.9091	0.8333	0.8712	0.4231	0.5769	0.4821	0.4279	0.5659	0.4610
UR-IW-4	0.8235	0.8696	0.7273	0.7984	0.4231	0.5000	0.4615	0.5671	0.5620	0.5325
UR-IW-5	1.0000	1.0000	1.0000	1.0000	0.3846	0.4615	0.4231	0.3945	0.5808	0.4272
Fleming-1	1.0000	1.0000	1.0000	1.0000	0.5385	0.6154	0.5769	0.5327	0.5288	0.4962
bioinfo-0	0.7059	0.8276	-	0.4138	-	-	-	-	-	-
bioinfo-1	0.7059	0.8276	-	0.4138	-	-	-	-	-	-
bioinfo-2	0.7059	0.8276	-	0.4138	-	-	-	-	-	-
bioinfo-3	0.7059	0.8276	-	0.4138	-	-	-	-	-	-
bioinfo-4	0.7059	0.8276	-	0.4138	-	-	-	-	-	-
Fleming-2	0.9412	0.9600	0.8889	0.9244	0.5385	0.6154	0.5769	0.5327	0.5288	0.4962
Mistral7BIns10shots	1.0000	1.0000	1.0000	1.0000	0.3462	0.3462	0.3462	0.3004	0.2084	0.2374
vllm agents	0.8824	0.9091	0.8333	0.8712	0.2692	0.2692	0.2692	0.5473	0.4482	0.4790
dmiip2024	1.0000	1.0000	1.0000	1.0000	0.4615	0.5769	0.5128	0.6084	0.5167	0.5357
dmiip2024_2	1.0000	1.0000	1.0000	1.0000	0.4615	0.4615	0.4615	0.5116	0.5707	0.5055
dmiip2024_3	1.0000	1.0000	1.0000	1.0000	0.3846	0.4615	0.4231	0.6126	0.4548	0.5001
dmiip2024_4	1.0000	1.0000	1.0000	1.0000	0.4615	0.5000	0.4808	0.5551	0.3668	0.4107
config-1	0.8824	0.9091	0.8333	0.8712	0.5000	0.5000	0.5000	0.5797	0.4319	0.4744
llama	0.9412	0.9565	0.9091	0.9328	0.5000	0.5769	0.5385	0.5208	0.5092	0.4900
dense	1.0000	1.0000	1.0000	1.0000	0.4615	0.6154	0.5385	0.5491	0.5353	0.5106
config-2	0.9412	0.9600	0.8889	0.9244	0.4231	0.4615	0.4423	0.5321	0.4314	0.4504
config-3	0.9412	0.9600	0.8889	0.9244	0.5000	0.5385	0.5192	0.5203	0.4312	0.4546
config-4	0.9412	0.9600	0.8889	0.9244	0.5000	0.5000	0.5000	0.5353	0.4576	0.4753
config-5	0.9412	0.9600	0.8889	0.9244	0.5385	0.5769	0.5577	0.5348	0.4399	0.4655
dmiip2024_1	1.0000	1.0000	1.0000	1.0000	0.4231	0.4231	0.4231	0.6254	0.4935	0.5285
mistral	1.0000	1.0000	1.0000	1.0000	0.4615	0.5385	0.5000	0.5129	0.4258	0.4407
Fleming-3	0.9412	0.9600	0.8889	0.9244	0.5000	0.6154	0.5513	0.5421	0.5096	0.4954
bious1	0.8824	0.9167	0.8000	0.8583	0.3846	0.4231	0.4038	0.5516	0.4305	0.4606
bious2	1.0000	1.0000	1.0000	1.0000	0.3846	0.4231	0.4038	0.4767	0.4584	0.4459
bious3	1.0000	1.0000	1.0000	1.0000	0.5385	0.5769	0.5577	0.4772	0.4521	0.4490
bious4	1.0000	1.0000	1.0000	1.0000	0.3846	0.4231	0.4038	0.4831	0.4256	0.4327
bious5	1.0000	1.0000	1.0000	1.0000	0.4615	0.5000	0.4808	0.4608	0.4441	0.4356
kmeans	0.9412	0.9600	0.8889	0.9244	0.3077	0.4615	0.3718	0.5257	0.4758	0.4757
simple truncation	1.0000	1.0000	1.0000	1.0000	0.3462	0.4615	0.3974	0.6329	0.4936	0.5283
similarity measures	0.9412	0.9600	0.8889	0.9244	0.3462	0.4615	0.4038	0.4534	0.5271	0.4431
extractive	0.9412	0.9600	0.8889	0.9244	0.3462	0.4231	0.3782	0.4351	0.5477	0.4483
deepseek32b-me	0.2941	-	0.4545	0.2273	0.3462	0.3462	0.3462	0.6215	0.4891	0.5211
EP-1	0.9412	0.9565	0.9091	0.9328	0.3077	0.5000	0.4038	0.5435	0.4533	0.4708
abstractive	0.9412	0.9600	0.8889	0.9244	0.3462	0.5000	0.4071	0.3984	0.6329	0.4430
EP-2	0.9412	0.9600	0.8889	0.9244	0.2308	0.3462	0.2821	0.4558	0.2349	0.2839
deepseek32b-full	0.2941	-	0.4545	0.2273	0.3462	0.3462	0.3462	0.5982	0.4926	0.5152
deepseek32b-f	0.2941	-	0.4545	0.2273	0.3462	0.3462	0.3462	0.5114	0.4002	0.4293
GPT4O	0.9412	0.9600	0.8889	0.9244	0.3462	0.3462	0.3462	0.5569	0.4490	0.4794
phaseB-4	0.2941	-	0.4545	0.2273	0.3462	0.3462	0.3462	0.6433	0.4892	0.5304
EP-4	1.0000	1.0000	1.0000	1.0000	0.5000	0.5769	0.5385	0.5836	0.4136	0.4678
phaseB-5	0.2941	-	0.4545	0.2273	0.3462	0.3462	0.3462	0.5620	0.4375	0.4687
deepseek-r1:32b	0.9412	0.9600	0.8889	0.9244	0.3077	0.3077	0.3077	0.4947	0.4028	0.4242
EP-5	0.9412	0.9600	0.8889	0.9244	0.4231	0.5385	0.4808	0.5865	0.4189	0.4685
EP-3	0.9412	0.9600	0.8889	0.9244	0.4231	0.5385	0.4808	0.5865	0.4189	0.4685
2025-DMIS-KU-1	0.9412	0.9565	0.9091	0.9328	0.5000	0.6154	0.5577	0.6057	0.4929	0.5117
2025-DMIS-KU-4	0.8235	0.8571	0.7692	0.8132	0.4231	0.6154	0.5128	0.6012	0.4657	0.4986
2025-DMIS-KU-5	0.9412	0.9565	0.9091	0.9328	0.5000	0.6154	0.5577	0.6168	0.4008	0.4632
2025-DMIS-KU-3	0.9412	0.9565	0.9091	0.9328	0.5000	0.6154	0.5577	0.6025	0.5181	0.5362
deepseek-r1:14b	0.8824	0.9167	0.8000	0.8583	0.3077	0.3077	0.3077	0.4089	0.3015	0.3307
2025-DMIS-KU-2	1.0000	1.0000	1.0000	1.0000	0.4615	0.6154	0.5321	0.6342	0.4920	0.5322
using free 7b LLM	0.8824	0.9091	0.8333	0.8712	0.3462	0.3462	0.3462	0.4343	0.2314	0.2669
deepseek-r1:8b	0.9412	0.9600	0.8889	0.9244	0.2308	0.2308	0.2308	0.1135	0.0745	0.0853
lasigeBioTM	0.9412	0.9565	0.9091	0.9328	0.1154	0.1154	0.1154	-	-	-
gpt 01 mini	0.8235	0.8696	0.7273	0.7984	0.3462	0.3462	0.3462	0.3826	0.3143	0.3307
BioASQ_Baseline	0.4706	0.4000	0.5263	0.4632	0.1923	0.2692	0.2212	0.2552	0.1751	0.1921

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
IISR first submit	0.2012	0.2452	0.1878	0.2303	4.16	4.14	4.25	4.35
IISR 2nd submit	0.2197	0.2625	0.2036	0.2448	4.32	4.29	4.28	4.42
IISR 3rd submit	0.2328	0.2476	0.2216	0.2359	4.16	4.29	4.15	4.28
IISR 4th submit	0.2322	0.2469	0.2194	0.2342	4.26	4.29	4.15	4.38
IISR 5th submit	0.2362	0.2768	0.2222	0.2617	4.14	4.13	4.16	4.38
UniTor_0	0.1764	0.2209	0.1643	0.2062	4.11	4.02	4.12	4.28
UniTor_1	0.1817	0.2195	0.1702	0.2061	4.05	4.08	4.07	4.20
UniTor_2	0.1744	0.2109	0.1641	0.1981	4.00	3.91	4.04	4.19
UniTor_3	0.1807	0.2143	0.1698	0.2012	4.08	4.00	4.13	4.21
DB_vector_&_LLM	0.3096	0.2068	0.3061	0.2030	4.29	4.45	4.01	4.35
google_serach_&_LLM	0.3096	0.2068	0.3061	0.2030	4.29	4.45	4.01	4.35
UR-IW-1	0.2935	0.2290	0.2925	0.2240	4.47	4.58	4.18	4.44
UR-IW-2	0.2146	0.1872	0.2242	0.1900	4.39	4.38	4.13	4.47
UR-IW-3	0.2933	0.2372	0.2906	0.2312	4.36	4.53	4.13	4.46
UR-IW-4	0.2310	0.1823	0.2379	0.1845	4.41	4.48	4.14	4.49
UR-IW-5	0.2667	0.2300	0.2665	0.2266	4.33	4.42	4.09	4.28
Fleming-1	0.2641	0.2150	0.2609	0.2107	4.34	4.41	4.18	4.46
bioinfo-0	0.1609	0.1876	0.1525	0.1774	4.26	4.19	4.25	4.40
bioinfo-1	0.2301	0.1934	0.2311	0.1916	4.28	4.34	4.11	4.39
bioinfo-2	0.2449	0.2048	0.2437	0.2010	4.21	4.32	4.07	4.33
bioinfo-3	0.2612	0.1991	0.2643	0.1992	4.36	4.54	4.06	4.44
bioinfo-4	0.2452	0.1923	0.2459	0.1912	4.29	4.41	4.14	4.41
Fleming-2	0.3268	0.1973	0.3259	0.1950	4.35	4.42	4.04	4.40
Mistral7BIns10shots	0.2326	0.2526	0.2197	0.2379	4.25	4.35	4.20	4.35
vllm agents	0.0816	0.1061	0.0763	0.0985	3.24	3.29	3.68	4.08
dmiip2024	0.1772	0.2255	0.1634	0.2092	4.24	4.04	4.22	4.28
dmiip2024_2	0.1612	0.2028	0.1544	0.1952	4.07	3.82	3.98	4.31
dmiip2024_3	0.1635	0.2183	0.1499	0.2021	4.25	4.13	4.24	4.33
dmiip2024_4	0.1848	0.2359	0.1694	0.2178	4.16	4.09	4.21	4.33
config-1	0.1745	0.2127	0.1617	0.1976	4.07	3.96	4.08	4.24
llama	0.2509	0.2459	0.2413	0.2351	4.33	4.39	4.18	4.38
dense	0.2641	0.2453	0.2550	0.2356	4.34	4.53	4.14	4.44
config-2	0.2622	0.2506	0.2563	0.2446	4.21	4.35	4.18	4.40
config-3	0.2821	0.1995	0.2806	0.1962	3.87	4.06	3.62	3.95
config-4	0.2492	0.2257	0.2463	0.2221	4.29	4.26	4.12	4.34
config-5	0.3126	0.2303	0.3105	0.2262	4.38	4.56	4.13	4.46
dmiip2024_1	0.1685	0.2190	0.1552	0.2022	4.05	3.94	4.16	4.21
mistral	0.2468	0.2562	0.2344	0.2426	4.06	4.38	4.16	4.39
Fleming-3	0.3268	0.1973	0.3259	0.1950	4.35	4.42	4.04	4.40
bious1	0.2150	0.2432	0.2065	0.2328	4.27	4.19	4.31	4.40
bious2	0.2358	0.2564	0.2268	0.2451	4.26	4.26	4.24	4.41
bious3	0.2356	0.2579	0.2238	0.2440	4.35	4.27	4.21	4.39
bious4	0.2312	0.2523	0.2204	0.2399	4.28	4.22	4.21	4.40
bious5	0.2235	0.2440	0.2138	0.2328	4.36	4.24	4.24	4.44
kmeans	0.0487	0.0422	0.0517	0.0436	0.86	0.93	0.87	0.93
simple truncation	0.0583	0.0513	0.0574	0.0505	0.88	0.95	0.87	0.92
similarity measures	0.0536	0.0423	0.0540	0.0427	0.89	0.95	0.91	0.92
extractive	0.0544	0.0418	0.0561	0.0425	0.84	0.91	0.86	0.91
deepseek32b-me	0.1924	0.1790	0.1920	0.1769	4.05	4.48	4.20	4.46
EP-1	0.2620	0.2226	0.2576	0.2185	4.39	4.38	4.14	4.40
abstractive	0.0520	0.0388	0.0545	0.0400	0.86	0.92	0.87	0.91
EP-2	0.2405	0.2461	0.2306	0.2353	4.39	4.32	4.20	4.42
deepseek32b-full	0.2013	0.1823	0.2006	0.1793	4.13	4.46	4.16	4.52
deepseek32b-f	0.1958	0.1818	0.1934	0.1773	4.11	4.53	4.19	4.44
GPT4O	0.2750	0.2196	0.2753	0.2177	4.36	4.42	4.16	4.39
phaseB-4	0.1949	0.1850	0.1938	0.1815	4.08	4.45	4.14	4.42
EP-4	0.2572	0.2665	0.2474	0.2555	4.42	4.41	4.28	4.48
phaseB-5	0.2030	0.1877	0.2019	0.1848	4.12	4.49	4.15	4.47
deepseek-r1:32b	0.2556	0.1998	0.2563	0.1979	4.29	4.25	4.05	4.40
EP-5	0.2225	0.2096	0.2190	0.2057	4.40	4.38	4.21	4.51
EP-3	0.2355	0.2441	0.2253	0.2333	4.40	4.28	4.26	4.45
2025-DMIS-KU-1	-	-	-	-	-	-	-	-
2025-DMIS-KU-4	-	-	-	-	-	-	-	-
2025-DMIS-KU-5	-	-	-	-	-	-	-	-
2025-DMIS-KU-3	-	-	-	-	-	-	-	-
deepseek-r1:14b	0.2178	0.1845	0.2217	0.1842	4.25	4.13	3.99	4.39
2025-DMIS-KU-2	-	-	-	-	-	-	-	-
using free 7b LLM	0.1804	0.2183	0.1688	0.2049	4.02	4.13	3.98	4.06
deepseek-r1:8b	0.2181	0.1764	0.2208	0.1760	4.12	4.12	3.98	4.26
lasigeBioTM	0.1016	0.1376	0.0929	0.1274	3.45	3.34	3.89	4.13
gpt 01 mini	0.2218	0.1807	0.2208	0.1797	4.16	4.19	4.00	4.31
BioASQ_Baseline	-	-	-	-	-	-	-	-

Test batch 2

Exact Answers

	Yes/No				Factoid			List
System	Accuracy	F1 Yes	F1 No	Macro F1	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
IISR first submit	0.8824	0.9000	0.8571	0.8786	0.5185	0.5926	0.5556	0.5112	0.4329	0.4498
IISR 2nd submit	0.8824	0.9000	0.8571	0.8786	0.4444	0.4815	0.4630	0.4777	0.4104	0.4243
IISR 3rd submit	0.8824	0.9000	0.8571	0.8786	0.5185	0.5185	0.5185	0.5338	0.4804	0.4838
IISR 4th submit	0.8824	0.9000	0.8571	0.8786	0.4444	0.4444	0.4444	0.6036	0.5123	0.5305
IISR 5th submit	0.8235	0.8571	0.7692	0.8132	0.5556	0.6296	0.5926	0.5162	0.4393	0.4547
bioinfo-0	0.5882	0.7407	-	0.3704	-	-	-	-	-	-
bioinfo-1	0.5882	0.7407	-	0.3704	-	-	-	-	-	-
bioinfo-2	0.5882	0.7407	-	0.3704	-	-	-	-	-	-
bioinfo-3	0.5882	0.7407	-	0.3704	-	-	-	-	-	-
bioinfo-4	0.5882	0.7407	-	0.3704	-	-	-	-	-	-
UR-IW-1	0.8235	0.8696	0.7273	0.7984	0.5556	0.6667	0.6111	0.4304	0.5800	0.4554
UR-IW-2	0.8235	0.8571	0.7692	0.8132	0.5185	0.6296	0.5741	0.3955	0.4834	0.4079
UR-IW-3	0.8235	0.8421	0.8000	0.8211	0.5185	0.6667	0.5741	0.4641	0.5877	0.4799
UR-IW-4	0.8824	0.9091	0.8333	0.8712	0.5556	0.6296	0.5926	0.4766	0.5495	0.4790
UR-IW-5	0.9412	0.9524	0.9231	0.9377	0.5185	0.5926	0.5556	0.4276	0.5428	0.4404
UniTor_0	0.8824	0.9091	0.8333	0.8712	0.7037	0.7037	0.7037	0.4207	0.5137	0.4275
UniTor_1	0.8824	0.9091	0.8333	0.8712	0.7037	0.7037	0.7037	0.4207	0.5137	0.4275
UniTor_2	0.8824	0.9091	0.8333	0.8712	0.7407	0.7407	0.7407	0.3530	0.3977	0.3453
UniTor_3	0.8824	0.9091	0.8333	0.8712	0.7407	0.7407	0.7407	0.3530	0.3977	0.3453
Fleming-1	0.9412	0.9524	0.9231	0.9377	0.4074	0.6667	0.5105	0.5263	0.4636	0.4641
Fleming-2	0.9412	0.9524	0.9231	0.9377	0.4074	0.6667	0.5105	0.4803	0.5518	0.4783
Mistral7BIns10shots	0.9412	0.9524	0.9231	0.9377	0.1481	0.1481	0.1481	0.2370	0.2231	0.2102
GPT4turbo	0.9412	0.9524	0.9231	0.9377	0.5556	0.6667	0.6111	0.5453	0.4801	0.4808
dmiip2024	0.9412	0.9524	0.9231	0.9377	0.5926	0.6296	0.6111	0.5719	0.5500	0.5416
dmiip2024_1	0.9412	0.9524	0.9231	0.9377	0.5926	0.5926	0.5926	0.5703	0.5171	0.5236
dmiip2024_3	0.9412	0.9524	0.9231	0.9377	0.6296	0.6667	0.6481	0.5860	0.4871	0.5116
dmiip2024_4	0.9412	0.9524	0.9231	0.9377	0.5556	0.6667	0.6111	0.6289	0.5014	0.5312
dmiip2024_2	0.9412	0.9524	0.9231	0.9377	0.4815	0.4815	0.4815	0.4772	0.6140	0.4964
bious1	0.8824	0.9000	0.8571	0.8786	0.3704	0.4444	0.4074	0.3630	0.3820	0.3506
bious2	0.7647	0.8182	0.6667	0.7424	0.3704	0.4444	0.4074	0.4013	0.4226	0.3982
bious3	0.8824	0.9091	0.8333	0.8712	0.4444	0.5556	0.5000	0.4655	0.4492	0.4427
bious4	0.8824	0.9091	0.8333	0.8712	0.4074	0.4815	0.4444	0.3986	0.4010	0.3895
bious5	0.8824	0.9091	0.8333	0.8712	0.4815	0.4815	0.4815	0.4187	0.4339	0.4062
lasigeBioTM-onto-bl	0.5882	0.5882	0.5882	0.5882	0.0741	0.1481	0.1111	0.0992	0.1090	0.1010
lasigeBioTM-onto-sm	0.7059	0.7059	0.7059	0.7059	0.0741	0.1111	0.0926	0.0526	0.0367	0.0432
Fleming-3	0.9412	0.9524	0.9231	0.9377	0.4074	0.7778	0.5500	0.5263	0.4636	0.4641
GPT4O	0.8824	0.9000	0.8571	0.8786	0.3704	0.3704	0.3704	0.4967	0.3749	0.4061
deepseek-r1:32b	0.9412	0.9524	0.9231	0.9377	0.0741	0.0741	0.0741	0.1948	0.2089	0.1968
deepseek-r1:14b	0.9412	0.9524	0.9231	0.9377	0.0741	0.0741	0.0741	0.1948	0.2089	0.1968
deepseek-r1:8b	0.9412	0.9524	0.9231	0.9377	0.4444	0.4444	0.4444	0.4912	0.4499	0.4446
gpt 01 mini	0.8824	0.9091	0.8333	0.8712	0.1111	0.1111	0.1111	0.2949	0.2528	0.2408
lasigeBioTM	0.7647	0.8182	0.6667	0.7424	0.5185	0.5185	0.5185	0.6842	0.1962	0.2934
deepseek32b-me	0.8235	0.8421	0.8000	0.8211	0.5556	0.5556	0.5556	0.5144	0.5111	0.4899
deepseek32b-full	0.8824	0.9000	0.8571	0.8786	0.6667	0.6667	0.6667	0.4784	0.4386	0.4340
deepseek32b-f	0.8824	0.9000	0.8571	0.8786	0.5926	0.5926	0.5926	0.4815	0.4614	0.4524
phaseB-4	0.9412	0.9524	0.9231	0.9377	0.5185	0.5185	0.5185	0.5472	0.5394	0.4923
phaseB-5	0.9412	0.9524	0.9231	0.9377	0.4074	0.4074	0.4074	0.5771	0.4853	0.4958
lasigeBioTM-ku-bl	0.7059	0.7826	0.5455	0.6640	-	-	-	-	-	-
simple truncation	0.9412	0.9524	0.9231	0.9377	0.5185	0.6296	0.5679	0.5534	0.5087	0.4946
config-2	0.8824	0.9091	0.8333	0.8712	0.6296	0.6667	0.6481	0.4912	0.4500	0.4501
config-1	0.9412	0.9524	0.9231	0.9377	0.5185	0.5185	0.5185	0.5140	0.4173	0.4427
config-3	0.8824	0.9091	0.8333	0.8712	0.6296	0.6667	0.6481	0.4912	0.4500	0.4501
config-4	0.9412	0.9524	0.9231	0.9377	0.6296	0.7037	0.6605	0.4855	0.4491	0.4383
config-5	0.9412	0.9524	0.9231	0.9377	0.6296	0.6667	0.6481	0.5570	0.4939	0.5002
mistral	0.8824	0.9000	0.8571	0.8786	0.5185	0.7037	0.6111	0.5240	0.4864	0.4770
llama	0.9412	0.9524	0.9231	0.9377	0.4815	0.5556	0.5185	0.5075	0.4442	0.4509
dense	0.8824	0.9000	0.8571	0.8786	0.5556	0.5556	0.5556	0.5130	0.4836	0.4793
2025-DMIS-KU-1	0.8824	0.9000	0.8571	0.8786	0.5556	0.5926	0.5741	0.5741	0.4931	0.5075
2025-DMIS-KU-2	0.9412	0.9524	0.9231	0.9377	0.5926	0.6296	0.6111	0.5741	0.4931	0.5075
2025-DMIS-KU-3	0.8824	0.9091	0.8333	0.8712	0.5185	0.6296	0.5741	0.5594	0.4828	0.4937
EP-1	0.7059	0.7826	0.5455	0.6640	0.5556	0.7778	0.6494	0.5741	0.5862	0.5460
2025-DMIS-KU-4	0.8235	0.8421	0.8000	0.8211	0.5926	0.8148	0.6914	0.5540	0.5267	0.5123
EP-2	0.7059	0.7826	0.5455	0.6640	0.5556	0.6296	0.5926	0.6009	0.4842	0.5085
2025-DMIS-KU-5	0.8824	0.9000	0.8571	0.8786	0.6296	0.8148	0.7099	0.5716	0.5018	0.5098
kmeans	0.8235	0.8421	0.8000	0.8211	0.5185	0.6667	0.5926	0.5174	0.4771	0.4633
similarity measures	0.8824	0.9091	0.8333	0.8712	0.4444	0.7037	0.5525	0.3361	0.3486	0.3248
extractive	0.9412	0.9524	0.9231	0.9377	0.4444	0.7778	0.5716	0.3260	0.3350	0.3089
EP-3	0.6471	0.7273	0.5000	0.6136	0.4444	0.5926	0.5123	0.5233	0.4627	0.4748
abstractive	0.8824	0.9091	0.8333	0.8712	0.4074	0.6667	0.5216	0.2978	0.3423	0.2983
EP-4	0.9412	0.9524	0.9231	0.9377	0.5185	0.5556	0.5370	0.5583	0.4980	0.4974
EP-5	0.8824	0.9000	0.8571	0.8786	0.5556	0.5556	0.5556	0.5912	0.4379	0.4849
BioASQ_Baseline	0.5294	0.4286	0.6000	0.5143	0.1852	0.4444	0.2772	0.2724	0.2898	0.2182

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
IISR first submit	0.2428	0.2494	0.2293	0.2340	4.41	4.33	4.51	4.61
IISR 2nd submit	0.3093	0.3251	0.2945	0.3089	4.62	4.06	4.51	4.67
IISR 3rd submit	0.2631	0.2715	0.2512	0.2563	4.28	4.28	4.51	4.55
IISR 4th submit	0.2646	0.3137	0.2434	0.2904	4.52	4.07	4.51	4.60
IISR 5th submit	0.2926	0.3189	0.2844	0.3079	4.62	4.09	4.41	4.65
bioinfo-0	0.1920	0.2144	0.1800	0.2004	4.49	4.15	4.52	4.64
bioinfo-1	0.2748	0.2253	0.2674	0.2166	4.41	4.38	4.31	4.56
bioinfo-2	0.2681	0.2093	0.2620	0.2009	4.46	4.44	4.36	4.53
bioinfo-3	0.2566	0.2053	0.2541	0.2000	4.38	4.39	4.33	4.56
bioinfo-4	0.2491	0.1992	0.2480	0.1957	4.47	4.33	4.36	4.55
UR-IW-1	0.3209	0.2249	0.3198	0.2194	4.38	4.41	4.25	4.45
UR-IW-2	0.2431	0.2099	0.2437	0.2064	4.58	4.39	4.42	4.68
UR-IW-3	0.3329	0.2650	0.3271	0.2560	4.53	4.44	4.36	4.61
UR-IW-4	0.2678	0.2059	0.2709	0.2036	4.51	4.53	4.44	4.60
UR-IW-5	0.3082	0.2684	0.3030	0.2602	4.53	4.39	4.35	4.52
UniTor_0	0.2640	0.2883	0.2483	0.2717	4.40	4.14	4.35	4.51
UniTor_1	0.2640	0.2883	0.2483	0.2717	4.40	4.14	4.35	4.51
UniTor_2	0.2557	0.2814	0.2368	0.2619	4.36	4.11	4.33	4.51
UniTor_3	0.2557	0.2814	0.2368	0.2619	4.36	4.11	4.33	4.51
Fleming-1	0.3055	0.2368	0.3019	0.2275	4.40	4.42	4.41	4.49
Fleming-2	0.3906	0.2137	0.3790	0.2045	4.35	4.51	4.15	4.35
Mistral7BIns10shots	0.3054	0.3122	0.2875	0.2941	4.47	4.38	4.51	4.59
GPT4turbo	0.2794	0.3019	0.2646	0.2845	4.52	4.29	4.55	4.59
dmiip2024	0.2420	0.2742	0.2253	0.2575	4.39	4.14	4.52	4.56
dmiip2024_1	0.2492	0.2841	0.2358	0.2690	4.31	4.06	4.42	4.47
dmiip2024_3	0.2023	0.2458	0.1848	0.2267	4.52	4.11	4.54	4.59
dmiip2024_4	0.2277	0.2641	0.2140	0.2482	4.42	4.11	4.46	4.61
dmiip2024_2	0.2421	0.2759	0.2295	0.2599	4.41	4.12	4.46	4.55
bious1	0.2598	0.2662	0.2492	0.2522	4.58	4.38	4.52	4.66
bious2	0.2666	0.2670	0.2541	0.2522	4.55	4.27	4.45	4.62
bious3	0.2635	0.2668	0.2547	0.2544	4.60	4.28	4.54	4.64
bious4	0.2562	0.2643	0.2466	0.2520	4.64	4.31	4.59	4.68
bious5	0.2593	0.2692	0.2488	0.2557	4.61	4.26	4.51	4.68
lasigeBioTM-onto-bl	0.1771	0.1039	0.1923	0.1114	4.05	2.86	3.15	4.38
lasigeBioTM-onto-sm	0.1733	0.1106	0.1840	0.1167	3.98	2.75	3.07	4.33
Fleming-3	0.3171	0.2307	0.3116	0.2229	4.45	4.42	4.38	4.52
GPT4O	0.2901	0.1741	0.2940	0.1737	4.13	4.33	4.15	4.33
deepseek-r1:32b	0.0993	0.1058	0.1072	0.1134	3.89	2.65	3.31	4.36
deepseek-r1:14b	0.1082	0.1088	0.1148	0.1154	4.11	2.78	3.48	4.40
deepseek-r1:8b	0.2874	0.1994	0.2837	0.1946	4.31	4.52	4.32	4.39
gpt 01 mini	0.1812	0.1228	0.1947	0.1290	4.28	3.49	3.74	4.42
lasigeBioTM	0.2448	0.2521	0.2308	0.2361	4.27	4.12	4.38	4.64
deepseek32b-me	0.2032	0.1745	0.2034	0.1708	3.88	4.25	4.19	4.33
deepseek32b-full	0.2228	0.1789	0.2194	0.1743	4.11	4.58	4.35	4.49
deepseek32b-f	0.2288	0.1836	0.2246	0.1792	4.16	4.59	4.41	4.59
phaseB-4	0.3009	0.2511	0.2956	0.2422	4.15	4.55	4.32	4.48
phaseB-5	0.2934	0.2480	0.2864	0.2380	4.34	4.59	4.40	4.59
lasigeBioTM-ku-bl	0.2315	0.2778	0.2158	0.2588	4.54	4.01	4.51	4.64
simple truncation	0.0871	0.0776	0.0846	0.0752	1.14	1.21	1.15	1.16
config-2	0.3594	0.2394	0.3556	0.2320	4.04	4.26	3.98	4.19
config-1	0.2870	0.3001	0.2760	0.2877	4.15	4.12	4.36	4.48
config-3	0.3594	0.2394	0.3556	0.2320	4.04	4.26	3.98	4.19
config-4	0.2955	0.2367	0.2859	0.2265	4.51	4.44	4.48	4.64
config-5	0.3914	0.2557	0.3885	0.2481	4.33	4.54	4.28	4.52
mistral	0.3064	0.2819	0.2926	0.2657	4.42	4.41	4.47	4.56
llama	0.2614	0.2160	0.2528	0.2065	4.21	4.52	4.40	4.55
dense	0.2814	0.2422	0.2715	0.2303	4.26	4.31	4.28	4.52
2025-DMIS-KU-1	-	-	-	-	-	-	-	-
2025-DMIS-KU-2	-	-	-	-	-	-	-	-
2025-DMIS-KU-3	-	-	-	-	-	-	-	-
EP-1	0.3112	0.2601	0.2990	0.2461	4.38	4.35	4.39	4.49
2025-DMIS-KU-4	-	-	-	-	-	-	-	-
EP-2	0.3000	0.2441	0.2855	0.2299	4.42	4.51	4.41	4.56
2025-DMIS-KU-5	-	-	-	-	-	-	-	-
kmeans	0.0899	0.0769	0.0860	0.0737	1.12	1.21	1.15	1.14
similarity measures	0.0809	0.0519	0.0805	0.0512	1.13	1.24	1.07	1.19
extractive	0.0784	0.0516	0.0793	0.0518	1.06	1.24	1.01	1.13
EP-3	0.3373	0.2545	0.3256	0.2436	4.38	4.54	4.41	4.48
abstractive	0.0889	0.0520	0.0881	0.0508	1.11	1.24	1.05	1.13
EP-4	0.3634	0.2588	0.3575	0.2496	4.41	4.45	4.29	4.48
EP-5	0.3136	0.2851	0.2924	0.2652	4.47	4.33	4.54	4.61
BioASQ_Baseline	-	-	-	-	-	-	-	-

Test batch 3

Exact Answers

	Yes/No				Factoid			List
System	Accuracy	F1 Yes	F1 No	Macro F1	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
UR-IW-1	0.8636	0.9091	0.7273	0.8182	0.4000	0.5000	0.4225	0.4582	0.5951	0.4755
UR-IW-2	0.8636	0.9032	0.7692	0.8362	0.3500	0.4000	0.3750	0.4314	0.5212	0.4470
UR-IW-3	0.8636	0.9032	0.7692	0.8362	0.3000	0.4000	0.3500	0.4533	0.5569	0.4765
UR-IW-4	0.9091	0.9375	0.8333	0.8854	0.3000	0.3500	0.3250	0.4676	0.4922	0.4666
UR-IW-5	0.9091	0.9375	0.8333	0.8854	0.2500	0.4500	0.3500	0.4817	0.5368	0.4877
UniTor_0	0.8636	0.9032	0.7692	0.8362	0.4000	0.4000	0.4000	0.5394	0.4990	0.5109
UniTor_1	0.8636	0.9032	0.7692	0.8362	0.4000	0.4500	0.4250	0.5924	0.5272	0.5472
UniTor_2	0.8636	0.9032	0.7692	0.8362	0.3500	0.3500	0.3500	0.5247	0.4743	0.4885
UniTor_3	0.8636	0.9032	0.7692	0.8362	0.4000	0.4000	0.4000	0.5625	0.5035	0.5204
bioinfo-0	0.6818	0.8108	-	0.4054	-	-	-	-	-	-
bioinfo-1	0.6818	0.8108	-	0.4054	-	-	-	-	-	-
bioinfo-2	0.6818	0.8108	-	0.4054	-	-	-	-	-	-
bioinfo-3	0.6818	0.8108	-	0.4054	-	-	-	-	-	-
bioinfo-4	0.6818	0.8108	-	0.4054	-	-	-	-	-	-
Synthia with first	0.8636	0.8966	0.8000	0.8483	0.0500	0.0500	0.0500	0.3716	0.3731	0.3546
RMC_append_snippets	0.9545	0.9677	0.9231	0.9454	-	-	-	0.3832	0.4019	0.3669
IISR first submit	0.9545	0.9677	0.9231	0.9454	0.4000	0.4500	0.4250	0.6048	0.4980	0.5292
IISR 2nd submit	0.9091	0.9333	0.8571	0.8952	0.3500	0.4000	0.3750	0.6433	0.5403	0.5746
IISR 3rd submit	0.9545	0.9677	0.9231	0.9454	0.4000	0.4500	0.4250	0.6522	0.5197	0.5619
IISR 4th submit	0.8636	0.9032	0.7692	0.8362	0.2000	0.2500	0.2250	0.6375	0.5136	0.5491
IISR 5th submit	0.9545	0.9677	0.9231	0.9454	0.2500	0.3000	0.2750	0.6407	0.5494	0.5758
lasigeBioTM	0.7727	0.8276	0.6667	0.7471	0.3500	0.3500	0.3500	0.5343	0.4429	0.4668
AQAMS2	0.9545	0.9677	0.9231	0.9454	0.3000	0.3500	0.3250	0.6390	0.5539	0.5831
mistral	0.9545	0.9677	0.9231	0.9454	0.3500	0.5500	0.4500	0.5909	0.5302	0.5411
llama	0.8636	0.9091	0.7273	0.8182	0.4000	0.4500	0.4250	0.5911	0.5127	0.5406
dense	0.9091	0.9375	0.8333	0.8854	0.3500	0.5500	0.4500	0.5473	0.4929	0.5065
GPT4O	0.9091	0.9375	0.8333	0.8854	0.3500	0.3500	0.3500	0.5256	0.4600	0.4822
deepseek-r1:32b	0.8182	0.8667	0.7143	0.7905	0.1500	0.1500	0.1500	0.4924	0.4231	0.4456
deepseek-r1:14b	0.8636	0.9032	0.7692	0.8362	0.2500	0.2500	0.2500	0.4317	0.4156	0.4152
deepseek-r1:8b	0.8636	0.9032	0.7692	0.8362	0.1000	0.1000	0.1000	0.4886	0.4368	0.4474
Fleming-4	0.9545	0.9677	0.9231	0.9454	0.2500	0.6000	0.3725	0.4062	0.5710	0.4483
Fleming-1	0.9545	0.9677	0.9231	0.9454	0.2000	0.6000	0.3467	0.5314	0.5796	0.5311
2025-DMIS-KU-1	0.9545	0.9677	0.9231	0.9454	0.3500	0.6000	0.4475	0.6021	0.5045	0.5379
simple truncation	0.9545	0.9677	0.9231	0.9454	0.4500	0.6000	0.5042	0.4400	0.3752	0.3980
kmeans	0.9545	0.9677	0.9231	0.9454	0.4000	0.6000	0.4917	0.4242	0.3700	0.3793
Fleming-2	0.9091	0.9375	0.8333	0.8854	0.2500	0.5000	0.3500	0.4370	0.5710	0.4709
2025-DMIS-KU-2	0.9545	0.9677	0.9231	0.9454	0.3000	0.6000	0.4225	0.6354	0.5117	0.5503
bious1	0.9545	0.9677	0.9231	0.9454	0.3000	0.3500	0.3250	0.4853	0.4561	0.4595
bious2	0.9091	0.9333	0.8571	0.8952	0.2000	0.3000	0.2417	0.4896	0.4530	0.4647
2025-DMIS-KU-3	1.0000	1.0000	1.0000	1.0000	0.3500	0.6000	0.4542	0.6125	0.5367	0.5594
Fleming-3	0.9545	0.9677	0.9231	0.9454	0.2500	0.5000	0.3500	0.4062	0.5710	0.4483
bious3	0.9545	0.9677	0.9231	0.9454	0.2000	0.3000	0.2417	0.4510	0.4071	0.4233
2025-DMIS-KU-4	0.9545	0.9677	0.9231	0.9454	0.4500	0.6000	0.5125	0.6317	0.5277	0.5611
2025-DMIS-KU-5	0.9091	0.9333	0.8571	0.8952	0.3500	0.6000	0.4417	0.6439	0.5483	0.5721
bious4	0.8182	0.8571	0.7500	0.8036	0.3000	0.4000	0.3417	0.4716	0.4541	0.4565
bious5	0.9091	0.9333	0.8571	0.8952	0.2000	0.3000	0.2417	0.4552	0.4206	0.4322
EP-1	0.9545	0.9677	0.9231	0.9454	0.4000	0.5500	0.4625	0.6716	0.5667	0.5908
EP-2	0.9091	0.9375	0.8333	0.8854	0.4000	0.6000	0.4792	0.6421	0.5201	0.5572
lasigeBioTM-onto-bl	0.8182	0.8750	0.6667	0.7708	0.1000	0.1000	0.1000	0.5314	0.4180	0.4538
lasigeBioTM-onto-sm	0.5000	0.5217	0.4762	0.4990	-	-	-	-	-	-
similarity measures	0.9091	0.9333	0.8571	0.8952	0.3500	0.6000	0.4600	0.4698	0.4165	0.4324
sp_lasigebiotm	0.7727	0.8387	0.6154	0.7270	0.2000	0.2000	0.2000	0.5576	0.4371	0.4662
extractive	0.9545	0.9677	0.9231	0.9454	0.1000	0.1000	0.1000	-	-	-
dmiip2024	0.9091	0.9286	0.8750	0.9018	0.3500	0.4500	0.4000	0.5945	0.4803	0.5198
dmiip2024_1	0.8182	0.8571	0.7500	0.8036	0.4000	0.4000	0.4000	0.6496	0.5075	0.5469
dmiip2024_3	0.8636	0.9091	0.7273	0.8182	0.3500	0.4500	0.3917	0.5722	0.4832	0.5153
dmiip2024_4	0.9545	0.9677	0.9231	0.9454	0.4000	0.4500	0.4250	0.6071	0.4516	0.5004
dmiip2024_2	0.9091	0.9375	0.8333	0.8854	0.2500	0.3000	0.2750	0.5133	0.5394	0.5037
deepseek32b-me	0.9091	0.9333	0.8571	0.8952	0.3500	0.3500	0.3500	0.5433	0.5011	0.5105
deepseek32b-full	0.9091	0.9333	0.8571	0.8952	0.3500	0.3500	0.3500	0.5433	0.5011	0.5105
deepseek32b-f	0.9091	0.9375	0.8333	0.8854	0.4500	0.4500	0.4500	0.6247	0.5096	0.5419
EP-3	0.9091	0.9375	0.8333	0.8854	0.4000	0.6500	0.5100	0.6026	0.5827	0.5737
phaseB-4	0.9545	0.9677	0.9231	0.9454	0.4500	0.4500	0.4500	0.6417	0.5045	0.5522
phaseB-5	0.9545	0.9677	0.9231	0.9454	0.4000	0.4000	0.4000	0.5770	0.4722	0.5039
EP-4	0.9091	0.9375	0.8333	0.8854	0.4500	0.5000	0.4750	0.6013	0.5235	0.5485
BioASQ_Baseline	0.3636	0.2222	0.4615	0.3419	0.0000	0.1500	0.0542	0.1821	0.2528	0.1672

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
UR-IW-1	0.2794	0.2015	0.2911	0.2010	4.44	4.52	4.27	4.47
UR-IW-2	0.1599	0.1433	0.1787	0.1522	4.48	4.38	4.33	4.56
UR-IW-3	0.2892	0.2158	0.2925	0.2096	4.44	4.48	4.31	4.45
UR-IW-4	0.1573	0.1356	0.1705	0.1427	4.40	4.40	4.34	4.55
UR-IW-5	0.2350	0.2093	0.2425	0.2057	4.36	4.28	4.21	4.35
UniTor_0	0.2002	0.2432	0.1931	0.2335	4.27	3.91	4.29	4.41
UniTor_1	0.2155	0.2576	0.2113	0.2510	4.32	3.98	4.35	4.49
UniTor_2	0.2125	0.2573	0.2084	0.2511	4.29	3.81	4.22	4.46
UniTor_3	0.2265	0.2658	0.2214	0.2585	4.33	3.91	4.25	4.45
bioinfo-0	0.1647	0.1836	0.1632	0.1774	4.20	4.07	4.52	4.53
bioinfo-1	0.2517	0.2020	0.2478	0.1953	4.45	4.46	4.33	4.61
bioinfo-2	0.2357	0.1872	0.2420	0.1868	4.44	4.42	4.19	4.52
bioinfo-3	0.2248	0.1810	0.2317	0.1800	4.32	4.36	4.19	4.53
bioinfo-4	0.1912	0.1674	0.1987	0.1674	4.44	4.34	4.41	4.56
Synthia with first	0.1974	0.2216	0.1906	0.2128	3.02	3.88	3.61	3.91
RMC_append_snippets	0.2415	0.2526	0.2323	0.2419	2.89	4.19	3.73	3.87
IISR first submit	0.1835	0.1960	0.1819	0.1930	4.27	4.14	4.45	4.49
IISR 2nd submit	0.2818	0.2886	0.2765	0.2801	4.45	4.15	4.41	4.48
IISR 3rd submit	0.2132	0.2230	0.2091	0.2127	4.29	4.14	4.38	4.49
IISR 4th submit	0.2292	0.2749	0.2231	0.2674	4.40	3.99	4.35	4.49
IISR 5th submit	0.2732	0.2865	0.2659	0.2765	4.55	4.20	4.52	4.61
lasigeBioTM	0.3136	0.2012	0.3169	0.1990	4.14	4.29	4.01	4.20
AQAMS2	0.3009	0.1996	0.3059	0.1950	3.92	4.48	4.02	4.34
mistral	0.2614	0.2272	0.2614	0.2189	4.41	4.38	4.36	4.54
llama	0.2117	0.1829	0.2100	0.1791	4.38	4.51	4.40	4.52
dense	0.2685	0.2542	0.2640	0.2437	4.46	4.29	4.47	4.55
GPT4O	0.2786	0.2046	0.2806	0.2027	4.42	4.26	4.32	4.52
deepseek-r1:32b	0.2219	0.1622	0.2301	0.1644	4.29	4.16	4.14	4.40
deepseek-r1:14b	0.1520	0.1719	0.1568	0.1749	4.15	3.69	4.01	4.36
deepseek-r1:8b	0.1592	0.1668	0.1587	0.1659	4.20	3.72	4.09	4.40
Fleming-4	0.2602	0.1482	0.2791	0.1520	4.21	4.52	3.99	4.38
Fleming-1	0.2821	0.1822	0.2873	0.1828	4.28	4.45	4.00	4.40
2025-DMIS-KU-1	-	-	-	-	-	-	-	-
simple truncation	0.0843	0.0736	0.0844	0.0734	1.11	1.11	1.07	1.11
kmeans	0.0864	0.0690	0.0891	0.0704	1.12	1.15	1.07	1.13
Fleming-2	0.3243	0.1525	0.3366	0.1533	4.19	4.49	3.84	4.24
2025-DMIS-KU-2	-	-	-	-	-	-	-	-
bious1	0.2351	0.2342	0.2261	0.2225	4.45	4.13	4.34	4.51
bious2	0.2455	0.2316	0.2451	0.2254	4.42	4.21	4.40	4.51
2025-DMIS-KU-3	-	-	-	-	-	-	-	-
Fleming-3	0.3122	0.1463	0.3218	0.1476	4.12	4.53	3.95	4.19
bious3	0.2399	0.2353	0.2415	0.2315	4.44	4.18	4.41	4.54
2025-DMIS-KU-4	-	-	-	-	-	-	-	-
2025-DMIS-KU-5	-	-	-	-	-	-	-	-
bious4	0.2474	0.2350	0.2421	0.2258	4.39	4.19	4.32	4.49
bious5	0.2411	0.2336	0.2399	0.2269	4.45	4.21	4.38	4.55
EP-1	0.2533	0.2218	0.2578	0.2165	4.33	4.39	4.26	4.42
EP-2	0.2802	0.2340	0.2811	0.2282	4.38	4.47	4.27	4.48
lasigeBioTM-onto-bl	0.2857	0.1945	0.2841	0.1917	4.27	4.44	4.22	4.44
lasigeBioTM-onto-sm	0.0871	0.0919	0.0918	0.0960	3.31	2.21	2.65	3.96
similarity measures	0.0856	0.0629	0.0858	0.0620	1.08	1.15	1.06	1.11
sp_lasigebiotm	0.2606	0.2094	0.2566	0.2039	4.26	4.12	4.14	4.47
extractive	0.0935	0.0538	0.0966	0.0545	1.08	1.16	1.01	1.04
dmiip2024	0.1935	0.2309	0.1933	0.2262	4.39	4.04	4.38	4.44
dmiip2024_1	0.1888	0.2276	0.1860	0.2219	4.41	3.99	4.39	4.47
dmiip2024_3	0.1694	0.2148	0.1634	0.2056	4.40	3.91	4.35	4.41
dmiip2024_4	0.1852	0.2295	0.1813	0.2229	4.31	3.93	4.34	4.45
dmiip2024_2	0.2039	0.2464	0.2010	0.2406	4.26	4.00	4.32	4.34
deepseek32b-me	0.1965	0.2369	0.1893	0.2286	4.25	3.92	4.38	4.45
deepseek32b-full	0.1965	0.2369	0.1893	0.2286	4.25	3.92	4.38	4.45
deepseek32b-f	0.2226	0.1783	0.2259	0.1760	4.28	4.53	4.25	4.49
EP-3	0.2784	0.2315	0.2780	0.2234	4.34	4.45	4.29	4.42
phaseB-4	0.2022	0.1711	0.2081	0.1700	4.24	4.54	4.24	4.44
phaseB-5	0.2380	0.2049	0.2486	0.2030	4.19	4.52	4.33	4.48
EP-4	0.3170	0.2384	0.3112	0.2292	4.36	4.51	4.20	4.44
BioASQ_Baseline	-	-	-	-	-	-	-	-

Test batch 4

Exact Answers

	Yes/No				Factoid			List
System	Accuracy	F1 Yes	F1 No	Macro F1	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
UniTor_0	0.8462	0.8889	0.7500	0.8194	0.5455	0.5909	0.5682	0.4480	0.3686	0.3736
UniTor_1	0.8846	0.9189	0.8000	0.8595	0.5455	0.6364	0.5909	0.5051	0.3880	0.4205
UniTor_2	0.8846	0.9189	0.8000	0.8595	0.5455	0.6364	0.5909	0.3621	0.2737	0.2961
UniTor_3	0.8846	0.9189	0.8000	0.8595	0.5455	0.6364	0.5909	0.4205	0.3749	0.3678
UR-IW-1	0.8462	0.8947	0.7143	0.8045	0.5455	0.5909	0.5606	0.3794	0.5100	0.4019
UR-IW-2	0.9231	0.9444	0.8750	0.9097	0.5455	0.5455	0.5455	0.3711	0.4807	0.3844
UR-IW-3	0.7692	0.8125	0.7000	0.7563	0.4545	0.4545	0.4545	0.4544	0.5584	0.4638
UR-IW-4	1.0000	1.0000	1.0000	1.0000	0.5455	0.6364	0.5909	0.4660	0.5116	0.4576
UR-IW-5	0.9231	0.9444	0.8750	0.9097	0.5000	0.5455	0.5227	0.4116	0.5366	0.4401
Synthia with first	0.8846	0.9091	0.8421	0.8756	0.1818	0.1818	0.1818	0.3193	0.1963	0.2258
RMC_append_snippets	0.8846	0.9143	0.8235	0.8689	0.3636	0.3636	0.3636	0.4281	0.3305	0.3508
bioinfo-0	0.6538	0.7907	-	0.3953	-	-	-	-	-	-
bioinfo-1	0.6538	0.7907	-	0.3953	-	-	-	-	-	-
bioinfo-2	0.6538	0.7907	-	0.3953	-	-	-	-	-	-
bioinfo-3	0.6538	0.7907	-	0.3953	-	-	-	-	-	-
bioinfo-4	0.6538	0.7907	-	0.3953	-	-	-	-	-	-
My system 1	0.8077	0.8718	0.6154	0.7436	-	-	-	-	-	-
3.PhaseB_System	0.6538	0.7907	-	0.3953	0.1818	0.1818	0.1818	0.0531	0.0526	0.0512
edo	0.3462	-	0.5143	0.2571	0.1364	0.2727	0.1818	0.0895	0.0856	0.0839
DB_vector_&_LLM	0.9231	0.9444	0.8750	0.9097	0.5455	0.6364	0.5795	0.4875	0.5013	0.4746
Machinen Results	0.7308	0.8293	0.3636	0.5965	0.2727	0.4091	0.3182	0.1007	0.1919	0.1231
Fleming-1	0.9231	0.9412	0.8889	0.9150	0.3636	0.5909	0.4697	0.5088	0.3994	0.4214
AQAMS2	0.8462	0.8947	0.7143	0.8045	0.5909	0.5909	0.5909	0.6035	0.4131	0.4703
IISR first submit	0.8462	0.8889	0.7500	0.8194	0.5000	0.5909	0.5455	0.6335	0.5035	0.5472
IISR 2nd submit	0.8077	0.8485	0.7368	0.7927	0.4545	0.5000	0.4773	0.6575	0.4908	0.5400
IISR 3rd submit	0.8846	0.9143	0.8235	0.8689	0.5455	0.5909	0.5682	0.5818	0.4582	0.4990
IISR 4th submit	0.9615	0.9714	0.9412	0.9563	0.4091	0.5000	0.4545	0.4812	0.3102	0.3628
dmiip2024	0.8846	0.9143	0.8235	0.8689	0.5455	0.6364	0.5795	0.6752	0.5207	0.5718
dmiip2024_1	0.9231	0.9412	0.8889	0.9150	0.5455	0.5455	0.5455	0.6565	0.5086	0.5585
dmiip2024_2	0.9615	0.9714	0.9412	0.9563	0.5909	0.5909	0.5909	0.5482	0.5478	0.5189
dmiip2024_4	0.8846	0.9189	0.8000	0.8595	0.5000	0.5909	0.5455	0.7596	0.4876	0.5657
dmiip2024_3	0.9231	0.9444	0.8750	0.9097	0.5909	0.5909	0.5909	0.6534	0.4331	0.4996
IISR 5th submit	0.8846	0.9091	0.8421	0.8756	0.4545	0.5455	0.5000	0.5890	0.4358	0.4839
deepseek32b-me	0.8462	0.8889	0.7500	0.8194	0.4545	0.4545	0.4545	0.4288	0.3474	0.3588
deepseek32b-full	0.8462	0.8889	0.7500	0.8194	0.4545	0.4545	0.4545	0.4288	0.3474	0.3588
deepseek32b-f	0.9231	0.9444	0.8750	0.9097	0.5000	0.5000	0.5000	0.5335	0.4208	0.4531
phaseB-4	0.9231	0.9444	0.8750	0.9097	0.5000	0.5000	0.5000	0.5158	0.4054	0.4365
phaseB-5	0.8846	0.9189	0.8000	0.8595	0.5000	0.5000	0.5000	0.5716	0.4959	0.5030
Mistral7BIns10shots	0.8462	0.8824	0.7778	0.8301	0.4545	0.5000	0.4773	0.5341	0.4257	0.4610
GPT4turbo	0.8846	0.9189	0.8000	0.8595	0.5455	0.6364	0.5909	0.6123	0.4912	0.5294
GPTPrompt1sStyle2	0.8846	0.9189	0.8000	0.8595	0.6364	0.6818	0.6591	0.6052	0.4888	0.5243
bious1	0.8462	0.8824	0.7778	0.8301	0.4545	0.5455	0.4924	0.5417	0.4482	0.4702
bious2	0.8077	0.8387	0.7619	0.8003	0.4091	0.5000	0.4545	0.4813	0.4456	0.4405
bious3	0.8846	0.9143	0.8235	0.8689	0.3636	0.4545	0.4091	0.4860	0.4343	0.4363
GPTPrompt1sStyle3	0.8846	0.9189	0.8000	0.8595	0.5909	0.6818	0.6364	0.6464	0.5144	0.5538
bious4	0.8077	0.8485	0.7368	0.7927	0.4545	0.5455	0.4924	0.4750	0.4358	0.4363
bious5	0.8462	0.8824	0.7778	0.8301	0.4545	0.5455	0.5000	0.4735	0.4799	0.4548
NLP-UTB4	0.6538	0.7907	-	0.3953	0.0455	0.0455	0.0455	0.1053	0.0263	0.0421
sp_lasigebiotm	0.9231	0.9375	0.9000	0.9188	0.5000	0.5000	0.5000	0.4756	0.2269	0.2834
lasigeBioTM	0.8077	0.8387	0.7619	0.8003	0.4091	0.4091	0.4091	0.4380	0.3442	0.3612
lasigeBioTM-onto-bl	0.8846	0.9091	0.8421	0.8756	0.3636	0.4091	0.3864	0.6400	0.4221	0.4932
lasigeBioTM-onto-sm	0.7308	0.7586	0.6957	0.7271	0.0455	0.1364	0.0833	0.3113	0.1488	0.1933
Fleming-4	0.9231	0.9444	0.8750	0.9097	0.3182	0.4545	0.3591	0.3261	0.4434	0.3560
Fleming-5	0.9615	0.9714	0.9412	0.9563	0.3182	0.4545	0.3652	0.3261	0.4434	0.3560
mistral	0.8846	0.9143	0.8235	0.8689	0.5455	0.5909	0.5682	0.5231	0.4719	0.4791
llama	0.9231	0.9444	0.8750	0.9097	0.5455	0.6364	0.5909	0.5553	0.5250	0.5220
dense	0.9231	0.9444	0.8750	0.9097	0.5000	0.5909	0.5455	0.5344	0.4533	0.4800
GPT4O	0.9231	0.9412	0.8889	0.9150	0.3182	0.3182	0.3182	0.4618	0.3259	0.3642
deepseek-r1:32b	0.8462	0.8824	0.7778	0.8301	0.4091	0.4091	0.4091	0.4736	0.3966	0.4160
deepseek-r1:8b	0.8846	0.9091	0.8421	0.8756	0.2727	0.3182	0.2955	0.4997	0.4097	0.4296
gpt 01 mini	0.8846	0.9091	0.8421	0.8756	0.4545	0.4545	0.4545	0.3486	0.2315	0.2581
2025-DMIS-KU-1	0.8846	0.9143	0.8235	0.8689	0.5455	0.5909	0.5682	0.6833	0.4855	0.5482
Fleming-2	0.9231	0.9444	0.8750	0.9097	0.3182	0.4545	0.3591	0.3474	0.2758	0.2969
Fleming-3	0.8846	0.9143	0.8235	0.8689	0.3182	0.4545	0.3591	0.3474	0.2758	0.2969
2025-DMIS-KU-2	0.9231	0.9444	0.8750	0.9097	0.5909	0.7273	0.6364	0.6833	0.4855	0.5484
2025-DMIS-KU-3	0.9615	0.9714	0.9412	0.9563	0.5909	0.7273	0.6364	0.6774	0.5031	0.5573
2025-DMIS-KU-4	0.8846	0.9189	0.8000	0.8595	0.5909	0.7273	0.6364	0.6723	0.5316	0.5783
2025-DMIS-KU-5	0.9231	0.9412	0.8889	0.9150	0.5455	0.6818	0.5909	0.6939	0.4855	0.5503
EP-1	0.9231	0.9444	0.8750	0.9097	0.5455	0.5909	0.5606	0.6026	0.4484	0.4925
EP-2	0.9231	0.9444	0.8750	0.9097	0.5455	0.5455	0.5455	0.5823	0.5184	0.5319
EP-3	0.9231	0.9444	0.8750	0.9097	0.5909	0.5909	0.5909	0.5443	0.5452	0.5193
EP-4	0.9615	0.9714	0.9412	0.9563	0.5455	0.5909	0.5682	0.5786	0.5265	0.5335
EP-5	0.9615	0.9714	0.9412	0.9563	0.5909	0.6364	0.6136	0.5754	0.3981	0.4519
simple truncation	0.9615	0.9714	0.9412	0.9563	0.4545	0.5455	0.5000	0.5209	0.4591	0.4746
kmeans	0.9615	0.9714	0.9412	0.9563	0.5000	0.5909	0.5455	0.5337	0.4887	0.4936
similarity measures	0.9231	0.9412	0.8889	0.9150	0.4545	0.6364	0.5455	0.2562	0.4706	0.3003
extractive	0.9615	0.9714	0.9412	0.9563	0.5000	0.5909	0.5455	0.3068	0.3995	0.3235
abstractive	0.9231	0.9412	0.8889	0.9150	0.5000	0.6364	0.5682	0.2598	0.4772	0.3048
BioASQ_Baseline	0.3462	0.3200	0.3704	0.3452	0.1818	0.2727	0.2197	0.2243	0.2643	0.2226

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
UniTor_0	0.1690	0.2057	0.1604	0.1933	4.22	3.78	4.14	4.27
UniTor_1	0.1718	0.2045	0.1654	0.1940	4.24	3.80	4.19	4.31
UniTor_2	0.1686	0.2050	0.1628	0.1961	4.18	3.72	4.11	4.25
UniTor_3	0.1687	0.2035	0.1610	0.1925	4.26	3.80	4.16	4.32
UR-IW-1	0.2479	0.1767	0.2583	0.1816	4.28	4.34	3.98	4.28
UR-IW-2	0.1536	0.1301	0.1724	0.1416	4.47	4.28	4.19	4.53
UR-IW-3	0.2486	0.1774	0.2531	0.1801	4.26	4.29	4.04	4.36
UR-IW-4	0.1370	0.1189	0.1577	0.1327	4.28	4.31	4.02	4.48
UR-IW-5	0.2201	0.1861	0.2211	0.1874	4.13	4.04	3.95	4.24
Synthia with first	0.1702	0.1979	0.1653	0.1906	4.13	3.64	4.07	4.16
RMC_append_snippets	0.2201	0.2314	0.2126	0.2214	4.27	3.91	4.18	4.34
bioinfo-0	0.1451	0.1731	0.1423	0.1692	4.21	3.73	4.22	4.29
bioinfo-1	0.2064	0.1765	0.2124	0.1805	4.25	4.27	4.22	4.39
bioinfo-2	0.1974	0.2141	0.1928	0.2068	4.31	4.07	4.20	4.36
bioinfo-3	0.1869	0.2050	0.1791	0.1958	4.26	4.04	4.24	4.35
bioinfo-4	0.1800	0.1569	0.1859	0.1619	4.31	4.09	4.20	4.41
My system 1	0.0290	0.0401	0.0293	0.0410	1.16	0.94	1.11	1.21
3.PhaseB_System	0.1448	0.1734	0.1408	0.1662	3.88	3.19	3.75	4.05
edo	0.1102	0.1041	0.1178	0.1104	2.59	2.75	2.91	3.55
DB_vector_&_LLM	0.2664	0.1489	0.2834	0.1573	4.28	4.48	3.94	4.28
Machinen Results	0.1649	0.1584	0.1695	0.1629	3.76	3.64	3.74	4.08
Fleming-1	0.2186	0.1212	0.2329	0.1278	4.21	4.45	3.89	4.34
AQAMS2	0.2198	0.1720	0.2292	0.1782	4.26	4.08	3.98	4.33
IISR first submit	0.1659	0.1797	0.1639	0.1782	4.27	3.94	4.27	4.34
IISR 2nd submit	0.2278	0.2538	0.2201	0.2460	4.22	3.87	4.20	4.26
IISR 3rd submit	0.1859	0.1979	0.1812	0.1930	4.24	3.96	4.27	4.39
IISR 4th submit	0.1789	0.2198	0.1710	0.2112	4.22	3.66	4.25	4.25
dmiip2024	0.1724	0.2086	0.1645	0.2007	4.18	3.93	4.21	4.32
dmiip2024_1	0.1789	0.2128	0.1716	0.2053	4.29	3.88	4.22	4.31
dmiip2024_2	0.1744	0.2104	0.1635	0.1969	4.16	3.72	4.21	4.21
dmiip2024_4	0.1606	0.2053	0.1496	0.1926	4.16	3.60	4.18	4.25
dmiip2024_3	0.1487	0.1954	0.1356	0.1803	4.26	3.68	4.19	4.32
IISR 5th submit	0.2309	0.2466	0.2225	0.2383	4.31	3.89	4.27	4.33
deepseek32b-me	0.1237	0.1609	0.1194	0.1559	3.92	3.48	3.96	4.12
deepseek32b-full	0.1237	0.1609	0.1194	0.1559	3.92	3.48	3.96	4.12
deepseek32b-f	0.1878	0.1675	0.1874	0.1646	4.34	4.47	4.12	4.44
phaseB-4	0.1745	0.1596	0.1736	0.1557	4.36	4.47	4.09	4.45
phaseB-5	0.2152	0.1922	0.2167	0.1912	4.34	4.35	4.13	4.42
Mistral7BIns10shots	0.2425	0.2420	0.2365	0.2350	4.01	3.98	4.00	4.26
GPT4turbo	0.2158	0.2318	0.2077	0.2229	4.15	3.94	4.15	4.40
GPTPrompt1sStyle2	0.1911	0.2229	0.1834	0.2128	4.08	3.85	3.99	4.27
bious1	0.1914	0.2042	0.1881	0.1976	4.25	3.92	4.14	4.31
bious2	0.1986	0.2071	0.1986	0.2060	4.32	3.89	4.20	4.34
bious3	0.1954	0.2102	0.1919	0.2051	4.28	4.02	4.24	4.29
GPTPrompt1sStyle3	0.1705	0.2116	0.1628	0.2028	4.22	3.67	4.20	4.24
bious4	0.1983	0.2111	0.1959	0.2058	4.24	3.92	4.19	4.27
bious5	0.1984	0.2084	0.1969	0.2046	4.22	3.93	4.21	4.31
NLP-UTB4	0.0131	0.0164	0.0148	0.0186	0.55	0.64	0.69	0.79
sp_lasigebiotm	0.2382	0.1901	0.2407	0.1900	4.20	4.01	4.00	4.29
lasigeBioTM	0.2558	0.1891	0.2608	0.1908	4.16	4.21	3.96	4.29
lasigeBioTM-onto-bl	0.2538	0.1857	0.2620	0.1902	4.19	4.14	3.98	4.33
lasigeBioTM-onto-sm	0.0924	0.1048	0.0908	0.1029	3.47	2.95	3.48	3.89
Fleming-4	0.2119	0.1026	0.2335	0.1121	4.14	4.39	3.86	4.35
Fleming-5	0.2041	0.1174	0.2197	0.1245	4.20	4.36	3.79	4.41
mistral	0.2012	0.1638	0.2041	0.1640	4.36	4.26	4.15	4.47
llama	0.2519	0.2189	0.2473	0.2129	4.35	4.20	4.16	4.41
dense	0.2106	0.1814	0.2163	0.1833	4.25	4.12	4.06	4.33
GPT4O	0.2095	0.1574	0.2170	0.1604	4.14	4.04	3.87	4.25
deepseek-r1:32b	0.1961	0.1545	0.2049	0.1591	4.12	3.98	3.87	4.25
deepseek-r1:8b	0.1046	0.1162	0.1107	0.1217	3.78	3.34	3.71	4.00
gpt 01 mini	0.1468	0.1080	0.1636	0.1191	3.99	3.88	3.84	4.20
2025-DMIS-KU-1	-	-	-	-	-	-	-	-
Fleming-2	0.2291	0.1312	0.2507	0.1428	4.20	4.32	3.76	4.31
Fleming-3	0.2442	0.1184	0.2606	0.1250	4.21	4.45	3.94	4.39
2025-DMIS-KU-2	-	-	-	-	-	-	-	-
2025-DMIS-KU-3	-	-	-	-	-	-	-	-
2025-DMIS-KU-4	-	-	-	-	-	-	-	-
2025-DMIS-KU-5	-	-	-	-	-	-	-	-
EP-1	0.2033	0.1947	0.2057	0.1965	4.19	4.12	4.11	4.32
EP-2	0.1883	0.1814	0.1917	0.1840	4.18	4.05	4.09	4.27
EP-3	0.2035	0.1929	0.2046	0.1921	4.22	4.11	4.19	4.33
EP-4	0.2105	0.1955	0.2122	0.1962	4.27	4.07	4.16	4.36
EP-5	0.2139	0.2028	0.2140	0.2027	4.28	4.09	4.21	4.35
simple truncation	0.0562	0.0469	0.0578	0.0477	0.89	0.88	0.87	0.89
kmeans	0.0557	0.0424	0.0586	0.0437	0.91	0.91	0.87	0.92
similarity measures	0.0564	0.0380	0.0600	0.0394	0.84	0.93	0.85	0.91
extractive	0.0521	0.0435	0.0538	0.0443	0.89	0.91	0.87	0.89
abstractive	0.0563	0.0381	0.0599	0.0397	0.87	0.93	0.85	0.91
BioASQ_Baseline	-	-	-	-	-	-	-	-