BioASQ Participants Area

Task 13b: Test Results of Phase B

The test results are presented in separate tables for each type of annotation. The "System Description" of each system is used.
The evaluation measures that are used in Task B are presented here .
Warning: For ideal answers, good ROUGE results do not always imply good manual scores.

Test batch 1

Exact Answers

	Yes/No				Factoid			List
System	Accuracy	F1 Yes	F1 No	Macro F1	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
IISR first submit	1.0000	1.0000	1.0000	1.0000	0.4231	0.4231	0.4231	0.5654	0.5538	0.5480
IISR 2nd submit	1.0000	1.0000	1.0000	1.0000	0.3846	0.4615	0.4231	0.5694	0.6102	0.5798
IISR 3rd submit	1.0000	1.0000	1.0000	1.0000	0.4231	0.5000	0.4615	0.5503	0.5328	0.5361
IISR 4th submit	1.0000	1.0000	1.0000	1.0000	0.4231	0.4615	0.4423	0.5820	0.6224	0.5959
IISR 5th submit	0.9412	0.9565	0.9091	0.9328	0.4615	0.5000	0.4808	0.4004	0.3528	0.3720
UniTor_0	0.9412	0.9565	0.9091	0.9328	0.4231	0.4615	0.4423	0.4484	0.5325	0.4676
UniTor_1	0.9412	0.9565	0.9091	0.9328	0.3846	0.4231	0.4038	0.4883	0.5724	0.5109
UniTor_2	0.9412	0.9565	0.9091	0.9328	0.4615	0.5000	0.4808	0.4212	0.5232	0.4447
UniTor_3	0.9412	0.9565	0.9091	0.9328	0.4615	0.5000	0.4808	0.4107	0.5548	0.4483
DB_vector_&_LLM	0.9412	0.9565	0.9091	0.9328	0.4231	0.5385	0.4808	0.5494	0.5635	0.5489
google_serach_&_LLM	0.9412	0.9565	0.9091	0.9328	0.4231	0.5385	0.4808	0.5494	0.5635	0.5489
UR-IW-1	1.0000	1.0000	1.0000	1.0000	0.3846	0.5385	0.4423	0.3361	0.5653	0.3978
UR-IW-2	0.9412	0.9600	0.8889	0.9244	0.4231	0.5000	0.4551	0.3740	0.4944	0.4042
UR-IW-3	0.8824	0.9091	0.8333	0.8712	0.4231	0.5769	0.4821	0.3199	0.5419	0.3769
UR-IW-4	0.8235	0.8696	0.7273	0.7984	0.4231	0.5000	0.4615	0.4817	0.5601	0.5069
UR-IW-5	1.0000	1.0000	1.0000	1.0000	0.4231	0.5000	0.4615	0.2877	0.5341	0.3515
Fleming-1	1.0000	1.0000	1.0000	1.0000	0.5385	0.6538	0.5962	0.4988	0.6000	0.5290
bioinfo-0	0.7059	0.8276	-	0.4138	-	-	-	-	-	-
bioinfo-1	0.7059	0.8276	-	0.4138	-	-	-	-	-	-
bioinfo-2	0.7059	0.8276	-	0.4138	-	-	-	-	-	-
bioinfo-3	0.7059	0.8276	-	0.4138	-	-	-	-	-	-
bioinfo-4	0.7059	0.8276	-	0.4138	-	-	-	-	-	-
Fleming-2	0.9412	0.9600	0.8889	0.9244	0.5385	0.6538	0.5962	0.4988	0.6000	0.5290
Mistral7BIns10shots	1.0000	1.0000	1.0000	1.0000	0.3462	0.3846	0.3654	0.2931	0.2609	0.2720
vllm agents	0.8824	0.9091	0.8333	0.8712	0.2692	0.2692	0.2692	0.4705	0.4771	0.4711
dmiip2024	1.0000	1.0000	1.0000	1.0000	0.4615	0.5769	0.5128	0.5402	0.5573	0.5406
dmiip2024_2	1.0000	1.0000	1.0000	1.0000	0.4615	0.4615	0.4615	0.4793	0.6483	0.5327
dmiip2024_3	1.0000	1.0000	1.0000	1.0000	0.4231	0.5000	0.4615	0.5170	0.4711	0.4859
dmiip2024_4	1.0000	1.0000	1.0000	1.0000	0.5000	0.5385	0.5192	0.5210	0.4356	0.4533
config-1	0.8824	0.9091	0.8333	0.8712	0.3846	0.3846	0.3846	0.5580	0.5005	0.5203
llama	0.9412	0.9565	0.9091	0.9328	0.5000	0.6154	0.5577	0.5001	0.5976	0.5349
dense	1.0000	1.0000	1.0000	1.0000	0.4615	0.6538	0.5577	0.5285	0.6237	0.5567
config-2	0.9412	0.9600	0.8889	0.9244	0.3846	0.4231	0.4038	0.4933	0.4980	0.4859
config-3	0.9412	0.9600	0.8889	0.9244	0.5000	0.5385	0.5192	0.4645	0.4921	0.4723
config-4	0.9412	0.9600	0.8889	0.9244	0.5000	0.5000	0.5000	0.4943	0.5168	0.4999
config-5	0.9412	0.9600	0.8889	0.9244	0.5000	0.5385	0.5192	0.4645	0.4921	0.4723
dmiip2024_1	1.0000	1.0000	1.0000	1.0000	0.4615	0.4615	0.4615	0.5594	0.5278	0.5350
mistral	1.0000	1.0000	1.0000	1.0000	0.4231	0.5000	0.4615	0.4925	0.5019	0.4884
Fleming-3	0.9412	0.9600	0.8889	0.9244	0.5000	0.6154	0.5577	0.5234	0.5863	0.5384
bious1	0.8824	0.9167	0.8000	0.8583	0.3846	0.4231	0.4038	0.4729	0.4484	0.4515
bious2	1.0000	1.0000	1.0000	1.0000	0.3462	0.3846	0.3654	0.3928	0.4506	0.4091
bious3	1.0000	1.0000	1.0000	1.0000	0.4615	0.5385	0.4936	0.3862	0.4411	0.4051
bious4	1.0000	1.0000	1.0000	1.0000	0.3846	0.4231	0.4038	0.3913	0.4212	0.3979
bious5	1.0000	1.0000	1.0000	1.0000	0.3846	0.4615	0.4167	0.3753	0.4443	0.3973
kmeans	0.9412	0.9600	0.8889	0.9244	0.3077	0.4615	0.3718	0.4509	0.4988	0.4647
simple truncation	1.0000	1.0000	1.0000	1.0000	0.3846	0.5000	0.4359	0.5228	0.4948	0.5009
similarity measures	0.9412	0.9600	0.8889	0.9244	0.3462	0.4615	0.4038	0.3431	0.4714	0.3871
extractive	0.9412	0.9600	0.8889	0.9244	0.3462	0.4231	0.3782	0.3359	0.4899	0.3882
deepseek32b-me	0.2941	-	0.4545	0.2273	0.3846	0.3846	0.3846	0.6022	0.5650	0.5769
EP-1	0.9412	0.9565	0.9091	0.9328	0.3077	0.5385	0.4231	0.4766	0.4827	0.4718
abstractive	0.9412	0.9600	0.8889	0.9244	0.3846	0.5385	0.4455	0.3075	0.5684	0.3818
EP-2	0.9412	0.9600	0.8889	0.9244	0.2692	0.3846	0.3205	0.4196	0.2665	0.3049
deepseek32b-full	0.2941	-	0.4545	0.2273	0.3846	0.3846	0.3846	0.5826	0.5639	0.5659
deepseek32b-f	0.2941	-	0.4545	0.2273	0.3846	0.3846	0.3846	0.4770	0.4385	0.4507
GPT4O	0.9412	0.9600	0.8889	0.9244	0.3077	0.3077	0.3077	0.5162	0.5110	0.5065
phaseB-4	0.2941	-	0.4545	0.2273	0.3462	0.3462	0.3462	0.6226	0.5588	0.5808
EP-4	1.0000	1.0000	1.0000	1.0000	0.4231	0.5000	0.4615	0.5401	0.4878	0.5025
phaseB-5	0.2941	-	0.4545	0.2273	0.3846	0.3846	0.3846	0.5493	0.5047	0.5158
deepseek-r1:32b	0.9412	0.9600	0.8889	0.9244	0.3462	0.3462	0.3462	0.4422	0.4324	0.4310
EP-5	0.9412	0.9600	0.8889	0.9244	0.4231	0.5385	0.4808	0.5583	0.5019	0.5174
EP-3	0.9412	0.9600	0.8889	0.9244	0.4231	0.5385	0.4808	0.5583	0.5019	0.5174
2025-DMIS-KU-1	0.9412	0.9565	0.9091	0.9328	0.5385	0.6538	0.5962	0.5825	0.5843	0.5679
2025-DMIS-KU-4	0.8235	0.8571	0.7692	0.8132	0.4615	0.6538	0.5513	0.5769	0.5436	0.5473
2025-DMIS-KU-5	0.9412	0.9565	0.9091	0.9328	0.5385	0.6538	0.5962	0.6033	0.4981	0.5342
2025-DMIS-KU-3	0.9412	0.9565	0.9091	0.9328	0.5385	0.6538	0.5962	0.5830	0.6115	0.5913
deepseek-r1:14b	0.8824	0.9167	0.8000	0.8583	0.3462	0.3462	0.3462	0.3817	0.3641	0.3650
2025-DMIS-KU-2	1.0000	1.0000	1.0000	1.0000	0.4231	0.6538	0.5256	0.6106	0.5748	0.5852
using free 7b LLM	0.8824	0.9091	0.8333	0.8712	0.3462	0.3846	0.3654	0.3836	0.2639	0.2804
deepseek-r1:8b	0.9412	0.9600	0.8889	0.9244	0.1923	0.1923	0.1923	0.1135	0.1087	0.1101
lasigeBioTM	0.9412	0.9565	0.9091	0.9328	0.1154	0.1154	0.1154	-	-	-
gpt 01 mini	0.8235	0.8696	0.7273	0.7984	0.3462	0.3462	0.3462	0.3427	0.3438	0.3364
BioASQ_Baseline	0.4706	0.4000	0.5263	0.4632	0.1538	0.2692	0.1955	0.2503	0.2390	0.2202

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
IISR first submit	0.4338	0.3883	0.4229	0.3681	-	-	-	-
IISR 2nd submit	0.4110	0.3562	0.4009	0.3385	-	-	-	-
IISR 3rd submit	0.4295	0.3295	0.4173	0.3094	-	-	-	-
IISR 4th submit	0.4062	0.3054	0.3969	0.2838	-	-	-	-
IISR 5th submit	0.4147	0.3491	0.4070	0.3308	-	-	-	-
UniTor_0	0.3979	0.3738	0.3975	0.3639	-	-	-	-
UniTor_1	0.4170	0.3841	0.4172	0.3760	-	-	-	-
UniTor_2	0.4001	0.3638	0.3992	0.3526	-	-	-	-
UniTor_3	0.4173	0.3735	0.4174	0.3637	-	-	-	-
DB_vector_&_LLM	0.3906	0.1696	0.3842	0.1572	-	-	-	-
google_serach_&_LLM	0.3906	0.1696	0.3842	0.1572	-	-	-	-
UR-IW-1	0.3807	0.1956	0.3946	0.1892	-	-	-	-
UR-IW-2	0.2392	0.1313	0.2711	0.1352	-	-	-	-
UR-IW-3	0.3654	0.1929	0.3785	0.1878	-	-	-	-
UR-IW-4	0.2782	0.1415	0.2967	0.1404	-	-	-	-
UR-IW-5	0.4027	0.2355	0.4246	0.2323	-	-	-	-
Fleming-1	0.3368	0.1819	0.3409	0.1760	-	-	-	-
bioinfo-0	0.2154	0.1864	0.2126	0.1807	-	-	-	-
bioinfo-1	0.2596	0.1340	0.2701	0.1313	-	-	-	-
bioinfo-2	0.2760	0.1430	0.2809	0.1376	-	-	-	-
bioinfo-3	0.3041	0.1443	0.3314	0.1477	-	-	-	-
bioinfo-4	0.2809	0.1328	0.2904	0.1314	-	-	-	-
Fleming-2	0.4726	0.1834	0.4490	0.1667	-	-	-	-
Mistral7BIns10shots	0.3540	0.2621	0.3448	0.2458	-	-	-	-
vllm agents	0.1525	0.1627	0.1437	0.1547	-	-	-	-
dmiip2024	0.3455	0.3176	0.3438	0.3130	-	-	-	-
dmiip2024_2	0.2201	0.1857	0.2331	0.1914	-	-	-	-
dmiip2024_3	0.2244	0.2130	0.2290	0.2161	-	-	-	-
dmiip2024_4	0.2878	0.2688	0.2795	0.2564	-	-	-	-
config-1	0.4499	0.4027	0.4462	0.3974	-	-	-	-
llama	0.3597	0.2388	0.3533	0.2268	-	-	-	-
dense	0.3655	0.2374	0.3628	0.2246	-	-	-	-
config-2	0.3667	0.2342	0.3705	0.2241	-	-	-	-
config-3	0.3925	0.1924	0.3924	0.1822	-	-	-	-
config-4	0.3390	0.1965	0.3355	0.1849	-	-	-	-
config-5	0.4440	0.2128	0.4463	0.2005	-	-	-	-
dmiip2024_1	0.3361	0.3110	0.3358	0.3071	-	-	-	-
mistral	0.3530	0.2663	0.3525	0.2543	-	-	-	-
Fleming-3	0.4726	0.1834	0.4490	0.1667	-	-	-	-
bious1	0.2901	0.2304	0.2982	0.2259	-	-	-	-
bious2	0.3054	0.2380	0.3087	0.2309	-	-	-	-
bious3	0.3204	0.2451	0.3147	0.2356	-	-	-	-
bious4	0.3134	0.2430	0.3105	0.2313	-	-	-	-
bious5	0.2877	0.2139	0.2825	0.2020	-	-	-	-
kmeans	0.0777	0.0473	0.0826	0.0491	-	-	-	-
simple truncation	0.1089	0.0744	0.1113	0.0750	-	-	-	-
similarity measures	0.0890	0.0534	0.0885	0.0524	-	-	-	-
extractive	0.0844	0.0532	0.0842	0.0524	-	-	-	-
deepseek32b-me	0.2059	0.1244	0.2228	0.1249	-	-	-	-
EP-1	0.3594	0.2021	0.3585	0.1905	-	-	-	-
abstractive	0.0686	0.0397	0.0718	0.0411	-	-	-	-
EP-2	0.3246	0.2239	0.3153	0.2110	-	-	-	-
deepseek32b-full	0.2259	0.1315	0.2432	0.1314	-	-	-	-
deepseek32b-f	0.2112	0.1223	0.2305	0.1262	-	-	-	-
GPT4O	0.3483	0.1820	0.3538	0.1742	-	-	-	-
phaseB-4	0.2055	0.1210	0.2265	0.1240	-	-	-	-
EP-4	0.3488	0.2474	0.3409	0.2309	-	-	-	-
phaseB-5	0.2184	0.1329	0.2412	0.1338	-	-	-	-
deepseek-r1:32b	0.2809	0.1506	0.3041	0.1497	-	-	-	-
EP-5	0.3123	0.2032	0.3101	0.1940	-	-	-	-
EP-3	0.3079	0.2174	0.3070	0.2047	-	-	-	-
2025-DMIS-KU-1	-	-	-	-	-	-	-	-
2025-DMIS-KU-4	-	-	-	-	-	-	-	-
2025-DMIS-KU-5	-	-	-	-	-	-	-	-
2025-DMIS-KU-3	-	-	-	-	-	-	-	-
deepseek-r1:14b	0.2740	0.1439	0.2742	0.1358	-	-	-	-
2025-DMIS-KU-2	-	-	-	-	-	-	-	-
using free 7b LLM	0.4350	0.4122	0.4295	0.4008	-	-	-	-
deepseek-r1:8b	0.2565	0.1271	0.2736	0.1287	-	-	-	-
lasigeBioTM	0.1731	0.1859	0.1647	0.1768	-	-	-	-
gpt 01 mini	0.2760	0.1432	0.2885	0.1409	-	-	-	-
BioASQ_Baseline	-	-	-	-	-	-	-	-

Test batch 2

Exact Answers

	Yes/No				Factoid			List
System	Accuracy	F1 Yes	F1 No	Macro F1	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
IISR first submit	0.9412	0.9524	0.9231	0.9377	0.5185	0.5556	0.5370	0.4961	0.5209	0.4954
IISR 2nd submit	0.9412	0.9524	0.9231	0.9377	0.4444	0.4815	0.4630	0.4575	0.4522	0.4441
IISR 3rd submit	0.9412	0.9524	0.9231	0.9377	0.5185	0.5185	0.5185	0.5263	0.5626	0.5281
IISR 4th submit	0.9412	0.9524	0.9231	0.9377	0.4444	0.4444	0.4444	0.5905	0.5904	0.5800
IISR 5th submit	0.8824	0.9091	0.8333	0.8712	0.5556	0.5926	0.5741	0.4960	0.5127	0.4903
bioinfo-0	0.6471	0.7857	-	0.3929	-	-	-	-	-	-
bioinfo-1	0.6471	0.7857	-	0.3929	-	-	-	-	-	-
bioinfo-2	0.6471	0.7857	-	0.3929	-	-	-	-	-	-
bioinfo-3	0.6471	0.7857	-	0.3929	-	-	-	-	-	-
bioinfo-4	0.6471	0.7857	-	0.3929	-	-	-	-	-	-
UR-IW-1	0.8824	0.9167	0.8000	0.8583	0.5556	0.6296	0.5926	0.4088	0.6561	0.4716
UR-IW-2	0.8824	0.9091	0.8333	0.8712	0.5185	0.5926	0.5556	0.3833	0.5784	0.4407
UR-IW-3	0.8824	0.9000	0.8571	0.8786	0.5185	0.5556	0.5309	0.4312	0.6771	0.5010
UR-IW-4	0.9412	0.9565	0.9091	0.9328	0.5185	0.5926	0.5556	0.4610	0.6425	0.5188
UR-IW-5	1.0000	1.0000	1.0000	1.0000	0.5185	0.5556	0.5370	0.3916	0.6048	0.4463
UniTor_0	0.9412	0.9565	0.9091	0.9328	0.6667	0.6667	0.6667	0.4070	0.5757	0.4487
UniTor_1	0.9412	0.9565	0.9091	0.9328	0.6667	0.6667	0.6667	0.4070	0.5757	0.4487
UniTor_2	0.9412	0.9565	0.9091	0.9328	0.7037	0.7037	0.7037	0.3462	0.4717	0.3807
UniTor_3	0.9412	0.9565	0.9091	0.9328	0.7037	0.7037	0.7037	0.3462	0.4717	0.3807
Fleming-1	1.0000	1.0000	1.0000	1.0000	0.3704	0.6296	0.4704	0.5263	0.5516	0.5210
Fleming-2	1.0000	1.0000	1.0000	1.0000	0.3704	0.6296	0.4704	0.4810	0.6696	0.5356
Mistral7BIns10shots	1.0000	1.0000	1.0000	1.0000	0.1481	0.1481	0.1481	0.2370	0.2526	0.2309
GPT4turbo	1.0000	1.0000	1.0000	1.0000	0.5185	0.5926	0.5556	0.5216	0.5657	0.5233
dmiip2024	1.0000	1.0000	1.0000	1.0000	0.5926	0.5926	0.5926	0.5719	0.6561	0.6010
dmiip2024_1	1.0000	1.0000	1.0000	1.0000	0.5926	0.5926	0.5926	0.5615	0.6145	0.5741
dmiip2024_3	1.0000	1.0000	1.0000	1.0000	0.6296	0.6667	0.6481	0.5728	0.5838	0.5683
dmiip2024_4	1.0000	1.0000	1.0000	1.0000	0.5556	0.6296	0.5926	0.6360	0.6315	0.6152
dmiip2024_2	1.0000	1.0000	1.0000	1.0000	0.4815	0.4815	0.4815	0.4640	0.7132	0.5365
bious1	0.9412	0.9524	0.9231	0.9377	0.3704	0.4074	0.3889	0.3393	0.4146	0.3582
bious2	0.8235	0.8696	0.7273	0.7984	0.3333	0.3704	0.3519	0.3688	0.4776	0.4007
bious3	0.9412	0.9565	0.9091	0.9328	0.4444	0.5185	0.4815	0.4392	0.5170	0.4669
bious4	0.9412	0.9565	0.9091	0.9328	0.3704	0.4074	0.3889	0.3713	0.4337	0.3954
bious5	0.9412	0.9565	0.9091	0.9328	0.4444	0.4444	0.4444	0.3809	0.5026	0.4195
lasigeBioTM-onto-bl	0.5294	0.5556	0.5000	0.5278	0.0741	0.1481	0.1111	0.0992	0.1266	0.1047
lasigeBioTM-onto-sm	0.6471	0.6667	0.6250	0.6458	0.0741	0.1111	0.0926	0.0421	0.0301	0.0351
Fleming-3	1.0000	1.0000	1.0000	1.0000	0.3704	0.7407	0.5148	0.5263	0.5516	0.5210
GPT4O	0.9412	0.9524	0.9231	0.9377	0.3704	0.3704	0.3704	0.4967	0.4779	0.4666
deepseek-r1:32b	0.8824	0.9091	0.8333	0.8712	0.0741	0.0741	0.0741	0.1843	0.2232	0.1967
deepseek-r1:14b	0.8824	0.9091	0.8333	0.8712	0.0741	0.0741	0.0741	0.1843	0.2232	0.1967
deepseek-r1:8b	1.0000	1.0000	1.0000	1.0000	0.4444	0.4444	0.4444	0.4912	0.5393	0.5000
gpt 01 mini	0.9412	0.9565	0.9091	0.9328	0.1111	0.1111	0.1111	0.2791	0.2671	0.2493
lasigeBioTM	0.8235	0.8696	0.7273	0.7984	0.4815	0.4815	0.4815	0.6842	0.2308	0.3329
deepseek32b-me	0.8824	0.9000	0.8571	0.8786	0.5556	0.5556	0.5556	0.5079	0.5770	0.5182
deepseek32b-full	0.9412	0.9524	0.9231	0.9377	0.6667	0.6667	0.6667	0.4718	0.5073	0.4723
deepseek32b-f	0.9412	0.9524	0.9231	0.9377	0.5926	0.5926	0.5926	0.4744	0.5336	0.4846
phaseB-4	1.0000	1.0000	1.0000	1.0000	0.5185	0.5185	0.5185	0.5410	0.6296	0.5408
phaseB-5	1.0000	1.0000	1.0000	1.0000	0.4074	0.4074	0.4074	0.5705	0.5748	0.5412
lasigeBioTM-ku-bl	0.7647	0.8333	0.6000	0.7167	-	-	-	-	-	-
simple truncation	1.0000	1.0000	1.0000	1.0000	0.5185	0.6296	0.5679	0.5429	0.6074	0.5510
config-2	0.9412	0.9565	0.9091	0.9328	0.5926	0.5926	0.5926	0.4754	0.5363	0.4943
config-1	1.0000	1.0000	1.0000	1.0000	0.5185	0.5185	0.5185	0.5140	0.5026	0.5030
config-3	0.9412	0.9565	0.9091	0.9328	0.5926	0.5926	0.5926	0.4754	0.5363	0.4943
config-4	1.0000	1.0000	1.0000	1.0000	0.5926	0.6296	0.6111	0.4784	0.5385	0.4851
config-5	1.0000	1.0000	1.0000	1.0000	0.5926	0.5926	0.5926	0.5412	0.5801	0.5444
mistral	0.9412	0.9524	0.9231	0.9377	0.4815	0.6296	0.5556	0.5174	0.5801	0.5264
llama	1.0000	1.0000	1.0000	1.0000	0.4444	0.5185	0.4815	0.5004	0.5021	0.4832
dense	0.9412	0.9524	0.9231	0.9377	0.5556	0.5556	0.5556	0.5192	0.5516	0.5250
2025-DMIS-KU-1	0.9412	0.9524	0.9231	0.9377	0.5185	0.5556	0.5370	0.5624	0.5701	0.5522
2025-DMIS-KU-2	1.0000	1.0000	1.0000	1.0000	0.5556	0.5556	0.5556	0.5624	0.5701	0.5522
2025-DMIS-KU-3	0.9412	0.9565	0.9091	0.9328	0.5185	0.5926	0.5556	0.5594	0.5723	0.5513
EP-1	0.6471	0.7500	0.4000	0.5750	0.5185	0.7407	0.6031	0.5685	0.7083	0.6027
2025-DMIS-KU-4	0.8824	0.9000	0.8571	0.8786	0.5926	0.7778	0.6667	0.5477	0.6184	0.5670
EP-2	0.6471	0.7500	0.4000	0.5750	0.5185	0.5556	0.5370	0.5877	0.5889	0.5721
2025-DMIS-KU-5	0.9412	0.9524	0.9231	0.9377	0.5556	0.7778	0.6481	0.5599	0.5789	0.5545
kmeans	0.8824	0.9000	0.8571	0.8786	0.4815	0.5926	0.5370	0.4711	0.5008	0.4637
similarity measures	0.8235	0.8696	0.7273	0.7984	0.4444	0.6667	0.5340	0.3280	0.4281	0.3586
extractive	0.8824	0.9091	0.8333	0.8712	0.4444	0.6296	0.5198	0.3202	0.3887	0.3390
EP-3	0.5882	0.6957	0.3636	0.5296	0.4444	0.5556	0.4938	0.5167	0.5623	0.5208
abstractive	0.8235	0.8696	0.7273	0.7984	0.4074	0.6296	0.5031	0.2727	0.3420	0.2822
EP-4	1.0000	1.0000	1.0000	1.0000	0.4815	0.4815	0.4815	0.5412	0.5915	0.5362
EP-5	0.9412	0.9524	0.9231	0.9377	0.5185	0.5185	0.5185	0.6044	0.5415	0.5538
BioASQ_Baseline	0.4706	0.4000	0.5263	0.4632	0.1852	0.4444	0.2772	0.2693	0.3828	0.2528

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
IISR first submit	0.2991	0.2503	0.2863	0.2290	-	-	-	-
IISR 2nd submit	0.4307	0.3875	0.4114	0.3598	-	-	-	-
IISR 3rd submit	0.3349	0.2880	0.3194	0.2628	-	-	-	-
IISR 4th submit	0.3907	0.3993	0.3726	0.3737	-	-	-	-
IISR 5th submit	0.3977	0.3707	0.3824	0.3479	-	-	-	-
bioinfo-0	0.2223	0.2129	0.2132	0.1979	-	-	-	-
bioinfo-1	0.2967	0.1946	0.2921	0.1810	-	-	-	-
bioinfo-2	0.2946	0.1791	0.2952	0.1673	-	-	-	-
bioinfo-3	0.2871	0.1747	0.2878	0.1647	-	-	-	-
bioinfo-4	0.2664	0.1607	0.2747	0.1555	-	-	-	-
UR-IW-1	0.3568	0.2023	0.3697	0.1956	-	-	-	-
UR-IW-2	0.2544	0.1779	0.2608	0.1719	-	-	-	-
UR-IW-3	0.3607	0.2346	0.3666	0.2203	-	-	-	-
UR-IW-4	0.2885	0.1780	0.2999	0.1745	-	-	-	-
UR-IW-5	0.3770	0.2757	0.3751	0.2627	-	-	-	-
UniTor_0	0.4073	0.3929	0.4007	0.3822	-	-	-	-
UniTor_1	0.4073	0.3929	0.4007	0.3822	-	-	-	-
UniTor_2	0.4156	0.4005	0.4043	0.3857	-	-	-	-
UniTor_3	0.4156	0.4005	0.4043	0.3857	-	-	-	-
Fleming-1	0.3617	0.2239	0.3642	0.2116	-	-	-	-
Fleming-2	0.4838	0.2274	0.4629	0.2087	-	-	-	-
Mistral7BIns10shots	0.3635	0.3236	0.3538	0.3032	-	-	-	-
GPT4turbo	0.3127	0.2867	0.3050	0.2698	-	-	-	-
dmiip2024	0.3449	0.3363	0.3356	0.3209	-	-	-	-
dmiip2024_1	0.3597	0.3581	0.3586	0.3476	-	-	-	-
dmiip2024_3	0.2209	0.2226	0.2099	0.2036	-	-	-	-
dmiip2024_4	0.2807	0.2841	0.2737	0.2689	-	-	-	-
dmiip2024_2	0.2986	0.2952	0.2901	0.2785	-	-	-	-
bious1	0.2795	0.2507	0.2818	0.2389	-	-	-	-
bious2	0.3068	0.2644	0.3073	0.2570	-	-	-	-
bious3	0.2993	0.2608	0.3013	0.2523	-	-	-	-
bious4	0.2880	0.2581	0.2936	0.2536	-	-	-	-
bious5	0.2936	0.2649	0.2944	0.2561	-	-	-	-
lasigeBioTM-onto-bl	0.1796	0.0819	0.2027	0.0880	-	-	-	-
lasigeBioTM-onto-sm	0.1773	0.0885	0.1956	0.0945	-	-	-	-
Fleming-3	0.3705	0.2200	0.3765	0.2106	-	-	-	-
GPT4O	0.3331	0.1588	0.3374	0.1515	-	-	-	-
deepseek-r1:32b	0.1066	0.0965	0.1233	0.1084	-	-	-	-
deepseek-r1:14b	0.1153	0.0995	0.1308	0.1105	-	-	-	-
deepseek-r1:8b	0.3246	0.1755	0.3214	0.1645	-	-	-	-
gpt 01 mini	0.1699	0.0898	0.1956	0.0979	-	-	-	-
lasigeBioTM	0.3069	0.2749	0.2982	0.2560	-	-	-	-
deepseek32b-me	0.2093	0.1320	0.2144	0.1299	-	-	-	-
deepseek32b-full	0.2358	0.1353	0.2356	0.1307	-	-	-	-
deepseek32b-f	0.2398	0.1388	0.2447	0.1362	-	-	-	-
phaseB-4	0.3262	0.2199	0.3291	0.2085	-	-	-	-
phaseB-5	0.3223	0.2240	0.3286	0.2147	-	-	-	-
lasigeBioTM-ku-bl	0.3250	0.3495	0.3166	0.3309	-	-	-	-
simple truncation	0.1437	0.1113	0.1383	0.1048	-	-	-	-
config-2	0.4404	0.2389	0.4326	0.2210	-	-	-	-
config-1	0.4668	0.4417	0.4605	0.4287	-	-	-	-
config-3	0.4404	0.2389	0.4326	0.2210	-	-	-	-
config-4	0.3358	0.2134	0.3259	0.1968	-	-	-	-
config-5	0.4720	0.2564	0.4652	0.2387	-	-	-	-
mistral	0.3561	0.2721	0.3445	0.2529	-	-	-	-
llama	0.2803	0.1785	0.2847	0.1701	-	-	-	-
dense	0.2983	0.1996	0.2929	0.1822	-	-	-	-
2025-DMIS-KU-1	-	-	-	-	-	-	-	-
2025-DMIS-KU-2	-	-	-	-	-	-	-	-
2025-DMIS-KU-3	-	-	-	-	-	-	-	-
EP-1	0.3733	0.2645	0.3672	0.2475	-	-	-	-
2025-DMIS-KU-4	-	-	-	-	-	-	-	-
EP-2	0.3760	0.2533	0.3653	0.2353	-	-	-	-
2025-DMIS-KU-5	-	-	-	-	-	-	-	-
kmeans	0.1562	0.1173	0.1464	0.1092	-	-	-	-
similarity measures	0.1056	0.0565	0.0988	0.0533	-	-	-	-
extractive	0.1114	0.0614	0.1039	0.0578	-	-	-	-
EP-3	0.3916	0.2424	0.3828	0.2275	-	-	-	-
abstractive	0.1263	0.0628	0.1185	0.0588	-	-	-	-
EP-4	0.4213	0.2494	0.4165	0.2326	-	-	-	-
EP-5	0.3816	0.2990	0.3613	0.2725	-	-	-	-
BioASQ_Baseline	-	-	-	-	-	-	-	-

Test batch 3

Exact Answers

	Yes/No				Factoid			List
System	Accuracy	F1 Yes	F1 No	Macro F1	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
UR-IW-1	0.8636	0.9143	0.6667	0.7905	0.3500	0.4500	0.3725	0.4371	0.6368	0.4684
UR-IW-2	0.8636	0.9091	0.7273	0.8182	0.2500	0.3000	0.2750	0.4009	0.5549	0.4369
UR-IW-3	0.8636	0.9091	0.7273	0.8182	0.2500	0.3500	0.3000	0.4324	0.6102	0.4774
UR-IW-4	0.9091	0.9412	0.8000	0.8706	0.3000	0.3500	0.3250	0.4472	0.5272	0.4687
UR-IW-5	0.9091	0.9412	0.8000	0.8706	0.2500	0.4000	0.3250	0.4465	0.5790	0.4783
UniTor_0	0.8636	0.9091	0.7273	0.8182	0.4000	0.4000	0.4000	0.5337	0.5712	0.5455
UniTor_1	0.8636	0.9091	0.7273	0.8182	0.4000	0.4500	0.4250	0.5867	0.6042	0.5858
UniTor_2	0.8636	0.9091	0.7273	0.8182	0.3500	0.3500	0.3500	0.5190	0.5455	0.5244
UniTor_3	0.8636	0.9091	0.7273	0.8182	0.4000	0.4000	0.4000	0.5569	0.5795	0.5601
bioinfo-0	0.7727	0.8718	-	0.4359	-	-	-	-	-	-
bioinfo-1	0.7727	0.8718	-	0.4359	-	-	-	-	-	-
bioinfo-2	0.7727	0.8718	-	0.4359	-	-	-	-	-	-
bioinfo-3	0.7727	0.8718	-	0.4359	-	-	-	-	-	-
bioinfo-4	0.7727	0.8718	-	0.4359	-	-	-	-	-	-
Synthia with first	0.8636	0.9032	0.7692	0.8362	0.0500	0.0500	0.0500	0.3535	0.4146	0.3676
RMC_append_snippets	0.9545	0.9697	0.9091	0.9394	-	-	-	0.3832	0.4581	0.4001
IISR first submit	0.9545	0.9697	0.9091	0.9394	0.3500	0.4000	0.3750	0.6048	0.5896	0.5781
IISR 2nd submit	0.9091	0.9375	0.8333	0.8854	0.3000	0.3500	0.3250	0.6433	0.6429	0.6337
IISR 3rd submit	0.9545	0.9697	0.9091	0.9394	0.4000	0.4500	0.4250	0.6465	0.6037	0.6069
IISR 4th submit	0.8636	0.9091	0.7273	0.8182	0.2000	0.2500	0.2250	0.6300	0.5924	0.5936
IISR 5th submit	0.9545	0.9697	0.9091	0.9394	0.2500	0.3000	0.2750	0.6357	0.6429	0.6261
lasigeBioTM	0.7727	0.8387	0.6154	0.7270	0.3000	0.3000	0.3000	0.5343	0.5196	0.5144
AQAMS2	0.9545	0.9697	0.9091	0.9394	0.3000	0.3500	0.3250	0.6333	0.6456	0.6310
mistral	0.9545	0.9697	0.9091	0.9394	0.3000	0.5000	0.4000	0.5852	0.6214	0.5844
llama	0.8636	0.9143	0.6667	0.7905	0.4000	0.4500	0.4250	0.5854	0.5918	0.5819
dense	0.9091	0.9412	0.8000	0.8706	0.3000	0.5000	0.4000	0.5473	0.5886	0.5535
GPT4O	0.9091	0.9412	0.8000	0.8706	0.3000	0.3000	0.3000	0.5256	0.5206	0.5198
deepseek-r1:32b	0.8182	0.8750	0.6667	0.7708	0.1500	0.1500	0.1500	0.4924	0.4902	0.4875
deepseek-r1:14b	0.8636	0.9091	0.7273	0.8182	0.2000	0.2000	0.2000	0.4317	0.4697	0.4463
deepseek-r1:8b	0.8636	0.9091	0.7273	0.8182	0.1000	0.1000	0.1000	0.4735	0.5014	0.4795
Fleming-4	0.9545	0.9697	0.9091	0.9394	0.2000	0.5500	0.3225	0.3927	0.6356	0.4595
Fleming-1	0.9545	0.9697	0.9091	0.9394	0.1000	0.5500	0.2717	0.5268	0.6708	0.5638
2025-DMIS-KU-1	0.9545	0.9697	0.9091	0.9394	0.3500	0.6000	0.4392	0.6021	0.5999	0.5912
simple truncation	0.9545	0.9697	0.9091	0.9394	0.4500	0.6000	0.5042	0.4335	0.4300	0.4259
kmeans	0.9545	0.9697	0.9091	0.9394	0.4000	0.6000	0.4917	0.4152	0.4202	0.4035
Fleming-2	0.9091	0.9412	0.8000	0.8706	0.2000	0.4500	0.3083	0.4235	0.6356	0.4832
2025-DMIS-KU-2	0.9545	0.9697	0.9091	0.9394	0.3000	0.6000	0.4142	0.6290	0.6008	0.6024
bious1	0.9545	0.9697	0.9091	0.9394	0.2000	0.2500	0.2250	0.4796	0.5076	0.4834
bious2	0.9091	0.9375	0.8333	0.8854	0.1500	0.2500	0.1917	0.4896	0.5242	0.5008
2025-DMIS-KU-3	0.9091	0.9375	0.8333	0.8854	0.3500	0.6000	0.4458	0.6068	0.6328	0.6087
Fleming-3	0.9545	0.9697	0.9091	0.9394	0.2000	0.4500	0.3083	0.3927	0.6356	0.4595
bious3	0.9545	0.9697	0.9091	0.9394	0.1500	0.2500	0.1917	0.4510	0.4798	0.4615
2025-DMIS-KU-4	0.9545	0.9697	0.9091	0.9394	0.4500	0.6000	0.5042	0.6261	0.6216	0.6123
2025-DMIS-KU-5	0.9091	0.9375	0.8333	0.8854	0.3500	0.6000	0.4333	0.6389	0.6504	0.6269
bious4	0.8182	0.8667	0.7143	0.7905	0.2500	0.3500	0.2917	0.4670	0.5162	0.4854
bious5	0.9091	0.9375	0.8333	0.8854	0.2000	0.3000	0.2417	0.4500	0.4836	0.4624
EP-1	0.9545	0.9697	0.9091	0.9394	0.4000	0.5500	0.4625	0.6659	0.6530	0.6331
EP-2	0.9091	0.9412	0.8000	0.8706	0.3500	0.6000	0.4542	0.6364	0.6075	0.6075
lasigeBioTM-onto-bl	0.9091	0.9412	0.8000	0.8706	0.1000	0.1000	0.1000	0.5314	0.4916	0.5009
lasigeBioTM-onto-sm	0.5000	0.5600	0.4211	0.4905	-	-	-	-	-	-
similarity measures	0.9091	0.9375	0.8333	0.8854	0.3500	0.6000	0.4600	0.4622	0.4706	0.4576
sp_lasigebiotm	0.8636	0.9091	0.7273	0.8182	0.1500	0.1500	0.1500	0.5576	0.5149	0.5153
extractive	0.9545	0.9697	0.9091	0.9394	0.1000	0.1000	0.1000	-	-	-
dmiip2024	0.8182	0.8667	0.7143	0.7905	0.3000	0.4000	0.3500	0.5945	0.5565	0.5694
dmiip2024_1	0.8182	0.8667	0.7143	0.7905	0.3500	0.3500	0.3500	0.6496	0.6045	0.6075
dmiip2024_3	0.8636	0.9143	0.6667	0.7905	0.3000	0.4000	0.3417	0.5632	0.5621	0.5580
dmiip2024_4	0.9545	0.9697	0.9091	0.9394	0.3500	0.4000	0.3750	0.6071	0.5196	0.5496
dmiip2024_2	0.9091	0.9412	0.8000	0.8706	0.2500	0.3000	0.2750	0.5133	0.6451	0.5521
deepseek32b-me	0.9091	0.9375	0.8333	0.8854	0.3500	0.3500	0.3500	0.5433	0.5631	0.5473
deepseek32b-full	0.9091	0.9375	0.8333	0.8854	0.3500	0.3500	0.3500	0.5433	0.5631	0.5473
deepseek32b-f	0.9091	0.9412	0.8000	0.8706	0.4000	0.4000	0.4000	0.6247	0.6050	0.5976
EP-3	0.9091	0.9412	0.8000	0.8706	0.4000	0.6500	0.5100	0.5969	0.6787	0.6148
phaseB-4	0.9545	0.9697	0.9091	0.9394	0.4000	0.4000	0.4000	0.6417	0.5999	0.6102
phaseB-5	0.9545	0.9697	0.9091	0.9394	0.3000	0.3000	0.3000	0.5770	0.5494	0.5502
EP-4	0.9091	0.9412	0.8000	0.8706	0.4000	0.4500	0.4250	0.5956	0.6141	0.5964
BioASQ_Baseline	0.2727	0.2000	0.3333	0.2667	0.0000	0.1000	0.0292	0.1821	0.2878	0.1810

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
UR-IW-1	0.3310	0.1894	0.3554	0.1857	-	-	-	-
UR-IW-2	0.1616	0.1166	0.1931	0.1250	-	-	-	-
UR-IW-3	0.3500	0.2171	0.3586	0.2074	-	-	-	-
UR-IW-4	0.1719	0.1156	0.1931	0.1221	-	-	-	-
UR-IW-5	0.2918	0.2160	0.3070	0.2096	-	-	-	-
UniTor_0	0.3101	0.3256	0.3112	0.3228	-	-	-	-
UniTor_1	0.3255	0.3328	0.3299	0.3359	-	-	-	-
UniTor_2	0.3239	0.3391	0.3277	0.3401	-	-	-	-
UniTor_3	0.3290	0.3358	0.3339	0.3386	-	-	-	-
bioinfo-0	0.1975	0.1807	0.2023	0.1773	-	-	-	-
bioinfo-1	0.2828	0.1737	0.2878	0.1664	-	-	-	-
bioinfo-2	0.2433	0.1398	0.2666	0.1428	-	-	-	-
bioinfo-3	0.2447	0.1510	0.2598	0.1496	-	-	-	-
bioinfo-4	0.1993	0.1335	0.2157	0.1335	-	-	-	-
Synthia with first	0.2509	0.2376	0.2509	0.2307	-	-	-	-
RMC_append_snippets	0.3149	0.2717	0.3138	0.2628	-	-	-	-
IISR first submit	0.2247	0.1915	0.2350	0.1907	-	-	-	-
IISR 2nd submit	0.3787	0.3351	0.3777	0.3248	-	-	-	-
IISR 3rd submit	0.2954	0.2495	0.2978	0.2378	-	-	-	-
IISR 4th submit	0.3429	0.3520	0.3383	0.3439	-	-	-	-
IISR 5th submit	0.3762	0.3447	0.3774	0.3339	-	-	-	-
lasigeBioTM	0.4309	0.2236	0.4357	0.2113	-	-	-	-
AQAMS2	0.3567	0.1888	0.3643	0.1795	-	-	-	-
mistral	0.3107	0.2035	0.3129	0.1923	-	-	-	-
llama	0.2079	0.1372	0.2135	0.1335	-	-	-	-
dense	0.3407	0.2661	0.3378	0.2504	-	-	-	-
GPT4O	0.3146	0.1851	0.3267	0.1806	-	-	-	-
deepseek-r1:32b	0.2777	0.1665	0.2917	0.1642	-	-	-	-
deepseek-r1:14b	0.2308	0.2272	0.2397	0.2294	-	-	-	-
deepseek-r1:8b	0.2382	0.2316	0.2469	0.2333	-	-	-	-
Fleming-4	0.2651	0.1152	0.3027	0.1187	-	-	-	-
Fleming-1	0.3252	0.1640	0.3308	0.1575	-	-	-	-
2025-DMIS-KU-1	-	-	-	-	-	-	-	-
simple truncation	0.1489	0.1156	0.1469	0.1121	-	-	-	-
kmeans	0.1365	0.0881	0.1356	0.0858	-	-	-	-
Fleming-2	0.4038	0.1478	0.4170	0.1424	-	-	-	-
2025-DMIS-KU-2	-	-	-	-	-	-	-	-
bious1	0.2829	0.2277	0.2834	0.2167	-	-	-	-
bious2	0.2701	0.2072	0.2722	0.1993	-	-	-	-
2025-DMIS-KU-3	-	-	-	-	-	-	-	-
Fleming-3	0.3286	0.1120	0.3520	0.1132	-	-	-	-
bious3	0.2654	0.2119	0.2746	0.2100	-	-	-	-
2025-DMIS-KU-4	-	-	-	-	-	-	-	-
2025-DMIS-KU-5	-	-	-	-	-	-	-	-
bious4	0.2665	0.2021	0.2768	0.1978	-	-	-	-
bious5	0.2755	0.2157	0.2767	0.2061	-	-	-	-
EP-1	0.3178	0.2226	0.3228	0.2088	-	-	-	-
EP-2	0.3309	0.2224	0.3330	0.2108	-	-	-	-
lasigeBioTM-onto-bl	0.3390	0.1846	0.3441	0.1783	-	-	-	-
lasigeBioTM-onto-sm	0.0878	0.0754	0.1033	0.0829	-	-	-	-
similarity measures	0.1247	0.0848	0.1251	0.0812	-	-	-	-
sp_lasigebiotm	0.3286	0.2142	0.3291	0.2031	-	-	-	-
extractive	0.1391	0.0738	0.1404	0.0712	-	-	-	-
dmiip2024	0.2428	0.2395	0.2522	0.2425	-	-	-	-
dmiip2024_1	0.2482	0.2418	0.2563	0.2418	-	-	-	-
dmiip2024_3	0.1965	0.2129	0.1962	0.2092	-	-	-	-
dmiip2024_4	0.2578	0.2632	0.2589	0.2621	-	-	-	-
dmiip2024_2	0.2868	0.2894	0.2954	0.2924	-	-	-	-
deepseek32b-me	0.2870	0.3052	0.2827	0.2968	-	-	-	-
deepseek32b-full	0.2870	0.3052	0.2827	0.2968	-	-	-	-
deepseek32b-f	0.2281	0.1291	0.2381	0.1268	-	-	-	-
EP-3	0.3340	0.2308	0.3339	0.2175	-	-	-	-
phaseB-4	0.2120	0.1261	0.2251	0.1255	-	-	-	-
phaseB-5	0.2917	0.2005	0.3129	0.1946	-	-	-	-
EP-4	0.3550	0.2077	0.3545	0.1946	-	-	-	-
BioASQ_Baseline	-	-	-	-	-	-	-	-

Test batch 4

Exact Answers

	Yes/No				Factoid			List
System	Accuracy	F1 Yes	F1 No	Macro F1	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
UniTor_0	0.9231	0.9474	0.8571	0.9023	0.5455	0.5909	0.5682	0.4480	0.4742	0.4508
UniTor_1	0.9615	0.9744	0.9231	0.9487	0.5455	0.5909	0.5682	0.4985	0.5012	0.4969
UniTor_2	0.9615	0.9744	0.9231	0.9487	0.5455	0.5909	0.5682	0.3556	0.3438	0.3450
UniTor_3	0.9615	0.9744	0.9231	0.9487	0.5455	0.5909	0.5682	0.4100	0.4425	0.4133
UR-IW-1	0.9231	0.9500	0.8333	0.8917	0.5455	0.5909	0.5606	0.3303	0.5425	0.3872
UR-IW-2	0.9231	0.9474	0.8571	0.9023	0.5000	0.5000	0.5000	0.3285	0.5413	0.3797
UR-IW-3	0.7692	0.8235	0.6667	0.7451	0.4545	0.4545	0.4545	0.4140	0.6127	0.4711
UR-IW-4	0.9231	0.9444	0.8750	0.9097	0.5455	0.6364	0.5909	0.4163	0.5536	0.4479
UR-IW-5	0.9231	0.9474	0.8571	0.9023	0.5000	0.5455	0.5227	0.3671	0.5911	0.4338
Synthia with first	0.8846	0.9143	0.8235	0.8689	0.1818	0.1818	0.1818	0.3088	0.2385	0.2596
RMC_append_snippets	0.8846	0.9189	0.8000	0.8595	0.3636	0.3636	0.3636	0.4175	0.4048	0.3958
bioinfo-0	0.7308	0.8444	-	0.4222	-	-	-	-	-	-
bioinfo-1	0.7308	0.8444	-	0.4222	-	-	-	-	-	-
bioinfo-2	0.7308	0.8444	-	0.4222	-	-	-	-	-	-
bioinfo-3	0.7308	0.8444	-	0.4222	-	-	-	-	-	-
bioinfo-4	0.7308	0.8444	-	0.4222	-	-	-	-	-	-
My system 1	0.8846	0.9268	0.7273	0.8271	-	-	-	-	-	-
3.PhaseB_System	0.7308	0.8444	-	0.4222	0.1818	0.1818	0.1818	0.0531	0.0563	0.0536
edo	0.2692	-	0.4242	0.2121	0.0909	0.2273	0.1364	0.0895	0.1123	0.0928
DB_vector_&_LLM	0.9231	0.9474	0.8571	0.9023	0.5455	0.5909	0.5682	0.4835	0.6171	0.5241
Machinen Results	0.7308	0.8372	0.2222	0.5297	0.2727	0.4091	0.3182	0.0926	0.2178	0.1221
Fleming-1	0.9231	0.9444	0.8750	0.9097	0.3636	0.5909	0.4697	0.4982	0.4684	0.4697
AQAMS2	0.9231	0.9500	0.8333	0.8917	0.5455	0.5455	0.5455	0.5904	0.4934	0.5277
IISR first submit	0.9231	0.9474	0.8571	0.9023	0.4545	0.5000	0.4773	0.6137	0.6048	0.6061
IISR 2nd submit	0.8077	0.8571	0.7059	0.7815	0.4545	0.4545	0.4545	0.6443	0.6197	0.6259
IISR 3rd submit	0.8846	0.9189	0.8000	0.8595	0.5000	0.5000	0.5000	0.5686	0.5443	0.5531
IISR 4th submit	0.8846	0.9189	0.8000	0.8595	0.4091	0.4545	0.4318	0.4680	0.4008	0.4266
dmiip2024	0.9615	0.9730	0.9333	0.9532	0.5000	0.5909	0.5455	0.6545	0.6273	0.6372
dmiip2024_1	0.9231	0.9444	0.8750	0.9097	0.5000	0.5000	0.5000	0.6358	0.6196	0.6226
dmiip2024_2	0.9615	0.9730	0.9333	0.9532	0.5455	0.5455	0.5455	0.5417	0.6791	0.5799
dmiip2024_4	0.9615	0.9744	0.9231	0.9487	0.5000	0.5909	0.5455	0.7491	0.5980	0.6492
dmiip2024_3	0.9231	0.9474	0.8571	0.9023	0.5455	0.5455	0.5455	0.6337	0.5208	0.5609
IISR 5th submit	0.8077	0.8571	0.7059	0.7815	0.4545	0.5000	0.4773	0.5758	0.5673	0.5679
deepseek32b-me	0.9231	0.9474	0.8571	0.9023	0.4545	0.4545	0.4545	0.3994	0.4293	0.3987
deepseek32b-full	0.9231	0.9474	0.8571	0.9023	0.4545	0.4545	0.4545	0.3994	0.4293	0.3987
deepseek32b-f	0.9231	0.9474	0.8571	0.9023	0.4545	0.4545	0.4545	0.5098	0.5156	0.5043
phaseB-4	0.9231	0.9474	0.8571	0.9023	0.5000	0.5000	0.5000	0.4921	0.4985	0.4871
phaseB-5	0.9615	0.9744	0.9231	0.9487	0.5000	0.5000	0.5000	0.5558	0.6055	0.5648
Mistral7BIns10shots	0.8462	0.8889	0.7500	0.8194	0.4545	0.5000	0.4773	0.5104	0.5152	0.5069
GPT4turbo	0.9615	0.9744	0.9231	0.9487	0.5455	0.5909	0.5682	0.5926	0.5787	0.5814
GPTPrompt1sStyle2	0.9615	0.9744	0.9231	0.9487	0.6364	0.6364	0.6364	0.5855	0.5832	0.5804
bious1	0.8462	0.8889	0.7500	0.8194	0.4091	0.4545	0.4318	0.5417	0.5535	0.5373
bious2	0.7308	0.7879	0.6316	0.7097	0.4091	0.4545	0.4318	0.4452	0.4990	0.4622
bious3	0.8846	0.9189	0.8000	0.8595	0.3636	0.4091	0.3864	0.4649	0.5056	0.4738
GPTPrompt1sStyle3	0.9615	0.9744	0.9231	0.9487	0.5909	0.6364	0.6136	0.6333	0.6285	0.6250
bious4	0.8077	0.8571	0.7059	0.7815	0.4545	0.5000	0.4697	0.4569	0.5126	0.4768
bious5	0.7692	0.8333	0.6250	0.7292	0.4545	0.5000	0.4773	0.4385	0.5426	0.4717
NLP-UTB4	0.7308	0.8444	-	0.4222	0.0455	0.0455	0.0455	0.0526	0.0132	0.0211
sp_lasigebiotm	0.8462	0.8824	0.7778	0.8301	0.5000	0.5000	0.5000	0.4698	0.2960	0.3364
lasigeBioTM	0.8077	0.8485	0.7368	0.7927	0.4091	0.4091	0.4091	0.4183	0.4092	0.3979
lasigeBioTM-onto-bl	0.8077	0.8571	0.7059	0.7815	0.3636	0.4091	0.3864	0.6163	0.5309	0.5592
lasigeBioTM-onto-sm	0.7308	0.7742	0.6667	0.7204	0.0455	0.1364	0.0833	0.3113	0.1887	0.2306
Fleming-4	0.9231	0.9474	0.8571	0.9023	0.2727	0.4545	0.3250	0.3157	0.5413	0.3743
Fleming-5	0.9615	0.9730	0.9333	0.9532	0.2727	0.4545	0.3311	0.3157	0.5413	0.3743
mistral	0.8846	0.9189	0.8000	0.8595	0.5455	0.5909	0.5682	0.5231	0.5947	0.5521
llama	0.9231	0.9474	0.8571	0.9023	0.5455	0.5909	0.5682	0.5386	0.6289	0.5726
dense	0.9231	0.9474	0.8571	0.9023	0.5000	0.5455	0.5227	0.5285	0.5713	0.5452
GPT4O	0.9231	0.9444	0.8750	0.9097	0.3182	0.3182	0.3182	0.4513	0.3838	0.3997
deepseek-r1:32b	0.9231	0.9444	0.8750	0.9097	0.4091	0.4091	0.4091	0.4678	0.4780	0.4622
deepseek-r1:8b	0.8846	0.9143	0.8235	0.8689	0.2727	0.3182	0.2955	0.4932	0.5089	0.4892
gpt 01 mini	0.8077	0.8571	0.7059	0.7815	0.4545	0.4545	0.4545	0.3033	0.2450	0.2594
2025-DMIS-KU-1	0.8846	0.9189	0.8000	0.8595	0.5455	0.5455	0.5455	0.6649	0.5905	0.6155
Fleming-2	0.9231	0.9474	0.8571	0.9023	0.2727	0.4545	0.3250	0.3368	0.3205	0.3208
Fleming-3	0.8846	0.9189	0.8000	0.8595	0.2727	0.4545	0.3250	0.3368	0.3205	0.3208
2025-DMIS-KU-2	0.9231	0.9474	0.8571	0.9023	0.5909	0.6818	0.6136	0.6636	0.5905	0.6160
2025-DMIS-KU-3	0.9615	0.9730	0.9333	0.9532	0.5909	0.6818	0.6136	0.6599	0.6124	0.6200
2025-DMIS-KU-4	0.9615	0.9744	0.9231	0.9487	0.5909	0.6818	0.6136	0.6438	0.6365	0.6328
2025-DMIS-KU-5	0.9231	0.9444	0.8750	0.9097	0.5455	0.6818	0.5909	0.6754	0.5905	0.6180
EP-1	1.0000	1.0000	1.0000	1.0000	0.5455	0.5455	0.5455	0.5921	0.5230	0.5418
EP-2	0.9231	0.9474	0.8571	0.9023	0.5000	0.5455	0.5227	0.5709	0.6268	0.5896
EP-3	1.0000	1.0000	1.0000	1.0000	0.5455	0.5909	0.5682	0.5355	0.6589	0.5768
EP-4	0.9615	0.9730	0.9333	0.9532	0.5000	0.5909	0.5455	0.5650	0.6284	0.5859
EP-5	0.9615	0.9730	0.9333	0.9532	0.5455	0.5455	0.5455	0.5754	0.4832	0.5124
simple truncation	0.9615	0.9730	0.9333	0.9532	0.4091	0.5000	0.4545	0.5104	0.5532	0.5284
kmeans	0.9615	0.9730	0.9333	0.9532	0.4545	0.5455	0.5000	0.5072	0.5753	0.5332
similarity measures	0.9231	0.9444	0.8750	0.9097	0.4091	0.5455	0.4773	0.2342	0.5312	0.3024
extractive	0.9615	0.9730	0.9333	0.9532	0.4545	0.5000	0.4773	0.2840	0.4579	0.3335
abstractive	0.9231	0.9444	0.8750	0.9097	0.4545	0.5455	0.5000	0.2402	0.5453	0.3104
BioASQ_Baseline	0.3462	0.3704	0.3200	0.3452	0.1818	0.2727	0.2197	0.2243	0.3177	0.2439

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
UniTor_0	0.2821	0.2960	0.2756	0.2911	-	-	-	-
UniTor_1	0.2962	0.3021	0.2964	0.3010	-	-	-	-
UniTor_2	0.2729	0.2809	0.2741	0.2834	-	-	-	-
UniTor_3	0.2948	0.3004	0.2934	0.2983	-	-	-	-
UR-IW-1	0.3072	0.1661	0.3214	0.1652	-	-	-	-
UR-IW-2	0.1730	0.0958	0.1979	0.1025	-	-	-	-
UR-IW-3	0.3029	0.1563	0.3076	0.1527	-	-	-	-
UR-IW-4	0.1710	0.0968	0.1957	0.1074	-	-	-	-
UR-IW-5	0.2975	0.1782	0.2976	0.1727	-	-	-	-
Synthia with first	0.2202	0.2205	0.2223	0.2183	-	-	-	-
RMC_append_snippets	0.3282	0.2934	0.3226	0.2824	-	-	-	-
bioinfo-0	0.1744	0.1653	0.1797	0.1643	-	-	-	-
bioinfo-1	0.2399	0.1539	0.2558	0.1552	-	-	-	-
bioinfo-2	0.3492	0.3117	0.3488	0.3091	-	-	-	-
bioinfo-3	0.3396	0.3202	0.3340	0.3123	-	-	-	-
bioinfo-4	0.1947	0.1205	0.2059	0.1231	-	-	-	-
My system 1	0.0360	0.0339	0.0438	0.0413	-	-	-	-
3.PhaseB_System	0.3137	0.3336	0.3109	0.3293	-	-	-	-
edo	0.2797	0.2347	0.2816	0.2306	-	-	-	-
DB_vector_&_LLM	0.3216	0.1307	0.3403	0.1328	-	-	-	-
Machinen Results	0.3877	0.3405	0.3882	0.3313	-	-	-	-
Fleming-1	0.2468	0.0974	0.2720	0.1020	-	-	-	-
AQAMS2	0.3077	0.1787	0.3274	0.1837	-	-	-	-
IISR first submit	0.2261	0.1917	0.2276	0.1873	-	-	-	-
IISR 2nd submit	0.3745	0.3604	0.3725	0.3515	-	-	-	-
IISR 3rd submit	0.2850	0.2276	0.2852	0.2208	-	-	-	-
IISR 4th submit	0.3227	0.3433	0.3144	0.3345	-	-	-	-
dmiip2024	0.2419	0.2369	0.2408	0.2323	-	-	-	-
dmiip2024_1	0.2286	0.2267	0.2288	0.2231	-	-	-	-
dmiip2024_2	0.2377	0.2382	0.2399	0.2384	-	-	-	-
dmiip2024_4	0.2472	0.2487	0.2394	0.2397	-	-	-	-
dmiip2024_3	0.1981	0.2138	0.1855	0.2024	-	-	-	-
IISR 5th submit	0.3855	0.3503	0.3818	0.3384	-	-	-	-
deepseek32b-me	0.2419	0.2641	0.2411	0.2639	-	-	-	-
deepseek32b-full	0.2419	0.2641	0.2411	0.2639	-	-	-	-
deepseek32b-f	0.2063	0.1335	0.2207	0.1333	-	-	-	-
phaseB-4	0.1858	0.1228	0.1982	0.1214	-	-	-	-
phaseB-5	0.2608	0.1686	0.2656	0.1646	-	-	-	-
Mistral7BIns10shots	0.3609	0.2912	0.3536	0.2752	-	-	-	-
GPT4turbo	0.2658	0.2310	0.2638	0.2276	-	-	-	-
GPTPrompt1sStyle2	0.2369	0.2263	0.2398	0.2272	-	-	-	-
bious1	0.2550	0.2164	0.2568	0.2118	-	-	-	-
bious2	0.2260	0.1805	0.2347	0.1815	-	-	-	-
bious3	0.2366	0.1973	0.2449	0.1983	-	-	-	-
GPTPrompt1sStyle3	0.2785	0.2897	0.2767	0.2855	-	-	-	-
bious4	0.2383	0.1953	0.2442	0.1941	-	-	-	-
bious5	0.2371	0.1926	0.2438	0.1945	-	-	-	-
NLP-UTB4	0.0277	0.0301	0.0322	0.0337	-	-	-	-
sp_lasigebiotm	0.3681	0.2285	0.3554	0.2120	-	-	-	-
lasigeBioTM	0.4139	0.2373	0.3963	0.2187	-	-	-	-
lasigeBioTM-onto-bl	0.3681	0.2158	0.3760	0.2091	-	-	-	-
lasigeBioTM-onto-sm	0.1192	0.1105	0.1154	0.1078	-	-	-	-
Fleming-4	0.2119	0.0671	0.2480	0.0761	-	-	-	-
Fleming-5	0.2008	0.0797	0.2278	0.0874	-	-	-	-
mistral	0.1823	0.1014	0.2027	0.1076	-	-	-	-
llama	0.3275	0.2165	0.3185	0.2036	-	-	-	-
dense	0.2156	0.1379	0.2350	0.1422	-	-	-	-
GPT4O	0.2439	0.1551	0.2649	0.1600	-	-	-	-
deepseek-r1:32b	0.2397	0.1385	0.2509	0.1400	-	-	-	-
deepseek-r1:8b	0.2218	0.2176	0.2261	0.2168	-	-	-	-
gpt 01 mini	0.1505	0.0803	0.1761	0.0909	-	-	-	-
2025-DMIS-KU-1	-	-	-	-	-	-	-	-
Fleming-2	0.2109	0.0812	0.2438	0.0916	-	-	-	-
Fleming-3	0.2991	0.1069	0.3181	0.1097	-	-	-	-
2025-DMIS-KU-2	-	-	-	-	-	-	-	-
2025-DMIS-KU-3	-	-	-	-	-	-	-	-
2025-DMIS-KU-4	-	-	-	-	-	-	-	-
2025-DMIS-KU-5	-	-	-	-	-	-	-	-
EP-1	0.2832	0.2162	0.2894	0.2118	-	-	-	-
EP-2	0.2828	0.2175	0.2837	0.2095	-	-	-	-
EP-3	0.2931	0.2158	0.3030	0.2092	-	-	-	-
EP-4	0.2947	0.2151	0.2973	0.2074	-	-	-	-
EP-5	0.2816	0.2023	0.2832	0.1970	-	-	-	-
simple truncation	0.1062	0.0781	0.1015	0.0732	-	-	-	-
kmeans	0.1042	0.0648	0.1034	0.0627	-	-	-	-
similarity measures	0.0734	0.0407	0.0736	0.0398	-	-	-	-
extractive	0.0880	0.0628	0.0836	0.0588	-	-	-	-
abstractive	0.0778	0.0436	0.0771	0.0426	-	-	-	-
BioASQ_Baseline	-	-	-	-	-	-	-	-