BioASQ Participants Area

Task 14b: Test Results of Phase B

The test results are presented in separate tables for each type of annotation. The "System Description" of each system is used.
The evaluation measures that are used in Task B are presented here .
Warning: For ideal answers, good ROUGE results do not always imply good manual scores.

Test batch 1

Exact Answers

	Yes/No				Factoid			List
System	Accuracy	F1 Yes	F1 No	Macro F1	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
CS 1st submit	0.9412	0.9524	0.9231	0.9377	0.6522	0.7826	0.7065	0.4813	0.4222	0.4416
"RMC_1"	0.8235	0.8421	0.8000	0.8211	0.3043	0.3043	0.3043	0.2984	0.2112	0.2240
asmalltrialsystem	0.9412	0.9524	0.9231	0.9377	0.4348	0.5652	0.5000	0.4418	0.4012	0.4058
ossllm	0.9412	0.9524	0.9231	0.9377	0.4348	0.5652	0.5000	0.4418	0.4012	0.4058
Biomedical QA system	0.9412	0.9524	0.9231	0.9377	0.3478	0.3478	0.3478	0.4306	0.4300	0.4127
Biomedical QA s. v2	0.8824	0.9000	0.8571	0.8786	0.2609	0.3043	0.2826	0.1242	0.5185	0.1870
Biomedical QA s3	0.9412	0.9524	0.9231	0.9377	0.3478	0.3478	0.3478	0.4094	0.4420	0.4109
Biomedical QA s.4	0.9412	0.9524	0.9231	0.9377	0.3478	0.3478	0.3478	0.3963	0.4289	0.3983
WM Licensing Oracle	0.8824	0.9091	0.8333	0.8712	0.3478	0.3478	0.3478	0.3760	0.3974	0.3602
RMC_2	0.8824	0.9000	0.8571	0.8786	0.5217	0.5217	0.5217	0.3240	0.2952	0.2910
pancras_naive	0.9412	0.9474	0.9333	0.9404	0.5652	0.6522	0.6014	0.4004	0.4123	0.3931
pancras_crag	0.9412	0.9474	0.9333	0.9404	0.5652	0.6522	0.6014	0.4004	0.4123	0.3931
DMISTeam3	0.9412	0.9474	0.9333	0.9404	0.6087	0.6522	0.6174	0.3046	0.4090	0.3147
h-nlp-autob-medcpt	0.9412	0.9474	0.9333	0.9404	0.3478	0.3478	0.3478	0.5698	0.2785	0.3496
health-nlp-4	0.8235	0.8421	0.8000	0.8211	-	-	-	0.0754	0.0497	0.0569
health-nlp-3	0.8824	0.9000	0.8571	0.8786	0.5652	0.5652	0.5652	0.3187	0.1838	0.2078
health-nlp-2	0.7647	0.8333	0.6000	0.7167	0.3913	0.3913	0.3913	0.2515	0.2048	0.2037
health-nlp-1	0.5882	0.6667	0.4615	0.5641	0.1304	0.1304	0.1304	0.2406	0.0930	0.1115
ubuntu	0.8824	0.8889	0.8750	0.8819	0.4348	0.4348	0.4348	0.2926	0.1925	0.2099
MedQA-1	0.9412	0.9524	0.9231	0.9377	0.7826	0.8261	0.7935	0.4486	0.4521	0.4397
MedQA-2	0.9412	0.9524	0.9231	0.9377	0.7826	0.8261	0.7935	0.4635	0.4678	0.4503
MedQA-3	0.9412	0.9524	0.9231	0.9377	0.7826	0.8261	0.7935	0.4567	0.4460	0.4408
MedQA-4	0.9412	0.9524	0.9231	0.9377	0.6087	0.7826	0.6754	0.3445	0.4489	0.3814
MedQA-5	0.9412	0.9524	0.9231	0.9377	0.7826	0.8261	0.7935	0.4567	0.4460	0.4408
Organization name	0.9412	0.9474	0.9333	0.9404	0.4348	0.4348	0.4348	0.5173	0.4029	0.4164
CSA-IISR 1st	0.9412	0.9524	0.9231	0.9377	0.6522	0.7826	0.7065	0.4813	0.4222	0.4416
CSA-IISR 2nd	0.8824	0.9000	0.8571	0.8786	0.8261	0.8261	0.8261	0.4838	0.4074	0.4280
CSA-IISR 3rd	0.8824	0.9000	0.8571	0.8786	0.6957	0.8261	0.7500	0.4798	0.4357	0.4470
DS@GT-BioASQ	0.7647	0.8000	0.7143	0.7571	0.3913	0.3913	0.3913	0.5778	0.3013	0.3559
dmiip2024	1.0000	1.0000	1.0000	1.0000	0.6087	0.7826	0.6826	0.5167	0.3139	0.3582
dmiip2024_1	0.9412	0.9524	0.9231	0.9377	0.5652	0.6957	0.6159	0.4505	0.3579	0.3812
dmiip2024_2	1.0000	1.0000	1.0000	1.0000	0.6522	0.6957	0.6739	0.4857	0.3660	0.3879
dmiip2024_4	0.9412	0.9524	0.9231	0.9377	0.6087	0.6522	0.6304	0.5254	0.3382	0.3854
dmiip2024_3	0.9412	0.9524	0.9231	0.9377	0.5217	0.6087	0.5543	0.4344	0.4002	0.3746
porties-llama3-base	0.8824	0.9091	0.8333	0.8712	0.3913	0.4783	0.4087	0.3351	0.3702	0.3359
dictycite-baseline	0.9412	0.9524	0.9231	0.9377	0.6522	0.6522	0.6522	0.4698	0.3385	0.3752
DMIS_MES_TEST_1	0.9412	0.9524	0.9231	0.9377	0.5652	0.6957	0.6159	0.4567	0.3144	0.3413
DMIS_MES_TEST_2	0.9412	0.9524	0.9231	0.9377	0.5652	0.6957	0.6087	0.4587	0.3176	0.3447
DMIS_MES_TEST_3	0.9412	0.9524	0.9231	0.9377	0.5652	0.6957	0.6087	0.4567	0.3144	0.3413
IR_Y-1	0.6471	0.7692	0.2500	0.5096	0.0000	0.1739	0.0630	0.2237	0.1981	0.2014
DMIS_MES_TEST_4	0.9412	0.9524	0.9231	0.9377	0.5652	0.6957	0.6087	0.4567	0.3144	0.3413
DMIS_MES_TEST_5	0.9412	0.9524	0.9231	0.9377	0.5652	0.6957	0.6159	0.4567	0.3144	0.3413
IR_J-1	0.8824	0.9091	0.8333	0.8712	0.6522	0.6522	0.6522	0.4633	0.3113	0.3533
IR_J-2	1.0000	1.0000	1.0000	1.0000	0.6087	0.6957	0.6413	0.3435	0.3501	0.3071
IR_J-3	0.9412	0.9524	0.9231	0.9377	0.6522	0.7826	0.7065	0.3940	0.2984	0.3119
IR_J-4	1.0000	1.0000	1.0000	1.0000	0.6087	0.6957	0.6449	0.3278	0.4022	0.3393
IR_J-5	0.9412	0.9524	0.9231	0.9377	0.6087	0.6522	0.6304	0.3662	0.4934	0.3949
IR_Y-2	0.6471	0.7692	0.2500	0.5096	0.0000	0.1304	0.0413	0.2073	0.2170	0.2034
IR_Y-3	0.9412	0.9524	0.9231	0.9377	0.3043	0.3478	0.3261	0.2240	0.1788	0.1820
IR_Y-5	0.9412	0.9524	0.9231	0.9377	0.5217	0.6087	0.5652	0.2223	0.1761	0.1824
EP-1	0.9412	0.9524	0.9231	0.9377	0.6522	0.6522	0.6522	0.4952	0.3274	0.3790
IR_Y-4	0.9412	0.9524	0.9231	0.9377	0.3478	0.4348	0.3804	0.2002	0.1757	0.1764
EP-2	0.9412	0.9524	0.9231	0.9377	0.6957	0.7391	0.7174	0.5365	0.3286	0.3856
config-1	0.8824	0.9000	0.8571	0.8786	0.6522	0.7391	0.6848	0.4818	0.5049	0.4803
config-2	0.9412	0.9474	0.9333	0.9404	0.7391	0.8696	0.7841	0.3906	0.5153	0.4208
EP-3	0.9412	0.9524	0.9231	0.9377	0.6522	0.7391	0.6848	0.4982	0.4033	0.4159
EP-4	0.9412	0.9474	0.9333	0.9404	0.5217	0.6522	0.5870	0.4671	0.3186	0.3619
Fleming-1	0.9412	0.9524	0.9231	0.9377	0.5217	0.7391	0.6087	0.3832	0.3965	0.3712
EP-5	0.9412	0.9474	0.9333	0.9404	0.5217	0.6087	0.5652	0.4413	0.3241	0.3449
ku_dmis	0.9412	0.9524	0.9231	0.9377	0.5652	0.6087	0.5870	0.4850	0.3853	0.4113
UR-IW-1	0.8824	0.9000	0.8571	0.8786	0.6087	0.7391	0.6739	0.3014	0.5659	0.3637
UR-IW-2	0.8824	0.9000	0.8571	0.8786	0.5217	0.6522	0.5667	0.3368	0.5052	0.3829
UR-IW-3	0.8824	0.9000	0.8571	0.8786	0.6522	0.7391	0.6848	0.3303	0.5070	0.3624
UR-IW-4	0.8824	0.9000	0.8571	0.8786	0.5217	0.6957	0.6087	0.4020	0.4777	0.4058
UR-IW-5	0.9412	0.9524	0.9231	0.9377	0.4348	0.5652	0.4870	0.3151	0.5637	0.3675
bioinfo-0	0.8824	0.9000	0.8571	0.8786	0.6087	0.7391	0.6609	0.3805	0.4698	0.3997
CSA-IISR 4th	0.8824	0.9000	0.8571	0.8786	0.6087	0.7391	0.6536	0.4649	0.4198	0.4332
CSA-IISR 5st	0.8824	0.8889	0.8750	0.8819	0.6087	0.7391	0.6522	0.4814	0.4074	0.4273
Dif-C	0.9412	0.9524	0.9231	0.9377	0.6087	0.6522	0.6232	0.4769	0.3811	0.4037
Bio26NIA	0.9412	0.9524	0.9231	0.9377	0.6087	0.6522	0.6304	0.4622	0.4865	0.4551
Another	1.0000	1.0000	1.0000	1.0000	0.6087	0.6087	0.6087	0.4930	0.3498	0.3820
bioinfo-1	0.8824	0.9000	0.8571	0.8786	0.6522	0.7391	0.6957	0.3712	0.4689	0.3949
BioASQ_Baseline	0.3529	0.2667	0.4211	0.3439	0.0435	0.2174	0.0993	0.1102	0.1787	0.1185

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
CS 1st submit	0.2429	0.2556	0.2348	0.2466	4.53	4.40	4.50	4.80
"RMC_1"	0.1775	0.2150	0.1689	0.2052	4.56	3.64	4.34	4.85
asmalltrialsystem	0.3046	0.2057	0.3089	0.2058	4.41	4.58	4.03	4.38
ossllm	0.3046	0.2057	0.3089	0.2058	4.41	4.58	4.03	4.38
Biomedical QA system	0.2830	0.1587	0.2946	0.1618	4.51	4.60	3.73	4.81
Biomedical QA s. v2	0.2996	0.1511	0.3120	0.1548	4.56	4.65	3.71	4.76
Biomedical QA s3	0.2874	0.1630	0.2974	0.1643	4.36	4.63	3.75	4.79
Biomedical QA s.4	0.2875	0.1621	0.3003	0.1648	4.40	4.68	3.81	4.86
WM Licensing Oracle	0.2739	0.1801	0.2785	0.1805	4.58	4.51	3.79	4.78
RMC_2	0.2192	0.2497	0.2059	0.2340	4.56	3.94	4.34	4.75
pancras_naive	0.2691	0.2079	0.2823	0.2153	4.61	4.79	4.43	4.65
pancras_crag	0.2691	0.2079	0.2823	0.2153	4.61	4.79	4.43	4.65
DMISTeam3	0.2769	0.2571	0.2780	0.2554	4.64	4.58	4.50	4.63
h-nlp-autob-medcpt	0.0209	0.0291	0.0207	0.0293	1.05	0.81	1.08	1.15
health-nlp-4	0.0200	0.0264	0.0212	0.0279	0.83	0.78	0.95	1.13
health-nlp-3	0.0140	0.0193	0.0151	0.0201	0.80	0.63	0.91	0.95
health-nlp-2	0.0144	0.0193	0.0166	0.0218	0.74	0.63	0.83	1.03
health-nlp-1	0.0112	0.0138	0.0140	0.0164	0.94	0.58	0.71	1.05
ubuntu	0.0620	0.0671	0.0572	0.0599	3.03	2.84	3.44	4.29
MedQA-1	0.3060	0.3042	0.2975	0.2942	4.78	4.61	4.69	4.89
MedQA-2	0.2947	0.3038	0.2867	0.2949	4.74	4.54	4.73	4.89
MedQA-3	0.2946	0.3038	0.2867	0.2949	4.74	4.54	4.73	4.89
MedQA-4	0.2482	0.2431	0.2514	0.2447	4.50	4.49	4.64	4.65
MedQA-5	0.2994	0.2989	0.2922	0.2907	4.73	4.56	4.73	4.84
Organization name	0.2624	0.1973	0.2604	0.1940	4.59	4.31	4.04	4.69
CSA-IISR 1st	0.2429	0.2556	0.2348	0.2466	4.53	4.40	4.50	4.80
CSA-IISR 2nd	0.2622	0.2535	0.2578	0.2474	4.50	4.46	4.40	4.78
CSA-IISR 3rd	0.2491	0.2320	0.2454	0.2268	4.50	4.39	4.43	4.78
DS@GT-BioASQ	0.1760	0.1813	0.1767	0.1814	4.64	3.31	4.10	4.80
dmiip2024	0.2202	0.2615	0.2115	0.2516	4.75	4.31	4.61	4.86
dmiip2024_1	0.2289	0.2623	0.2220	0.2557	4.79	4.14	4.79	4.94
dmiip2024_2	0.2572	0.2854	0.2452	0.2729	4.76	4.46	4.63	4.81
dmiip2024_4	0.2332	0.2784	0.2201	0.2641	4.78	4.19	4.66	4.80
dmiip2024_3	0.2682	0.2959	0.2580	0.2849	4.74	4.33	4.59	4.84
porties-llama3-base	0.2991	0.1641	0.3100	0.1671	4.44	4.46	3.69	4.65
dictycite-baseline	0.2910	0.2434	0.2869	0.2369	4.58	4.34	4.28	4.66
DMIS_MES_TEST_1	0.2769	0.2571	0.2780	0.2554	4.64	4.58	4.50	4.63
DMIS_MES_TEST_2	0.2769	0.2571	0.2780	0.2554	4.64	4.58	4.50	4.63
DMIS_MES_TEST_3	0.2769	0.2571	0.2780	0.2554	4.64	4.58	4.50	4.63
IR_Y-1	0.0448	0.0585	0.0432	0.0569	3.39	3.83	3.51	4.23
DMIS_MES_TEST_4	0.2769	0.2571	0.2780	0.2554	4.64	4.58	4.50	4.63
DMIS_MES_TEST_5	0.2769	0.2571	0.2780	0.2554	4.64	4.58	4.50	4.63
IR_J-1	-	-	-	-	0.44	0.39	0.44	0.44
IR_J-2	0.2375	0.1957	0.2331	0.1895	4.60	4.56	4.06	4.61
IR_J-3	0.2461	0.1864	0.2416	0.1792	4.66	4.63	4.10	4.76
IR_J-4	0.2063	0.1649	0.2038	0.1593	4.51	4.48	3.84	4.64
IR_J-5	0.2496	0.2548	0.2444	0.2481	4.51	4.31	4.40	4.71
IR_Y-2	0.0489	0.0617	0.0469	0.0594	3.38	3.91	3.64	4.24
IR_Y-3	0.1929	0.1980	0.1883	0.1922	3.64	4.09	4.20	4.08
IR_Y-5	0.2208	0.1966	0.2194	0.1942	3.61	4.39	4.13	4.00
EP-1	0.2551	0.2326	0.2557	0.2318	4.68	4.41	4.48	4.83
IR_Y-4	0.1846	0.1876	0.1805	0.1830	4.05	3.93	4.28	4.53
EP-2	0.2885	0.2660	0.2825	0.2582	4.75	4.48	4.61	4.81
config-1	0.3952	0.1977	0.3983	0.1954	4.60	4.81	3.86	4.63
config-2	0.3829	0.1895	0.3858	0.1870	4.51	4.81	3.76	4.66
EP-3	0.2681	0.2410	0.2667	0.2380	4.68	4.38	4.48	4.74
EP-4	0.2385	0.2101	0.2387	0.2096	4.73	4.41	4.46	4.84
Fleming-1	0.3412	0.1769	0.3461	0.1771	4.55	4.65	3.79	4.50
EP-5	0.2163	0.1896	0.2223	0.1945	4.69	4.39	4.45	4.83
ku_dmis	-	-	-	-	-	-	-	-
UR-IW-1	0.3132	0.1923	0.3186	0.1933	4.61	4.65	3.88	4.76
UR-IW-2	0.2887	0.2303	0.2951	0.2316	4.65	4.53	4.24	4.75
UR-IW-3	0.2272	0.1913	0.2342	0.1945	4.69	4.66	4.34	4.73
UR-IW-4	0.2212	0.2461	0.2160	0.2414	4.81	4.28	4.60	4.85
UR-IW-5	0.2427	0.2444	0.2429	0.2439	4.68	4.46	4.50	4.84
bioinfo-0	0.3170	0.1861	0.3219	0.1858	4.65	4.61	3.93	4.78
CSA-IISR 4th	0.2499	0.2358	0.2458	0.2305	4.25	4.15	4.11	4.50
CSA-IISR 5st	0.2548	0.2436	0.2515	0.2391	4.41	4.29	4.34	4.78
Dif-C	0.2631	0.2956	0.2516	0.2847	4.71	4.30	4.58	4.81
Bio26NIA	0.2722	0.2991	0.2638	0.2902	4.69	4.45	4.61	4.86
Another	0.1742	0.1812	0.1773	0.1842	4.59	4.43	4.69	4.85
bioinfo-1	0.2895	0.1332	0.2933	0.1319	3.49	3.63	2.71	3.61
BioASQ_Baseline	-	-	-	-	-	-	-	-

Test batch 2

Exact Answers

	Yes/No				Factoid			List
System	Accuracy	F1 Yes	F1 No	Macro F1	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
Hybrid Retrieval	0.7619	0.8148	0.6667	0.7407	0.2500	0.3000	0.2750	0.3205	0.2209	0.2434
13b-1	0.9048	0.9231	0.8750	0.8990	0.5000	0.5000	0.5000	0.5647	0.4450	0.4781
13b_phase_a	0.9048	0.9231	0.8750	0.8990	0.5000	0.5500	0.5250	0.5647	0.4450	0.4781
dictycite-baseline	1.0000	1.0000	1.0000	1.0000	0.5500	0.5500	0.5500	0.6805	0.5647	0.5875
dictycite-max-rew-sl	0.9524	0.9655	0.9231	0.9443	0.5000	0.6500	0.5583	0.6173	0.6331	0.6107
health-nlp-1	0.8095	0.8667	0.6667	0.7667	0.3000	0.3000	0.3000	0.1742	0.1111	0.1125
health-nlp-2	0.7619	0.8485	0.4444	0.6465	0.3000	0.3000	0.3000	0.1417	0.1356	0.1161
health-nlp-3	0.8571	0.9032	0.7273	0.8152	0.4500	0.4500	0.4500	0.4391	0.2800	0.3087
health-nlp-4	0.8571	0.8800	0.8235	0.8518	0.0500	0.0500	0.0500	0.1050	0.0865	0.0902
pancras_naive	0.9048	0.9286	0.8571	0.8929	0.4000	0.5500	0.4475	0.5741	0.6302	0.5817
pancras_crag	0.9048	0.9286	0.8571	0.8929	0.4000	0.5500	0.4475	0.5741	0.6302	0.5817
"RMC_1"	0.8571	0.8889	0.8000	0.8444	0.2000	0.2000	0.2000	0.3901	0.3352	0.3367
RMC_2	0.9048	0.9231	0.8750	0.8990	0.4500	0.4500	0.4500	0.4462	0.3873	0.3951
ossllm	0.8571	0.8889	0.8000	0.8444	0.6000	0.6500	0.6250	0.5077	0.5144	0.4899
MedQA-1	0.9524	0.9655	0.9231	0.9443	0.6500	0.7500	0.7000	0.6234	0.5870	0.5962
MedQA-2	0.9048	0.9286	0.8571	0.8929	0.6000	0.7000	0.6500	0.5132	0.5212	0.5047
MedQA-3	0.9048	0.9286	0.8571	0.8929	0.6500	0.7500	0.6917	0.5693	0.6229	0.5813
MedQA-4	0.9048	0.9286	0.8571	0.8929	0.6500	0.7500	0.6917	0.6126	0.6011	0.6000
MedQA-5	0.9048	0.9286	0.8571	0.8929	0.6500	0.7500	0.6917	0.6126	0.6011	0.6000
Fleming-1	0.9048	0.9286	0.8571	0.8929	0.5000	0.6500	0.5583	0.5050	0.5867	0.5243
DSGT	0.6667	0.8000	-	0.4000	0.1500	0.1500	0.1500	0.1026	0.0705	0.0799
lean_rag	0.9048	0.9286	0.8571	0.8929	0.5000	0.5500	0.5250	0.5383	0.5053	0.5085
bioinfo-0	0.8571	0.8800	0.8235	0.8518	0.5000	0.5000	0.5000	0.5523	0.4693	0.4885
bioinfo-2	0.9048	0.9286	0.8571	0.8929	0.5500	0.5500	0.5500	0.5512	0.5300	0.5315
bioinfo-3	0.9048	0.9286	0.8571	0.8929	0.5500	0.6000	0.5750	0.5549	0.6035	0.5631
bioinfo-4	0.8571	0.8800	0.8235	0.8518	0.5500	0.6000	0.5750	0.6000	0.4735	0.4936
bioinfo-1	0.9048	0.9286	0.8571	0.8929	0.6000	0.6000	0.6000	0.4286	0.4075	0.4125
bm25 + splade	0.9048	0.9231	0.8750	0.8990	0.6000	0.6000	0.6000	0.6173	0.5808	0.5810
CSA-IISR 1st	0.9048	0.9286	0.8571	0.8929	0.6500	0.6500	0.6500	0.6068	0.6073	0.5994
CSA-IISR 2nd	0.9048	0.9286	0.8571	0.8929	0.6500	0.6500	0.6500	0.5836	0.6213	0.5965
CSA-IISR 3rd	0.9048	0.9286	0.8571	0.8929	0.6500	0.6500	0.6500	0.5769	0.6052	0.5819
CSA-IISR 4th	0.9048	0.9286	0.8571	0.8929	0.6500	0.6500	0.6500	0.6027	0.5768	0.5836
CSA-IISR 5st	0.9048	0.9286	0.8571	0.8929	0.6500	0.7000	0.6667	0.6068	0.6073	0.5994
DS@GT-BioASQ	0.8571	0.8966	0.7692	0.8329	0.3000	0.3000	0.3000	0.3292	0.2966	0.3072
mckpt2	0.7619	0.8276	0.6154	0.7215	0.4500	0.5000	0.4667	0.5000	0.5169	0.4911
dmiip2024	0.9048	0.9286	0.8571	0.8929	0.5000	0.6000	0.5500	0.6679	0.4222	0.4845
dmiip2024_1	0.9524	0.9655	0.9231	0.9443	0.6000	0.6500	0.6250	0.5795	0.4035	0.4500
dmiip2024_2	0.9048	0.9286	0.8571	0.8929	0.5000	0.6500	0.5667	0.6154	0.5130	0.5120
dmiip2024_3	0.8571	0.8889	0.8000	0.8444	0.6000	0.6500	0.6250	0.5205	0.3724	0.4190
dmiip2024_4	0.9048	0.9333	0.8333	0.8833	0.5500	0.6000	0.5750	0.6385	0.3757	0.4484
qwen	0.8571	0.8889	0.8000	0.8444	0.6000	0.6500	0.6100	0.4692	0.5566	0.4792
mckpt1	0.9048	0.9231	0.8750	0.8990	0.6000	0.6000	0.6000	0.3782	0.3877	0.3683
Biomedical QA system	0.9048	0.9286	0.8571	0.8929	0.2500	0.2500	0.2500	0.5480	0.6241	0.5650
Biomedical QA s. v2	0.9524	0.9655	0.9231	0.9443	0.3000	0.3000	0.3000	0.1543	0.6446	0.2385
Biomedical QA s3	0.9048	0.9286	0.8571	0.8929	0.2500	0.2500	0.2500	0.5343	0.6327	0.5615
Biomedical QA s.4	0.9048	0.9286	0.8571	0.8929	0.2500	0.2500	0.2500	0.5558	0.6327	0.5751
WM Licensing Oracle	0.8571	0.8889	0.8000	0.8444	0.2500	0.2500	0.2500	0.5834	0.6275	0.5822
ubuntu	0.9048	0.9333	0.8333	0.8833	0.4000	0.4500	0.4250	0.4820	0.3695	0.4058
DMIS_MES_TEST_1	0.8095	0.8571	0.7143	0.7857	0.5000	0.6000	0.5500	0.6295	0.4785	0.5237
DMIS_MES_TEST_2	0.8095	0.8571	0.7143	0.7857	0.5000	0.6000	0.5500	0.6295	0.4785	0.5237
DMIS_MES_TEST_3	0.8095	0.8571	0.7143	0.7857	0.5000	0.6000	0.5500	0.6295	0.4785	0.5237
DMIS_MES_TEST_4	0.8095	0.8571	0.7143	0.7857	0.5000	0.6000	0.5500	0.6295	0.4785	0.5237
DMIS_MES_TEST_5	0.8095	0.8571	0.7143	0.7857	0.5000	0.6000	0.5500	0.6295	0.4785	0.5237
IR_J-1	0.9048	0.9333	0.8333	0.8833	0.5000	0.5000	0.5000	0.4936	0.4751	0.4751
IR_J-2	0.8095	0.8462	0.7500	0.7981	0.4500	0.5000	0.4750	0.2930	0.2585	0.2614
IR_J-3	0.8571	0.8889	0.8000	0.8444	0.5500	0.5500	0.5500	0.5036	0.4823	0.4648
IR_J-4	0.9048	0.9286	0.8571	0.8929	0.6000	0.6500	0.6250	0.4702	0.5985	0.5135
IR_J-5	0.9048	0.9231	0.8750	0.8990	0.5500	0.6000	0.5750	0.5254	0.5819	0.5472
Organization name	0.6190	0.6364	0.6000	0.6182	0.6000	0.6000	0.6000	0.1000	0.0524	0.0647
UR-IW-1	0.9048	0.9333	0.8333	0.8833	0.4500	0.6500	0.5500	0.3547	0.6643	0.4410
UR-IW-2	0.9048	0.9333	0.8333	0.8833	0.6000	0.7000	0.6333	0.5186	0.6866	0.5848
UR-IW-3	0.9048	0.9333	0.8333	0.8833	0.5500	0.6000	0.5750	0.4196	0.6794	0.5015
UR-IW-4	0.9524	0.9655	0.9231	0.9443	0.5500	0.6000	0.5750	0.4137	0.4471	0.4175
UR-IW-5	0.9048	0.9231	0.8750	0.8990	0.4000	0.4500	0.4250	0.3503	0.6097	0.4196
ku_dmis	0.9524	0.9655	0.9231	0.9443	0.5500	0.7500	0.6142	0.6098	0.5529	0.5695
ku_dmis_2	0.9048	0.9286	0.8571	0.8929	0.5500	0.7500	0.6142	0.6088	0.3603	0.4239
ku_dmis_3	0.9048	0.9286	0.8571	0.8929	0.5500	0.7500	0.6142	0.5830	0.4539	0.4933
ku_dmis_4	0.9048	0.9286	0.8571	0.8929	0.5500	0.7500	0.6142	0.6078	0.5727	0.5781
ku_dmis_5	0.9048	0.9286	0.8571	0.8929	0.5500	0.7500	0.6142	0.6078	0.5727	0.5781
IR_Y-1	0.9048	0.9286	0.8571	0.8929	0.2000	0.5500	0.3517	0.3092	0.3227	0.2974
IR_Y-2	0.9048	0.9286	0.8571	0.8929	0.3000	0.6500	0.4367	0.2982	0.3284	0.2914
IR_Y-3	0.9048	0.9286	0.8571	0.8929	0.4000	0.6500	0.5250	0.3058	0.3377	0.3057
IR_Y-4	0.9048	0.9286	0.8571	0.8929	0.4500	0.6500	0.5500	0.2919	0.2869	0.2743
IR_Y-5	0.9048	0.9286	0.8571	0.8929	0.3000	0.6500	0.4417	0.3180	0.3517	0.3234
Bio26NIA	0.9048	0.9286	0.8571	0.8929	0.5500	0.6000	0.5667	0.6203	0.5681	0.5793
Another	0.9524	0.9655	0.9231	0.9443	0.6000	0.6000	0.6000	0.6316	0.6059	0.6086
Dif-C	0.9048	0.9286	0.8571	0.8929	0.6000	0.6000	0.6000	0.6284	0.5964	0.5998
EP-1	0.9524	0.9655	0.9231	0.9443	0.6000	0.6000	0.6000	0.6692	0.4593	0.5191
EP-2	0.9524	0.9655	0.9231	0.9443	0.6000	0.6000	0.6000	0.6532	0.4677	0.5244
EP-3	0.9524	0.9655	0.9231	0.9443	0.6000	0.6500	0.6250	0.6628	0.4737	0.5317
EP-4	0.9524	0.9655	0.9231	0.9443	0.6000	0.6000	0.6000	0.6564	0.4415	0.5018
EP-5	0.9524	0.9655	0.9231	0.9443	0.5500	0.6500	0.5917	0.6521	0.4869	0.5308
LLM Biomedical QA	0.8571	0.8966	0.7692	0.8329	0.3000	0.3000	0.3000	0.0620	0.1480	0.0769
BioASQ_Baseline	0.3810	0.2353	0.4800	0.3576	0.1000	0.1500	0.1250	0.1682	0.2154	0.1685

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
Hybrid Retrieval	0.2117	0.1408	0.2107	0.1391	3.49	3.96	3.91	4.63
13b-1	0.1621	0.2182	0.1521	0.2080	4.91	3.79	4.84	5.00
13b_phase_a	0.1621	0.2182	0.1521	0.2080	4.91	3.79	4.84	5.00
dictycite-baseline	0.2958	0.2555	0.2882	0.2488	4.73	4.38	4.51	4.73
dictycite-max-rew-sl	0.3135	0.3039	0.3042	0.2941	4.84	4.63	4.66	4.96
health-nlp-1	0.0293	0.0329	0.0304	0.0346	1.18	0.91	1.24	1.51
health-nlp-2	0.0324	0.0351	0.0335	0.0366	1.09	0.96	1.30	1.45
health-nlp-3	0.0230	0.0273	0.0247	0.0291	1.18	0.94	1.26	1.50
health-nlp-4	0.0479	0.0531	0.0484	0.0538	1.11	1.00	1.39	1.55
pancras_naive	0.2773	0.2074	0.2855	0.2124	4.71	4.71	4.39	4.74
pancras_crag	0.2773	0.2074	0.2855	0.2124	4.71	4.71	4.39	4.74
"RMC_1"	0.1992	0.2410	0.1866	0.2276	4.56	3.53	4.56	4.95
RMC_2	0.2521	0.2631	0.2434	0.2539	4.61	4.14	4.58	4.85
ossllm	0.3262	0.2220	0.3259	0.2209	4.65	4.44	4.11	4.60
MedQA-1	0.3188	0.2993	0.3055	0.2860	4.69	4.58	4.65	4.93
MedQA-2	0.2406	0.2336	0.2360	0.2304	4.49	4.28	4.58	4.65
MedQA-3	0.2934	0.2815	0.2832	0.2715	4.56	4.36	4.70	4.90
MedQA-4	0.2973	0.2808	0.2874	0.2714	4.45	4.29	4.61	4.90
MedQA-5	0.3019	0.2861	0.2921	0.2767	4.58	4.35	4.68	4.89
Fleming-1	0.3563	0.1944	0.3558	0.1938	4.58	4.61	3.96	4.53
DSGT	0.0889	0.1023	0.0872	0.1007	2.60	1.95	2.56	2.70
lean_rag	0.2463	0.2615	0.2409	0.2562	4.65	4.34	4.63	4.76
bioinfo-0	0.2515	0.2356	0.2508	0.2296	4.74	4.60	4.48	4.84
bioinfo-2	0.3274	0.2622	0.3227	0.2556	4.89	4.70	4.21	4.99
bioinfo-3	0.3799	0.1828	0.3825	0.1825	4.75	4.74	3.66	4.88
bioinfo-4	0.3200	0.2232	0.3143	0.2182	4.76	4.36	4.00	4.91
bioinfo-1	0.3110	0.2123	0.3094	0.2099	4.66	4.81	4.09	4.85
bm25 + splade	0.2873	0.2844	0.2752	0.2718	4.79	4.29	4.66	4.78
CSA-IISR 1st	0.2854	0.2585	0.2794	0.2526	4.55	4.49	4.54	4.84
CSA-IISR 2nd	0.2684	0.2450	0.2652	0.2406	4.61	4.51	4.51	4.85
CSA-IISR 3rd	0.2835	0.2543	0.2769	0.2481	4.46	4.40	4.45	4.74
CSA-IISR 4th	0.2374	0.2144	0.2373	0.2141	4.51	4.39	4.49	4.85
CSA-IISR 5st	0.2786	0.2412	0.2732	0.2361	4.63	4.45	4.55	4.79
DS@GT-BioASQ	0.1276	0.1533	0.1229	0.1494	4.11	3.16	4.13	4.38
mckpt2	0.2073	0.1790	0.2016	0.1736	4.08	4.16	3.86	4.20
dmiip2024	0.2580	0.2842	0.2433	0.2682	4.76	4.31	4.70	4.91
dmiip2024_1	0.2183	0.2473	0.2113	0.2419	4.91	4.10	4.76	4.98
dmiip2024_2	0.2587	0.2776	0.2507	0.2693	4.84	4.25	4.65	4.73
dmiip2024_3	0.2695	0.2967	0.2585	0.2861	4.89	4.33	4.74	4.95
dmiip2024_4	0.2516	0.2823	0.2404	0.2708	4.84	4.14	4.76	4.86
qwen	0.3754	0.1712	0.3761	0.1711	4.19	4.66	3.68	4.20
mckpt1	0.2032	0.1907	0.2012	0.1870	4.20	4.24	3.91	4.18
Biomedical QA system	0.3137	0.1783	0.3207	0.1804	4.74	4.69	3.85	4.88
Biomedical QA s. v2	0.3242	0.1655	0.3308	0.1678	4.65	4.73	3.71	4.83
Biomedical QA s3	0.3160	0.1747	0.3208	0.1762	4.68	4.61	3.71	4.86
Biomedical QA s.4	0.3159	0.1740	0.3244	0.1775	4.60	4.63	3.71	4.88
WM Licensing Oracle	0.3011	0.1945	0.3041	0.1955	4.81	4.59	4.06	4.88
ubuntu	0.2335	0.2257	0.2279	0.2205	4.29	3.88	4.39	4.85
DMIS_MES_TEST_1	0.1178	0.0755	0.1172	0.0741	1.58	1.89	1.68	1.59
DMIS_MES_TEST_2	0.1178	0.0755	0.1172	0.0741	1.58	1.89	1.68	1.59
DMIS_MES_TEST_3	0.1178	0.0755	0.1172	0.0741	1.58	1.89	1.68	1.59
DMIS_MES_TEST_4	0.1178	0.0755	0.1172	0.0741	1.58	1.89	1.68	1.59
DMIS_MES_TEST_5	0.1178	0.0755	0.1172	0.0741	1.58	1.89	1.68	1.59
IR_J-1	-	-	-	-	0.95	0.35	0.95	0.95
IR_J-2	0.2097	0.1429	0.2153	0.1454	4.68	4.10	3.69	4.68
IR_J-3	0.2452	0.1858	0.2444	0.1829	4.84	4.63	4.13	4.75
IR_J-4	0.2436	0.2679	0.2341	0.2583	4.66	4.30	4.53	4.81
IR_J-5	-	-	-	-	0.95	0.35	0.95	0.95
Organization name	0.2912	0.1986	0.2964	0.2013	3.84	4.16	3.98	4.41
UR-IW-1	0.3243	0.1765	0.3315	0.1795	4.65	4.69	3.73	4.90
UR-IW-2	0.2850	0.2166	0.2924	0.2195	4.78	4.60	4.20	4.91
UR-IW-3	0.2233	0.1899	0.2342	0.1951	4.68	4.60	4.09	4.81
UR-IW-4	0.2118	0.2313	0.2116	0.2307	4.83	4.26	4.68	4.95
UR-IW-5	0.2252	0.2239	0.2290	0.2256	4.70	4.31	4.43	4.95
ku_dmis	-	-	-	-	-	-	-	-
ku_dmis_2	-	-	-	-	-	-	-	-
ku_dmis_3	-	-	-	-	-	-	-	-
ku_dmis_4	-	-	-	-	-	-	-	-
ku_dmis_5	-	-	-	-	-	-	-	-
IR_Y-1	0.1358	0.1301	0.1290	0.1235	3.75	4.06	4.24	4.30
IR_Y-2	0.1951	0.1645	0.1895	0.1593	4.26	4.29	4.31	4.59
IR_Y-3	0.2864	0.2297	0.2800	0.2243	4.56	4.26	4.35	4.84
IR_Y-4	0.2643	0.2142	0.2610	0.2113	4.28	4.26	4.36	4.71
IR_Y-5	0.1202	0.1515	0.1136	0.1448	3.61	4.29	4.24	3.84
Bio26NIA	0.2994	0.3095	0.2893	0.2996	4.84	4.45	4.79	4.94
Another	0.2758	0.2908	0.2675	0.2816	4.79	4.44	4.71	4.95
Dif-C	0.2552	0.2873	0.2450	0.2774	4.80	4.36	4.79	4.91
EP-1	0.2939	0.2768	0.2849	0.2677	4.84	4.43	4.65	4.98
EP-2	0.2820	0.2655	0.2746	0.2576	4.90	4.45	4.65	4.96
EP-3	0.2863	0.2696	0.2787	0.2624	4.86	4.49	4.69	4.95
EP-4	0.2859	0.2658	0.2768	0.2574	4.79	4.41	4.63	4.98
EP-5	0.2619	0.2419	0.2621	0.2419	4.84	4.54	4.66	4.91
LLM Biomedical QA	0.0851	0.0970	0.0877	0.0992	3.84	3.21	4.08	4.84
BioASQ_Baseline	-	-	-	-	-	-	-	-

Test batch 3

Exact Answers

	Yes/No				Factoid			List
System	Accuracy	F1 Yes	F1 No	Macro F1	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
asmalltrialsystem	0.5000	0.4444	0.5455	0.4949	-	-	-	0.1597	0.4901	0.2222
"RMC_1"	1.0000	1.0000	1.0000	1.0000	0.2941	0.2941	0.2941	0.4118	0.2880	0.3273
RMC_2	1.0000	1.0000	1.0000	1.0000	0.7059	0.7059	0.7059	0.4417	0.3857	0.3992
MedQA-1	1.0000	1.0000	1.0000	1.0000	0.7059	0.7059	0.7059	0.5431	0.5173	0.5098
MedQA-2	1.0000	1.0000	1.0000	1.0000	0.5882	0.6471	0.6176	0.3846	0.4990	0.4179
MedQA-3	1.0000	1.0000	1.0000	1.0000	0.6471	0.7647	0.6882	0.5711	0.6072	0.5773
MedQA-4	1.0000	1.0000	1.0000	1.0000	0.5882	0.6471	0.6176	0.3651	0.4745	0.3903
MedQA-5	1.0000	1.0000	1.0000	1.0000	0.6471	0.7647	0.6882	0.5431	0.5173	0.5098
UR-IW-5	1.0000	1.0000	1.0000	1.0000	0.6471	0.7059	0.6765	0.2405	0.5980	0.3191
UR-IW-4	1.0000	1.0000	1.0000	1.0000	0.5882	0.6471	0.6078	0.4159	0.5283	0.4418
UR-IW-3	1.0000	1.0000	1.0000	1.0000	0.4706	0.5294	0.4902	0.3548	0.5128	0.3965
UR-IW-2	1.0000	1.0000	1.0000	1.0000	0.5294	0.7059	0.5931	0.2649	0.6373	0.3476
UR-IW-1	1.0000	1.0000	1.0000	1.0000	0.5294	0.6471	0.5784	0.3709	0.5278	0.4056
health-nlp-1	1.0000	1.0000	1.0000	1.0000	0.4706	0.4706	0.4706	0.1471	0.0882	0.1054
health-nlp-2	0.9000	0.9333	0.8000	0.8667	0.3529	0.3529	0.3529	0.1730	0.1663	0.1691
dictycite-baseline	1.0000	1.0000	1.0000	1.0000	0.6471	0.7059	0.6765	0.5189	0.4398	0.4634
health-nlp-4	0.8000	0.8750	0.5000	0.6875	0.3529	0.3529	0.3529	0.3424	0.2389	0.2763
dictycite-max-rew-sl	1.0000	1.0000	1.0000	1.0000	0.5882	0.7059	0.6471	0.4891	0.5403	0.5046
dictycite-snippet	1.0000	1.0000	1.0000	1.0000	0.6471	0.7059	0.6765	0.5248	0.4398	0.4656
h-nlp-autob-medcpt	1.0000	1.0000	1.0000	1.0000	0.4706	0.4706	0.4706	0.3775	0.2570	0.2958
health-nlp-3	0.8000	0.8750	0.5000	0.6875	0.1765	0.1765	0.1765	0.0902	0.0858	0.0860
bioinfo-0	1.0000	1.0000	1.0000	1.0000	0.5294	0.5882	0.5588	0.4593	0.4506	0.4490
bioinfo-1	1.0000	1.0000	1.0000	1.0000	0.6471	0.6471	0.6471	0.4346	0.4538	0.4176
bioinfo-2	1.0000	1.0000	1.0000	1.0000	0.5882	0.6471	0.6078	0.4398	0.4975	0.4564
bioinfo-3	0.9000	0.9231	0.8571	0.8901	0.5882	0.6471	0.6176	0.4236	0.4709	0.4429
bioinfo-4	1.0000	1.0000	1.0000	1.0000	0.6471	0.7059	0.6765	0.4636	0.4636	0.4457
pancras_naive	1.0000	1.0000	1.0000	1.0000	0.5882	0.5882	0.5882	0.4615	0.5285	0.4786
pancras_crag	1.0000	1.0000	1.0000	1.0000	0.5882	0.5882	0.5882	0.4615	0.5285	0.4786
lean_rag	1.0000	1.0000	1.0000	1.0000	0.5882	0.5882	0.5882	0.4660	0.3748	0.4039
lean_rag_ft	1.0000	1.0000	1.0000	1.0000	0.6471	0.6471	0.6471	0.5542	0.4798	0.5020
lean_rag_ft_sparse	1.0000	1.0000	1.0000	1.0000	0.6471	0.6471	0.6471	0.5033	0.4145	0.4419
multi-stage rank&llm	1.0000	1.0000	1.0000	1.0000	0.7059	0.7647	0.7353	0.5213	0.6223	0.5484
dmiip2024	0.8000	0.8750	0.5000	0.6875	0.6471	0.7059	0.6765	0.5324	0.4340	0.4580
dmiip2024_1	1.0000	1.0000	1.0000	1.0000	0.6471	0.7059	0.6765	0.5010	0.3983	0.4202
dmiip2024_2	1.0000	1.0000	1.0000	1.0000	0.6471	0.7647	0.6912	0.4588	0.4277	0.4100
dmiip2024_3	1.0000	1.0000	1.0000	1.0000	0.6471	0.7059	0.6667	0.4353	0.3735	0.3773
dmiip2024_4	1.0000	1.0000	1.0000	1.0000	0.6471	0.7059	0.6765	0.4931	0.3952	0.4221
CSA-IISR 1st	1.0000	1.0000	1.0000	1.0000	0.6471	0.7647	0.7059	0.5737	0.6160	0.5799
CSA-IISR 2nd	1.0000	1.0000	1.0000	1.0000	0.6471	0.7647	0.7059	0.5821	0.6160	0.5861
CSA-IISR 3rd	1.0000	1.0000	1.0000	1.0000	0.6471	0.7647	0.6882	0.5822	0.6373	0.5931
CSA-IISR 4th	1.0000	1.0000	1.0000	1.0000	0.6471	0.7647	0.6882	0.5698	0.6225	0.5791
CSA-IISR 5st	1.0000	1.0000	1.0000	1.0000	0.7059	0.7059	0.7059	0.5809	0.5925	0.5621
IR_J-1	1.0000	1.0000	1.0000	1.0000	0.6471	0.6471	0.6471	0.5828	0.4545	0.4955
IR_J-2	1.0000	1.0000	1.0000	1.0000	0.5294	0.5882	0.5588	0.5225	0.4951	0.4989
IR_J-3	1.0000	1.0000	1.0000	1.0000	0.6471	0.6471	0.6471	0.5157	0.4282	0.4585
Organization name	0.6000	0.7500	-	0.3750	0.7059	0.7059	0.7059	0.2431	0.1559	0.1786
IR_J-4	1.0000	1.0000	1.0000	1.0000	0.5882	0.7059	0.6225	0.5623	0.5899	0.5520
IR_J-5	1.0000	1.0000	1.0000	1.0000	0.6471	0.7059	0.6667	0.5605	0.4624	0.4787
DS@GT-BioASQ	0.9000	0.9231	0.8571	0.8901	0.5882	0.5882	0.5882	0.3480	0.2647	0.2960
Fleming-1	1.0000	1.0000	1.0000	1.0000	0.2941	0.5882	0.4235	0.5074	0.6182	0.5330
LLM Biomedical QA	1.0000	1.0000	1.0000	1.0000	0.5294	0.5294	0.5294	0.4560	0.4186	0.4255
DMIS_MES_TEST_1	1.0000	1.0000	1.0000	1.0000	0.7059	0.7059	0.7059	0.5637	0.4157	0.4661
DMIS_MES_TEST_2	1.0000	1.0000	1.0000	1.0000	0.7059	0.7059	0.7059	0.5637	0.4157	0.4661
DMIS_MES_TEST_3	1.0000	1.0000	1.0000	1.0000	0.7059	0.7059	0.7059	0.5637	0.4157	0.4661
DMIS_MES_TEST_4	1.0000	1.0000	1.0000	1.0000	0.7059	0.7059	0.7059	0.5637	0.4157	0.4661
DMIS_MES_TEST_5	1.0000	1.0000	1.0000	1.0000	0.7059	0.7059	0.7059	0.5637	0.4157	0.4661
Gen-Doc	1.0000	1.0000	1.0000	1.0000	0.5882	0.5882	0.5882	0.4584	0.4186	0.4278
ku_dmis	1.0000	1.0000	1.0000	1.0000	0.5882	0.5882	0.5882	0.5735	0.4100	0.4650
ku_dmis_2	1.0000	1.0000	1.0000	1.0000	0.5882	0.7059	0.6471	0.5010	0.4485	0.4640
ku_dmis_3	1.0000	1.0000	1.0000	1.0000	0.5882	0.7059	0.6471	0.5078	0.5730	0.5279
ku_dmis_4	1.0000	1.0000	1.0000	1.0000	0.5882	0.7059	0.6471	0.4899	0.6078	0.5213
ku_dmis_5	1.0000	1.0000	1.0000	1.0000	0.5882	0.7059	0.6471	0.4899	0.6078	0.5213
llama for 14b b	0.9000	0.9333	0.8000	0.8667	0.4706	0.4706	0.4706	0.0588	0.0588	0.0588
agentic graph	0.7000	0.7273	0.6667	0.6970	0.4118	0.4706	0.4314	0.2948	0.3331	0.2985
EP-1	1.0000	1.0000	1.0000	1.0000	0.6471	0.7059	0.6667	0.5106	0.4531	0.4630
EP-2	1.0000	1.0000	1.0000	1.0000	0.6471	0.7647	0.6961	0.4389	0.5535	0.4751
EP-3	1.0000	1.0000	1.0000	1.0000	0.2941	0.7647	0.5098	0.4824	0.4046	0.4186
EP-4	1.0000	1.0000	1.0000	1.0000	0.6471	0.7059	0.6667	0.5124	0.4772	0.4746
IR_Y-1	1.0000	1.0000	1.0000	1.0000	0.3529	0.6471	0.4804	0.4288	0.4542	0.4277
IR_Y-2	0.8000	0.8750	0.5000	0.6875	0.4706	0.6471	0.5441	0.3725	0.4170	0.3819
IR_Y-3	1.0000	1.0000	1.0000	1.0000	0.6471	0.7059	0.6618	0.3529	0.4117	0.3634
IR_Y-4	1.0000	1.0000	1.0000	1.0000	0.6471	0.7059	0.6588	0.4374	0.4519	0.4342
IR_Y-5	1.0000	1.0000	1.0000	1.0000	0.6471	0.7059	0.6618	0.4157	0.4004	0.3981
Another	1.0000	1.0000	1.0000	1.0000	0.6471	0.7059	0.6765	0.6090	0.5954	0.5898
Dif-C	1.0000	1.0000	1.0000	1.0000	0.5882	0.6471	0.6176	0.4640	0.4484	0.4446
EP-5	1.0000	1.0000	1.0000	1.0000	0.2941	0.7647	0.5098	0.4824	0.3956	0.4132
Bio26NIA	1.0000	1.0000	1.0000	1.0000	-	-	-	0.5365	0.5595	0.5411
BioASQ_Baseline	0.4000	0.4000	0.4000	0.4000	0.0588	0.2353	0.1373	0.1933	0.2254	0.1954

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
asmalltrialsystem	0.1483	0.1128	0.1560	0.1186	4.33	3.94	3.92	4.78
"RMC_1"	0.2082	0.2478	0.1938	0.2333	4.92	3.86	4.76	5.00
RMC_2	0.2719	0.2861	0.2589	0.2736	4.96	4.37	4.69	4.98
MedQA-1	0.2670	0.2512	0.2638	0.2484	4.80	4.41	4.63	5.00
MedQA-2	0.2935	0.2514	0.2857	0.2458	4.90	4.61	4.61	5.00
MedQA-3	0.2953	0.2823	0.2887	0.2763	4.78	4.73	4.73	4.94
MedQA-4	0.2901	0.2416	0.2798	0.2339	4.92	4.59	4.57	5.00
MedQA-5	0.2990	0.2843	0.2970	0.2818	4.82	4.67	4.71	4.94
UR-IW-5	0.3355	0.1910	0.3417	0.1913	4.94	4.76	4.04	4.94
UR-IW-4	0.2150	0.2377	0.2057	0.2282	4.92	4.57	4.84	4.96
UR-IW-3	0.2033	0.2179	0.2007	0.2140	5.00	4.43	4.65	4.96
UR-IW-2	0.3335	0.1870	0.3386	0.1890	4.94	4.78	4.02	4.88
UR-IW-1	0.2123	0.1959	0.2258	0.2037	4.90	4.65	4.39	4.98
health-nlp-1	0.0319	0.0369	0.0324	0.0380	1.24	1.04	1.22	1.37
health-nlp-2	0.0167	0.0214	0.0180	0.0229	1.24	0.82	1.06	1.29
dictycite-baseline	0.3226	0.2568	0.3148	0.2503	4.90	4.55	4.51	4.78
health-nlp-4	0.0247	0.0225	0.0287	0.0260	1.33	0.96	1.20	1.33
dictycite-max-rew-sl	0.3009	0.3088	0.2866	0.2950	4.98	4.75	4.82	4.98
dictycite-snippet	0.3253	0.2592	0.3166	0.2516	4.90	4.59	4.47	4.80
h-nlp-autob-medcpt	0.0291	0.0362	0.0302	0.0382	1.33	0.98	1.25	1.37
health-nlp-3	0.0051	0.0074	0.0058	0.0088	1.00	0.63	0.84	1.24
bioinfo-0	0.2701	0.2208	0.2684	0.2170	4.92	4.57	4.33	5.00
bioinfo-1	0.3182	0.2410	0.3112	0.2341	4.96	4.76	4.37	4.96
bioinfo-2	0.3121	0.2388	0.3113	0.2349	4.98	4.67	4.45	4.94
bioinfo-3	0.3146	0.2145	0.3120	0.2089	4.98	4.78	4.24	4.90
bioinfo-4	0.3036	0.2191	0.3051	0.2170	4.86	4.71	4.22	4.92
pancras_naive	0.2764	0.2001	0.2842	0.2034	4.86	4.80	4.43	4.82
pancras_crag	0.2764	0.2001	0.2842	0.2034	4.86	4.80	4.43	4.82
lean_rag	0.2673	0.2749	0.2515	0.2591	4.86	4.53	4.61	4.84
lean_rag_ft	0.2681	0.2676	0.2569	0.2564	4.92	4.47	4.59	4.96
lean_rag_ft_sparse	0.2536	0.2279	0.2509	0.2206	4.73	4.51	4.55	4.80
multi-stage rank&llm	0.3579	0.2175	0.3584	0.2154	4.86	4.69	4.14	4.78
dmiip2024	0.2099	0.2672	0.1939	0.2487	4.92	3.86	4.67	4.98
dmiip2024_1	0.2194	0.2509	0.2092	0.2415	4.92	4.45	4.75	5.00
dmiip2024_2	0.2563	0.2857	0.2424	0.2712	4.92	4.39	4.73	4.96
dmiip2024_3	0.2519	0.2862	0.2417	0.2774	4.94	4.49	4.84	4.98
dmiip2024_4	0.2438	0.2842	0.2338	0.2742	4.92	4.27	4.75	4.96
CSA-IISR 1st	0.2814	0.2510	0.2787	0.2479	4.80	4.71	4.73	4.92
CSA-IISR 2nd	0.1800	0.1630	0.1771	0.1590	3.39	3.29	3.35	3.55
CSA-IISR 3rd	0.1835	0.1653	0.1815	0.1625	3.37	3.25	3.39	3.53
CSA-IISR 4th	0.1296	0.1057	0.1252	0.1008	2.02	2.06	2.00	2.16
CSA-IISR 5st	0.1814	0.1636	0.1764	0.1587	3.39	3.27	3.31	3.53
IR_J-1	-	-	-	-	1.61	0.49	1.61	1.61
IR_J-2	0.2487	0.2037	0.2402	0.1956	4.88	4.80	4.35	4.84
IR_J-3	0.2404	0.1918	0.2354	0.1843	4.92	4.78	4.31	4.82
Organization name	0.2752	0.1763	0.2874	0.1815	3.90	4.24	3.96	4.51
IR_J-4	0.2613	0.2852	0.2487	0.2698	4.96	4.59	4.80	4.96
IR_J-5	-	-	-	-	1.61	0.49	1.61	1.61
DS@GT-BioASQ	0.1820	0.2364	0.1677	0.2214	4.94	3.78	4.84	5.00
Fleming-1	0.3549	0.1772	0.3541	0.1757	4.82	4.69	4.04	4.76
LLM Biomedical QA	0.0663	0.0577	0.0676	0.0588	1.31	1.12	1.06	1.33
DMIS_MES_TEST_1	0.1649	0.1027	0.1685	0.1010	2.29	2.61	2.12	2.35
DMIS_MES_TEST_2	0.1649	0.1027	0.1685	0.1010	2.29	2.61	2.12	2.35
DMIS_MES_TEST_3	0.1649	0.1027	0.1685	0.1010	2.29	2.61	2.12	2.35
DMIS_MES_TEST_4	0.1649	0.1027	0.1685	0.1010	2.29	2.61	2.12	2.35
DMIS_MES_TEST_5	0.1649	0.1027	0.1685	0.1010	2.29	2.61	2.12	2.35
Gen-Doc	0.0627	0.0575	0.0626	0.0574	1.25	1.18	1.20	1.27
ku_dmis	-	-	-	-	-	-	-	-
ku_dmis_2	-	-	-	-	-	-	-	-
ku_dmis_3	-	-	-	-	-	-	-	-
ku_dmis_4	-	-	-	-	-	-	-	-
ku_dmis_5	-	-	-	-	-	-	-	-
llama for 14b b	0.1833	0.2209	0.1707	0.2092	4.37	3.80	4.33	4.49
agentic graph	0.1052	0.1125	0.1004	0.1079	3.41	3.57	4.00	4.59
EP-1	0.2460	0.2194	0.2545	0.2262	4.98	4.75	4.82	4.98
EP-2	0.2721	0.2410	0.2731	0.2422	4.98	4.75	4.84	5.00
EP-3	0.2713	0.2453	0.2706	0.2447	4.96	4.69	4.78	5.00
EP-4	0.2410	0.2140	0.2505	0.2210	5.00	4.75	4.78	4.96
IR_Y-1	0.0777	0.0984	0.0774	0.0984	3.86	4.24	4.45	4.61
IR_Y-2	0.1044	0.1154	0.1020	0.1127	4.00	4.20	4.41	4.61
IR_Y-3	0.2589	0.2105	0.2551	0.2074	4.51	4.43	4.45	4.65
IR_Y-4	0.2948	0.2319	0.2857	0.2235	4.33	4.47	4.53	4.84
IR_Y-5	0.3027	0.2753	0.2978	0.2696	4.94	4.59	4.67	4.96
Another	0.2639	0.2935	0.2544	0.2844	4.94	4.65	4.84	5.00
Dif-C	0.2573	0.2760	0.2467	0.2662	4.92	4.35	4.80	4.94
EP-5	0.2410	0.2140	0.2505	0.2210	5.00	4.75	4.78	4.96
Bio26NIA	0.2718	0.2935	0.2641	0.2858	4.96	4.67	4.86	4.94
BioASQ_Baseline	-	-	-	-	-	-	-	-

Test batch 4

Exact Answers

	Yes/No				Factoid			List
System	Accuracy	F1 Yes	F1 No	Macro F1	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
bioinfo-0	0.9375	0.9474	0.9231	0.9352	0.3636	0.4545	0.4091	0.3974	0.4403	0.3981
bioinfo-1	0.8750	0.9000	0.8333	0.8667	0.3636	0.4545	0.4091	0.5414	0.5669	0.5203
bioinfo-2	0.8750	0.9000	0.8333	0.8667	0.4545	0.5455	0.5000	0.4904	0.5868	0.5121
bioinfo-3	0.8750	0.9000	0.8333	0.8667	0.6364	0.7273	0.6818	0.6100	0.6455	0.5944
bioinfo-4	0.9375	0.9474	0.9231	0.9352	0.5455	0.6364	0.5758	0.4035	0.3948	0.3935
pancras_naive	0.8125	0.8421	0.7692	0.8057	0.2727	0.4545	0.3636	0.5705	0.6681	0.5970
pancras_crag	0.8125	0.8421	0.7692	0.8057	0.2727	0.4545	0.3636	0.5705	0.6681	0.5970
ku_dmis	0.8750	0.9000	0.8333	0.8667	0.7273	0.7273	0.7273	0.7145	0.4465	0.5208
ku_dmis_2	0.8750	0.9000	0.8333	0.8667	0.7273	0.7273	0.7273	0.6180	0.5501	0.5672
ku_dmis_3	0.8750	0.9000	0.8333	0.8667	0.7273	0.9091	0.7879	0.5749	0.6456	0.5835
ku_dmis_4	0.8750	0.9000	0.8333	0.8667	0.3636	0.7273	0.5303	0.6186	0.6038	0.5960
ku_dmis_5	0.8750	0.9000	0.8333	0.8667	0.7273	0.9091	0.7879	0.5312	0.7241	0.5843
EP-1	0.9375	0.9474	0.9231	0.9352	0.5455	0.5455	0.5455	0.6067	0.5042	0.5291
EP-2	0.9375	0.9474	0.9231	0.9352	0.7273	0.7273	0.7273	0.6138	0.5092	0.5343
EP-3	0.9375	0.9474	0.9231	0.9352	0.6364	0.7273	0.6818	0.5913	0.6252	0.5794
EP-4	0.9375	0.9474	0.9231	0.9352	0.2727	0.7273	0.4773	0.5800	0.4519	0.4927
EP-5	0.9375	0.9474	0.9231	0.9352	0.2727	0.7273	0.4545	0.6000	0.4653	0.5087
"RMC_1"	0.7500	0.8000	0.6667	0.7333	0.4545	0.4545	0.4545	0.4150	0.3081	0.3404
RMC_2	0.8750	0.8889	0.8571	0.8730	0.5455	0.5455	0.5455	0.5800	0.4728	0.5014
UR-IW-1	0.8750	0.9000	0.8333	0.8667	0.4545	0.5455	0.4848	0.4628	0.6593	0.5149
UR-IW-2	0.8750	0.9000	0.8333	0.8667	0.5455	0.6364	0.5758	0.3620	0.7850	0.4608
UR-IW-3	0.8750	0.9000	0.8333	0.8667	0.4545	0.5455	0.4773	0.4942	0.7265	0.5564
UR-IW-4	0.8750	0.9000	0.8333	0.8667	0.4545	0.6364	0.5303	0.5214	0.6843	0.5554
multi-stage rank&llm	0.9375	0.9474	0.9231	0.9352	0.4545	0.6364	0.5076	0.4943	0.6625	0.5506
SATO	0.8750	0.9000	0.8333	0.8667	0.6364	0.6364	0.6364	0.6625	0.5322	0.5783
UR-IW-5	0.8750	0.9000	0.8333	0.8667	0.5455	0.6364	0.5682	0.3144	0.7740	0.4228
dictycite-baseline	0.9375	0.9474	0.9231	0.9352	0.4545	0.5455	0.5000	0.6283	0.5572	0.5699
dictycite-max-rew-sl	0.8750	0.9000	0.8333	0.8667	0.6364	0.8182	0.7273	0.6226	0.6789	0.6281
dictycite-snippet	0.9375	0.9474	0.9231	0.9352	0.4545	0.5455	0.5000	0.6308	0.5697	0.5828
Finalcorrected	0.8125	0.8421	0.7692	0.8057	0.5455	0.5455	0.5455	0.3240	0.6428	0.4108
MedQA-1	0.8750	0.9000	0.8333	0.8667	0.4545	0.5455	0.5000	0.4432	0.5339	0.4611
MedQA-2	0.8750	0.9000	0.8333	0.8667	0.3636	0.4545	0.4091	0.4109	0.5359	0.4396
MedQA-3	0.8750	0.9000	0.8333	0.8667	0.4545	0.5455	0.5000	0.4964	0.6180	0.5262
MedQA-4	0.8750	0.9000	0.8333	0.8667	0.4545	0.5455	0.5000	0.5194	0.5992	0.5349
MedQA-5	0.8750	0.9000	0.8333	0.8667	0.4545	0.5455	0.5000	0.4627	0.6335	0.5069
health-nlp-1	0.8125	0.8421	0.7692	0.8057	0.1818	0.1818	0.1818	0.2950	0.1712	0.1941
health-nlp-2	0.6875	0.8000	0.2857	0.5429	0.3636	0.3636	0.3636	0.1489	0.1418	0.1349
health-nlp-4	0.7500	0.8182	0.6000	0.7091	0.3636	0.3636	0.3636	0.2592	0.1384	0.1713
h-nlp-autob-medcpt	0.8125	0.8571	0.7273	0.7922	0.3636	0.3636	0.3636	0.4436	0.2908	0.3260
health-nlp-3	0.7500	0.8182	0.6000	0.7091	0.0909	0.0909	0.0909	0.2033	0.1093	0.1284
multi-stage rank&ll	0.9375	0.9474	0.9231	0.9352	0.4545	0.5455	0.5000	0.4328	0.6598	0.5012
Fleming-1	0.8750	0.9000	0.8333	0.8667	0.3636	0.5455	0.4167	0.6007	0.5923	0.5897
lean_rag	0.9375	0.9474	0.9231	0.9352	0.3636	0.3636	0.3636	0.6298	0.4771	0.5086
lean_rag_ft_sparse	0.9375	0.9474	0.9231	0.9352	0.2727	0.2727	0.2727	0.5493	0.4101	0.4486
dmiip2024	0.6250	0.7500	0.2500	0.5000	0.4545	0.5455	0.5000	0.6495	0.6360	0.6206
dmiip2024_1	0.9375	0.9474	0.9231	0.9352	0.5455	0.7273	0.6364	0.6704	0.5204	0.5674
dmiip2024_2	0.9375	0.9474	0.9231	0.9352	0.5455	0.7273	0.6212	0.5250	0.6010	0.5377
dmiip2024_3	0.9375	0.9474	0.9231	0.9352	0.4545	0.5455	0.5000	0.5793	0.6008	0.5697
dmiip2024_4	0.9375	0.9474	0.9231	0.9352	0.5455	0.8182	0.6818	0.6975	0.5280	0.5764
DS@GT-BioASQ	0.8750	0.9000	0.8333	0.8667	0.3636	0.4545	0.4091	0.4458	0.2372	0.2993
DSGTBioasq	0.8750	0.9000	0.8333	0.8667	0.3636	0.4545	0.4091	0.4458	0.2372	0.2993
1 system	0.8750	0.9000	0.8333	0.8667	0.5455	0.6364	0.5909	0.5338	0.5142	0.4953
2 system	0.8750	0.9000	0.8333	0.8667	0.4545	0.6364	0.5303	0.4081	0.6449	0.4600
3 system	0.8125	0.8421	0.7692	0.8057	0.3636	0.6364	0.4848	0.3699	0.6089	0.4331
4 system	0.8750	0.9000	0.8333	0.8667	0.3636	0.5455	0.4545	0.5140	0.5770	0.5204
5 system	0.8750	0.9000	0.8333	0.8667	0.4545	0.4545	0.4545	0.4873	0.6466	0.5077
IR_J-1	0.8750	0.9000	0.8333	0.8667	0.4545	0.6364	0.5303	0.6615	0.7609	0.6899
IR_J-2	0.8750	0.9000	0.8333	0.8667	0.3636	0.4545	0.4091	0.4337	0.5456	0.4671
IR_J-3	0.9375	0.9474	0.9231	0.9352	0.4545	0.4545	0.4545	0.6735	0.6554	0.6559
IR_J-4	0.8750	0.9000	0.8333	0.8667	0.4545	0.4545	0.4545	0.5861	0.5993	0.5669
IR_J-5	0.9375	0.9474	0.9231	0.9352	0.3636	0.3636	0.3636	0.6918	0.5868	0.6199
LLM Biomedical QA	0.9375	0.9474	0.9231	0.9352	0.3636	0.5455	0.4242	0.5938	0.5780	0.5653
Fleming-2	0.9375	0.9524	0.9091	0.9307	0.3636	0.5455	0.4167	0.6007	0.5923	0.5897
IR_Y-1	1.0000	1.0000	1.0000	1.0000	0.1818	0.2727	0.2121	0.3893	0.4327	0.3912
IR_Y-2	1.0000	1.0000	1.0000	1.0000	0.1818	0.2727	0.2045	0.3497	0.4055	0.3608
IR_Y-3	0.9375	0.9474	0.9231	0.9352	0.4545	0.5455	0.5000	0.2261	0.1901	0.1844
agentic graph	0.9375	0.9474	0.9231	0.9352	0.2727	0.2727	0.2727	0.3719	0.4028	0.3717
IR_Y-4	0.9375	0.9474	0.9231	0.9352	0.3636	0.4545	0.4091	0.2413	0.1967	0.1969
IR_Y-5	0.9375	0.9474	0.9231	0.9352	0.4545	0.5455	0.5000	0.2396	0.1884	0.1911
FinalQwen	0.9375	0.9524	0.9091	0.9307	-	-	-	0.2542	0.1029	0.1326
Bio26NIA	0.8750	0.9000	0.8333	0.8667	0.5455	0.6364	0.5758	0.6245	0.6181	0.6086
Another	0.8750	0.9000	0.8333	0.8667	0.7273	0.8182	0.7727	0.6841	0.6768	0.6579
EHM-9	0.8750	0.9000	0.8333	0.8667	0.5455	0.5455	0.5455	0.6356	0.6445	0.6189
Dif-C	0.8750	0.9000	0.8333	0.8667	0.5455	0.5455	0.5455	0.6505	0.6277	0.6253
NewM	0.8750	0.9000	0.8333	0.8667	0.5455	0.6364	0.5909	0.6288	0.6155	0.6027
Fleming-3	0.8750	0.9000	0.8333	0.8667	0.1818	0.5455	0.3333	0.6007	0.5923	0.5897
Fleming-4	0.9375	0.9524	0.9091	0.9307	0.1818	0.5455	0.3333	0.6007	0.5923	0.5897
DMIS_MES_TEST_1	0.9375	0.9474	0.9231	0.9352	0.7273	0.7273	0.7273	-	-	-
DMIS_MES_TEST_2	0.9375	0.9474	0.9231	0.9352	0.7273	0.7273	0.7273	-	-	-
DMIS_MES_TEST_3	0.9375	0.9474	0.9231	0.9352	0.7273	0.7273	0.7273	-	-	-
DMIS_MES_TEST_4	0.9375	0.9474	0.9231	0.9352	0.7273	0.7273	0.7273	-	-	-
DMIS_MES_TEST_5	0.9375	0.9474	0.9231	0.9352	0.7273	0.7273	0.7273	-	-	-
CSA-IISR 1st	0.8750	0.9000	0.8333	0.8667	0.5455	0.8182	0.6667	0.6918	0.7092	0.6883
CSA-IISR 2nd	0.8750	0.9000	0.8333	0.8667	0.6364	0.7273	0.6818	0.6918	0.7092	0.6883
CSA-IISR 3rd	0.8750	0.9000	0.8333	0.8667	0.6364	0.8182	0.7045	0.6918	0.7092	0.6883
CSA-IISR 4th	0.8750	0.8889	0.8571	0.8730	0.5455	0.9091	0.6970	0.6922	0.7524	0.7097
CSA-IISR 5st	0.9375	0.9474	0.9231	0.9352	0.6364	0.7273	0.6818	0.6922	0.7524	0.7097
BioASQ_Baseline	0.3750	0.1667	0.5000	0.3333	0.0000	0.1818	0.0758	0.2584	0.2772	0.2223

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
bioinfo-0	0.2633	0.2211	0.2607	0.2171	4.78	4.60	4.41	4.95
bioinfo-1	0.2871	0.2070	0.2870	0.2050	4.84	4.74	4.24	4.98
bioinfo-2	0.3024	0.2264	0.3059	0.2260	4.84	4.83	4.41	4.95
bioinfo-3	0.2736	0.1998	0.2794	0.2006	4.81	4.88	4.22	4.95
bioinfo-4	0.2755	0.2033	0.2737	0.1992	4.76	4.71	4.29	4.93
pancras_naive	0.2666	0.1873	0.2790	0.1931	4.74	4.83	4.31	4.79
pancras_crag	0.2666	0.1873	0.2790	0.1931	4.74	4.83	4.31	4.79
ku_dmis	-	-	-	-	-	-	-	-
ku_dmis_2	-	-	-	-	-	-	-	-
ku_dmis_3	-	-	-	-	-	-	-	-
ku_dmis_4	-	-	-	-	-	-	-	-
ku_dmis_5	-	-	-	-	-	-	-	-
EP-1	0.2292	0.2065	0.2293	0.2067	4.84	4.66	4.81	5.00
EP-2	0.2419	0.2199	0.2438	0.2209	4.90	4.60	4.78	4.98
EP-3	0.2566	0.2291	0.2601	0.2309	4.86	4.59	4.79	4.97
EP-4	0.2478	0.2294	0.2479	0.2276	4.81	4.60	4.69	4.98
EP-5	0.2292	0.2065	0.2293	0.2067	4.84	4.66	4.81	5.00
"RMC_1"	0.1787	0.2194	0.1673	0.2061	4.78	3.81	4.52	4.90
RMC_2	0.2506	0.2555	0.2450	0.2485	4.62	4.33	4.52	4.83
UR-IW-1	0.2164	0.1936	0.2289	0.2015	4.83	4.67	4.45	4.95
UR-IW-2	0.3095	0.1785	0.3182	0.1810	4.88	4.84	3.90	4.88
UR-IW-3	0.2109	0.2117	0.2138	0.2140	4.86	4.59	4.66	4.97
UR-IW-4	0.1962	0.2210	0.1965	0.2203	4.86	4.48	4.78	4.93
multi-stage rank&llm	0.3171	0.1997	0.3182	0.1986	4.79	4.71	4.22	4.79
SATO	0.1787	0.2039	0.1710	0.1951	3.31	3.57	4.43	4.98
UR-IW-5	0.3015	0.1818	0.3125	0.1851	4.86	4.93	4.02	4.91
dictycite-baseline	0.2783	0.2332	0.2760	0.2300	4.69	4.48	4.50	4.74
dictycite-max-rew-sl	0.2934	0.2901	0.2895	0.2854	4.90	4.74	4.76	4.97
dictycite-snippet	0.2804	0.2358	0.2781	0.2330	4.72	4.55	4.55	4.74
Finalcorrected	0.1963	0.1644	0.1996	0.1675	4.66	3.93	4.34	4.90
MedQA-1	0.2089	0.1879	0.2143	0.1928	4.55	4.38	4.33	4.98
MedQA-2	0.1871	0.1748	0.1967	0.1849	4.59	4.38	4.45	4.88
MedQA-3	0.2203	0.2063	0.2282	0.2139	4.59	4.55	4.47	4.98
MedQA-4	0.2259	0.2009	0.2351	0.2085	4.60	4.55	4.45	5.00
MedQA-5	0.2259	0.2009	0.2351	0.2085	4.60	4.55	4.45	5.00
health-nlp-1	0.0240	0.0267	0.0251	0.0279	1.00	0.83	1.05	1.12
health-nlp-2	0.0181	0.0236	0.0179	0.0239	0.98	0.84	1.05	1.09
health-nlp-4	0.0177	0.0232	0.0172	0.0229	1.00	0.76	0.83	1.12
h-nlp-autob-medcpt	0.0237	0.0297	0.0223	0.0286	1.00	0.97	1.09	1.12
health-nlp-3	0.0046	0.0077	0.0045	0.0073	0.78	0.57	0.90	1.02
multi-stage rank&ll	0.3094	0.1795	0.3089	0.1775	4.78	4.60	3.93	4.88
Fleming-1	0.3173	0.1747	0.3184	0.1730	4.67	4.91	4.03	4.57
lean_rag	0.2191	0.2296	0.2187	0.2293	4.79	4.34	4.66	4.90
lean_rag_ft_sparse	0.2470	0.2228	0.2493	0.2235	4.72	4.53	4.50	4.83
dmiip2024	0.2207	0.2605	0.2066	0.2444	4.90	4.47	4.74	4.97
dmiip2024_1	0.2051	0.2451	0.1975	0.2371	4.90	4.33	4.88	5.00
dmiip2024_2	0.2419	0.2590	0.2302	0.2467	4.81	4.60	4.67	4.86
dmiip2024_3	0.2529	0.2835	0.2454	0.2763	4.88	4.52	4.81	5.00
dmiip2024_4	0.2381	0.2701	0.2259	0.2559	4.91	4.34	4.74	4.90
DS@GT-BioASQ	0.1686	0.2068	0.1581	0.1954	4.67	4.00	4.78	4.93
DSGTBioasq	0.1686	0.2068	0.1581	0.1954	4.67	4.00	4.78	4.93
1 system	0.1913	0.2238	0.1867	0.2180	4.86	4.28	4.69	5.00
2 system	0.1937	0.2172	0.1885	0.2110	4.91	4.45	4.55	4.97
3 system	0.1882	0.2094	0.1861	0.2071	4.74	4.43	4.48	4.88
4 system	0.1981	0.2288	0.1942	0.2245	4.84	4.34	4.55	4.98
5 system	0.1894	0.2181	0.1868	0.2152	4.84	4.41	4.59	4.98
IR_J-1	0.2466	0.2366	0.2482	0.2364	4.81	4.59	4.55	4.91
IR_J-2	0.1876	0.1643	0.1866	0.1590	4.83	4.81	4.09	4.79
IR_J-3	0.2047	0.1733	0.2071	0.1700	4.83	4.78	4.17	4.78
IR_J-4	-	-	-	-	1.64	0.40	1.64	1.64
IR_J-5	-	-	-	-	1.64	0.40	1.64	1.64
LLM Biomedical QA	0.0477	0.0406	0.0485	0.0409	1.05	0.95	0.88	1.07
Fleming-2	0.3173	0.1747	0.3184	0.1730	4.67	4.91	4.03	4.57
IR_Y-1	0.0674	0.0791	0.0605	0.0712	3.62	4.00	4.38	4.22
IR_Y-2	0.0686	0.0791	0.0632	0.0730	3.62	4.12	4.33	4.24
IR_Y-3	0.2826	0.2607	0.2781	0.2562	4.72	4.43	4.59	4.93
agentic graph	0.1361	0.1432	0.1319	0.1395	3.24	4.02	4.02	4.28
IR_Y-4	0.2958	0.2570	0.2923	0.2531	4.74	4.59	4.62	4.86
IR_Y-5	0.2841	0.2656	0.2769	0.2585	4.88	4.55	4.69	4.95
FinalQwen	0.1891	0.1203	0.1954	0.1220	3.50	4.29	3.74	4.41
Bio26NIA	0.2877	0.2759	0.2827	0.2711	4.74	4.66	4.74	4.81
Another	0.2995	0.2761	0.2916	0.2693	4.88	4.72	4.67	4.90
EHM-9	0.2727	0.2614	0.2668	0.2566	4.84	4.64	4.71	4.91
Dif-C	0.2587	0.2786	0.2523	0.2741	4.83	4.53	4.83	4.97
NewM	0.2453	0.2792	0.2358	0.2704	4.95	4.60	4.88	4.98
Fleming-3	0.3173	0.1747	0.3184	0.1730	4.67	4.91	4.03	4.57
Fleming-4	0.3173	0.1747	0.3184	0.1730	4.67	4.91	4.03	4.57
DMIS_MES_TEST_1	0.1241	0.1108	0.1262	0.1122	2.03	2.34	2.33	2.33
DMIS_MES_TEST_2	0.1241	0.1108	0.1262	0.1122	2.03	2.34	2.33	2.33
DMIS_MES_TEST_3	0.1241	0.1108	0.1262	0.1122	2.03	2.34	2.33	2.33
DMIS_MES_TEST_4	0.1241	0.1108	0.1262	0.1122	2.03	2.34	2.33	2.33
DMIS_MES_TEST_5	0.1241	0.1108	0.1262	0.1122	2.03	2.34	2.33	2.33
CSA-IISR 1st	0.1622	0.1519	0.1646	0.1525	-	-	-	-
CSA-IISR 2nd	0.1650	0.1563	0.1646	0.1552	3.19	3.10	3.05	3.28
CSA-IISR 3rd	0.1699	0.1586	0.1713	0.1591	3.16	3.10	3.03	3.28
CSA-IISR 4th	0.1528	0.1423	0.1562	0.1453	3.10	3.07	3.10	3.29
CSA-IISR 5st	0.1586	0.1488	0.1593	0.1486	-	-	-	-
BioASQ_Baseline	-	-	-	-	-	-	-	-