BioASQ Participants Area

Task 14b: Test Results of Phase B

The test results are presented in separate tables for each type of annotation. The "System Description" of each system is used.
The evaluation measures that are used in Task B are presented here .
Warning: For ideal answers, good ROUGE results do not always imply good manual scores.

Test batch 1

Exact Answers

	Yes/No				Factoid			List
System	Accuracy	F1 Yes	F1 No	Macro F1	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
CS 1st submit	0.9412	0.9524	0.9231	0.9377	0.4348	0.5652	0.4891	0.3448	0.3340	0.3342
"RMC_1"	0.8235	0.8421	0.8000	0.8211	0.2174	0.2174	0.2174	0.2032	0.1491	0.1618
asmalltrialsystem	0.9412	0.9524	0.9231	0.9377	0.3043	0.4348	0.3696	0.3202	0.3241	0.3171
ossllm	0.9412	0.9524	0.9231	0.9377	0.3043	0.4348	0.3696	0.3202	0.3241	0.3171
Biomedical QA system	0.9412	0.9524	0.9231	0.9377	0.2609	0.3043	0.2826	0.3202	0.3400	0.3204
Biomedical QA s. v2	0.8824	0.9000	0.8571	0.8786	0.2609	0.2609	0.2609	0.0933	0.3564	0.1406
Biomedical QA s3	0.9412	0.9524	0.9231	0.9377	0.2609	0.3043	0.2826	0.2689	0.3223	0.2868
Biomedical QA s.4	0.9412	0.9524	0.9231	0.9377	0.2609	0.3043	0.2826	0.2615	0.3084	0.2773
WM Licensing Oracle	0.8824	0.9091	0.8333	0.8712	0.2609	0.3043	0.2826	0.3114	0.3550	0.3161
RMC_2	0.8824	0.9000	0.8571	0.8786	0.4348	0.4348	0.4348	0.2613	0.2379	0.2342
pancras_naive	0.9412	0.9474	0.9333	0.9404	0.4348	0.4783	0.4493	0.2327	0.2580	0.2404
pancras_crag	0.9412	0.9474	0.9333	0.9404	0.4348	0.4783	0.4493	0.2327	0.2580	0.2404
DMISTeam3	0.9412	0.9474	0.9333	0.9404	0.4348	0.4783	0.4435	0.1942	0.2934	0.2183
h-nlp-autob-medcpt	0.9412	0.9474	0.9333	0.9404	0.2174	0.2174	0.2174	0.2921	0.1561	0.1892
health-nlp-4	0.8235	0.8421	0.8000	0.8211	-	-	-	0.0754	0.0497	0.0569
health-nlp-3	0.8824	0.9000	0.8571	0.8786	0.3913	0.3913	0.3913	0.1505	0.1329	0.1369
health-nlp-2	0.7647	0.8333	0.6000	0.7167	0.2609	0.2609	0.2609	0.1570	0.1582	0.1510
health-nlp-1	0.5882	0.6667	0.4615	0.5641	0.1304	0.1304	0.1304	0.0684	0.0493	0.0473
ubuntu	0.8824	0.8889	0.8750	0.8819	0.2609	0.2609	0.2609	0.2063	0.1674	0.1755
MedQA-1	0.9412	0.9524	0.9231	0.9377	0.4783	0.5217	0.4928	0.3078	0.3235	0.3125
MedQA-2	0.9412	0.9524	0.9231	0.9377	0.4783	0.5217	0.4928	0.3136	0.3362	0.3202
MedQA-3	0.9412	0.9524	0.9231	0.9377	0.4783	0.5217	0.4928	0.3164	0.3302	0.3197
MedQA-4	0.9412	0.9524	0.9231	0.9377	0.3913	0.5217	0.4493	0.2516	0.3413	0.2845
MedQA-5	0.9412	0.9524	0.9231	0.9377	0.4783	0.5217	0.4928	0.3164	0.3302	0.3197
Organization name	0.9412	0.9474	0.9333	0.9404	0.3478	0.3478	0.3478	0.3141	0.3038	0.2978
CSA-IISR 1st	0.9412	0.9524	0.9231	0.9377	0.4348	0.5652	0.4891	0.3448	0.3340	0.3342
CSA-IISR 2nd	0.8824	0.9000	0.8571	0.8786	0.5217	0.5217	0.5217	0.3373	0.3167	0.3181
CSA-IISR 3rd	0.8824	0.9000	0.8571	0.8786	0.4348	0.5652	0.4891	0.3675	0.3678	0.3613
DS@GT-BioASQ	0.7647	0.8000	0.7143	0.7571	0.2609	0.2609	0.2609	0.3119	0.2010	0.2285
dmiip2024	1.0000	1.0000	1.0000	1.0000	0.4348	0.5217	0.4783	0.3008	0.2153	0.2373
dmiip2024_1	0.9412	0.9524	0.9231	0.9377	0.3913	0.4348	0.4130	0.3045	0.2693	0.2755
dmiip2024_2	1.0000	1.0000	1.0000	1.0000	0.3913	0.4348	0.4130	0.2571	0.2093	0.2177
dmiip2024_4	0.9412	0.9524	0.9231	0.9377	0.4783	0.5652	0.5217	0.3444	0.2382	0.2663
dmiip2024_3	0.9412	0.9524	0.9231	0.9377	0.4348	0.4783	0.4565	0.2871	0.3020	0.2770
porties-llama3-base	0.8824	0.9091	0.8333	0.8712	0.3043	0.3478	0.3130	0.2422	0.3015	0.2590
dictycite-baseline	0.9412	0.9524	0.9231	0.9377	0.4783	0.4783	0.4783	0.3388	0.2676	0.2885
DMIS_MES_TEST_1	0.9412	0.9524	0.9231	0.9377	0.3913	0.4783	0.4203	0.2809	0.2248	0.2353
DMIS_MES_TEST_2	0.9412	0.9524	0.9231	0.9377	0.3913	0.4783	0.4203	0.2829	0.2327	0.2414
DMIS_MES_TEST_3	0.9412	0.9524	0.9231	0.9377	0.3913	0.4783	0.4203	0.2809	0.2248	0.2353
IR_Y-1	0.6471	0.7692	0.2500	0.5096	0.0000	0.1304	0.0522	0.1943	0.1872	0.1855
DMIS_MES_TEST_4	0.9412	0.9524	0.9231	0.9377	0.3913	0.4783	0.4203	0.2809	0.2248	0.2353
DMIS_MES_TEST_5	0.9412	0.9524	0.9231	0.9377	0.3913	0.5217	0.4290	0.2809	0.2248	0.2353
IR_J-1	0.8824	0.9091	0.8333	0.8712	0.3913	0.3913	0.3913	0.3067	0.2412	0.2598
IR_J-2	1.0000	1.0000	1.0000	1.0000	0.4348	0.4348	0.4348	0.2406	0.2723	0.2392
IR_J-3	0.9412	0.9524	0.9231	0.9377	0.4348	0.4783	0.4565	0.2448	0.2177	0.2151
IR_J-4	1.0000	1.0000	1.0000	1.0000	0.3913	0.3913	0.3913	0.2482	0.2898	0.2582
IR_J-5	0.9412	0.9524	0.9231	0.9377	0.3478	0.3913	0.3696	0.2653	0.3631	0.2891
IR_Y-2	0.6471	0.7692	0.2500	0.5096	0.0000	0.0870	0.0304	0.1834	0.1964	0.1841
IR_Y-3	0.9412	0.9524	0.9231	0.9377	0.2174	0.2609	0.2391	0.1954	0.1775	0.1769
IR_Y-5	0.9412	0.9524	0.9231	0.9377	0.3478	0.4348	0.3913	0.2056	0.1750	0.1791
EP-1	0.9412	0.9524	0.9231	0.9377	0.4348	0.4348	0.4348	0.3024	0.2199	0.2459
IR_Y-4	0.9412	0.9524	0.9231	0.9377	0.2609	0.3478	0.2935	0.1954	0.1775	0.1769
EP-2	0.9412	0.9524	0.9231	0.9377	0.4783	0.4783	0.4783	0.2310	0.1626	0.1847
config-1	0.8824	0.9000	0.8571	0.8786	0.3913	0.4783	0.4275	0.2951	0.3269	0.3067
config-2	0.9412	0.9474	0.9333	0.9404	0.4348	0.4783	0.4565	0.2381	0.3408	0.2698
EP-3	0.9412	0.9524	0.9231	0.9377	0.4783	0.5217	0.4891	0.3126	0.3014	0.2954
EP-4	0.9412	0.9474	0.9333	0.9404	0.2609	0.4348	0.3478	0.2175	0.1691	0.1852
Fleming-1	0.9412	0.9524	0.9231	0.9377	0.3043	0.4348	0.3696	0.2471	0.2845	0.2590
EP-5	0.9412	0.9474	0.9333	0.9404	0.2609	0.3913	0.3261	0.2180	0.1667	0.1767
ku_dmis	0.9412	0.9524	0.9231	0.9377	0.4348	0.4783	0.4565	0.3096	0.2618	0.2734
UR-IW-1	0.8824	0.9000	0.8571	0.8786	0.4783	0.5652	0.5217	0.1386	0.3250	0.1842
UR-IW-2	0.8824	0.9000	0.8571	0.8786	0.3478	0.3913	0.3696	0.1790	0.2892	0.2156
UR-IW-3	0.8824	0.9000	0.8571	0.8786	0.4348	0.4783	0.4565	0.1675	0.2893	0.2031
UR-IW-4	0.8824	0.9000	0.8571	0.8786	0.3913	0.5217	0.4565	0.2074	0.2520	0.2199
UR-IW-5	0.9412	0.9524	0.9231	0.9377	0.3043	0.3478	0.3261	0.1995	0.3864	0.2548
bioinfo-0	0.8824	0.9000	0.8571	0.8786	0.3913	0.4348	0.4130	0.2351	0.3089	0.2581
CSA-IISR 4th	0.8824	0.9000	0.8571	0.8786	0.3913	0.4783	0.4275	0.3381	0.3460	0.3369
CSA-IISR 5st	0.8824	0.8889	0.8750	0.8819	0.3913	0.4783	0.4203	0.3349	0.3167	0.3175
Dif-C	0.9412	0.9524	0.9231	0.9377	0.3913	0.4348	0.4058	0.2410	0.2216	0.2259
Bio26NIA	0.9412	0.9524	0.9231	0.9377	0.4348	0.4783	0.4565	0.2822	0.3067	0.2866
Another	1.0000	1.0000	1.0000	1.0000	0.3478	0.3478	0.3478	0.2832	0.2345	0.2443
bioinfo-1	0.8824	0.9000	0.8571	0.8786	0.4348	0.4783	0.4565	0.2417	0.3120	0.2659

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
CS 1st submit	0.2470	0.2038	0.2517	0.1962	-	-	-	-
"RMC_1"	0.1880	0.1910	0.1937	0.1888	-	-	-	-
asmalltrialsystem	0.3288	0.1787	0.3446	0.1797	-	-	-	-
ossllm	0.3288	0.1787	0.3446	0.1797	-	-	-	-
Biomedical QA system	0.2775	0.1238	0.2978	0.1269	-	-	-	-
Biomedical QA s. v2	0.2904	0.1145	0.3016	0.1192	-	-	-	-
Biomedical QA s3	0.2825	0.1244	0.3016	0.1253	-	-	-	-
Biomedical QA s.4	0.2779	0.1230	0.2966	0.1248	-	-	-	-
WM Licensing Oracle	0.2660	0.1354	0.2846	0.1385	-	-	-	-
RMC_2	0.2218	0.2141	0.2215	0.2063	-	-	-	-
pancras_naive	0.2327	0.1494	0.2600	0.1587	-	-	-	-
pancras_crag	0.2327	0.1494	0.2600	0.1587	-	-	-	-
DMISTeam3	0.2636	0.2040	0.2757	0.2086	-	-	-	-
h-nlp-autob-medcpt	0.0192	0.0226	0.0292	0.0264	-	-	-	-
health-nlp-4	0.0313	0.0325	0.0389	0.0353	-	-	-	-
health-nlp-3	0.0232	0.0254	0.0318	0.0308	-	-	-	-
health-nlp-2	0.0209	0.0228	0.0314	0.0308	-	-	-	-
health-nlp-1	0.0166	0.0138	0.0212	0.0177	-	-	-	-
ubuntu	0.0788	0.0806	0.0770	0.0668	-	-	-	-
MedQA-1	0.2860	0.2253	0.2943	0.2213	-	-	-	-
MedQA-2	0.2913	0.2376	0.2980	0.2327	-	-	-	-
MedQA-3	0.2913	0.2376	0.2980	0.2327	-	-	-	-
MedQA-4	0.2449	0.1863	0.2668	0.1939	-	-	-	-
MedQA-5	0.3019	0.2351	0.3097	0.2321	-	-	-	-
Organization name	0.2800	0.1657	0.2904	0.1637	-	-	-	-
CSA-IISR 1st	0.2470	0.2038	0.2517	0.1962	-	-	-	-
CSA-IISR 2nd	0.2624	0.1968	0.2708	0.1938	-	-	-	-
CSA-IISR 3rd	0.2516	0.1869	0.2581	0.1834	-	-	-	-
DS@GT-BioASQ	0.1752	0.1421	0.1910	0.1485	-	-	-	-
dmiip2024	0.2120	0.2034	0.2189	0.2036	-	-	-	-
dmiip2024_1	0.2176	0.1962	0.2281	0.1983	-	-	-	-
dmiip2024_2	0.2380	0.2146	0.2453	0.2146	-	-	-	-
dmiip2024_4	0.2207	0.2218	0.2326	0.2256	-	-	-	-
dmiip2024_3	0.2507	0.2163	0.2650	0.2184	-	-	-	-
porties-llama3-base	0.2848	0.1236	0.3103	0.1297	-	-	-	-
dictycite-baseline	0.2943	0.1940	0.3101	0.1929	-	-	-	-
DMIS_MES_TEST_1	0.2636	0.2040	0.2757	0.2086	-	-	-	-
DMIS_MES_TEST_2	0.2636	0.2040	0.2757	0.2086	-	-	-	-
DMIS_MES_TEST_3	0.2636	0.2040	0.2757	0.2086	-	-	-	-
IR_Y-1	0.0705	0.0810	0.0702	0.0739	-	-	-	-
DMIS_MES_TEST_4	0.2636	0.2040	0.2757	0.2086	-	-	-	-
DMIS_MES_TEST_5	0.2636	0.2040	0.2757	0.2086	-	-	-	-
IR_J-1	-	-	-	-	-	-	-	-
IR_J-2	0.2214	0.1551	0.2301	0.1503	-	-	-	-
IR_J-3	0.2423	0.1436	0.2421	0.1327	-	-	-	-
IR_J-4	0.1859	0.1182	0.1918	0.1151	-	-	-	-
IR_J-5	0.2415	0.2001	0.2505	0.1994	-	-	-	-
IR_Y-2	0.0530	0.0543	0.0563	0.0502	-	-	-	-
IR_Y-3	0.2262	0.1948	0.2254	0.1864	-	-	-	-
IR_Y-5	0.2991	0.2202	0.2983	0.2130	-	-	-	-
EP-1	0.2234	0.1645	0.2364	0.1669	-	-	-	-
IR_Y-4	0.2399	0.2030	0.2369	0.1915	-	-	-	-
EP-2	0.2590	0.1878	0.2662	0.1834	-	-	-	-
config-1	0.3746	0.1453	0.3823	0.1462	-	-	-	-
config-2	0.3693	0.1417	0.3835	0.1427	-	-	-	-
EP-3	0.2523	0.1829	0.2625	0.1819	-	-	-	-
EP-4	0.1927	0.1279	0.2050	0.1309	-	-	-	-
Fleming-1	0.3682	0.1541	0.3724	0.1536	-	-	-	-
EP-5	0.1747	0.1178	0.1865	0.1206	-	-	-	-
ku_dmis	-	-	-	-	-	-	-	-
UR-IW-1	0.2576	0.1222	0.2778	0.1282	-	-	-	-
UR-IW-2	0.2498	0.1547	0.2644	0.1588	-	-	-	-
UR-IW-3	0.1932	0.1217	0.2072	0.1253	-	-	-	-
UR-IW-4	0.1700	0.1520	0.1817	0.1572	-	-	-	-
UR-IW-5	0.2027	0.1664	0.2186	0.1725	-	-	-	-
bioinfo-0	0.2857	0.1303	0.3033	0.1323	-	-	-	-
CSA-IISR 4th	0.2590	0.1903	0.2663	0.1869	-	-	-	-
CSA-IISR 5st	0.2585	0.1957	0.2634	0.1915	-	-	-	-
Dif-C	0.2814	0.2487	0.2776	0.2381	-	-	-	-
Bio26NIA	0.2642	0.2320	0.2734	0.2315	-	-	-	-
Another	0.1617	0.1317	0.1716	0.1348	-	-	-	-
bioinfo-1	0.2678	0.0958	0.2805	0.0982	-	-	-	-

Test batch 2

Exact Answers

	Yes/No				Factoid			List
System	Accuracy	F1 Yes	F1 No	Macro F1	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
Hybrid Retrieval	0.7619	0.8148	0.6667	0.7407	0.1000	0.1000	0.1000	0.3128	0.2244	0.2434
13b-1	0.9048	0.9231	0.8750	0.8990	0.3000	0.3000	0.3000	0.4250	0.3404	0.3630
13b_phase_a	0.9048	0.9231	0.8750	0.8990	0.3000	0.3500	0.3250	0.4250	0.3404	0.3630
dictycite-baseline	1.0000	1.0000	1.0000	1.0000	0.3000	0.3000	0.3000	0.4465	0.4280	0.4301
dictycite-max-rew-sl	0.9524	0.9655	0.9231	0.9443	0.2500	0.4000	0.3167	0.4499	0.4912	0.4620
health-nlp-1	0.8095	0.8667	0.6667	0.7667	0.2000	0.2000	0.2000	0.0434	0.0705	0.0508
health-nlp-2	0.7619	0.8485	0.4444	0.6465	0.2000	0.2000	0.2000	0.0501	0.0801	0.0594
health-nlp-3	0.8571	0.9032	0.7273	0.8152	0.2500	0.2500	0.2500	0.3173	0.2410	0.2565
health-nlp-4	0.8571	0.8800	0.8235	0.8518	-	-	-	0.1050	0.0865	0.0902
pancras_naive	0.9048	0.9286	0.8571	0.8929	0.2000	0.3500	0.2600	0.4464	0.4983	0.4586
pancras_crag	0.9048	0.9286	0.8571	0.8929	0.2000	0.3500	0.2600	0.4464	0.4983	0.4586
"RMC_1"	0.8571	0.8889	0.8000	0.8444	0.0500	0.0500	0.0500	0.2728	0.2858	0.2669
RMC_2	0.9048	0.9231	0.8750	0.8990	0.2500	0.2500	0.2500	0.3692	0.3516	0.3438
ossllm	0.8571	0.8889	0.8000	0.8444	0.3500	0.4000	0.3750	0.3964	0.4239	0.3964
MedQA-1	0.9524	0.9655	0.9231	0.9443	0.3500	0.4500	0.4000	0.4492	0.4500	0.4433
MedQA-2	0.9048	0.9286	0.8571	0.8929	0.3000	0.4500	0.3750	0.4055	0.4372	0.4111
MedQA-3	0.9048	0.9286	0.8571	0.8929	0.3500	0.4500	0.3917	0.4073	0.4832	0.4349
MedQA-4	0.9048	0.9286	0.8571	0.8929	0.3500	0.4500	0.3917	0.4453	0.4576	0.4490
MedQA-5	0.9048	0.9286	0.8571	0.8929	0.3500	0.4500	0.3917	0.4453	0.4576	0.4490
Fleming-1	0.9048	0.9286	0.8571	0.8929	0.2500	0.3500	0.3000	0.3601	0.4570	0.3921
DSGT	0.6667	0.8000	-	0.4000	0.1500	0.1500	0.1500	0.1026	0.0705	0.0799
lean_rag	0.9048	0.9286	0.8571	0.8929	0.3000	0.3000	0.3000	0.4369	0.4185	0.4188
bioinfo-0	0.8571	0.8800	0.8235	0.8518	0.2500	0.2500	0.2500	0.4369	0.3688	0.3836
bioinfo-2	0.9048	0.9286	0.8571	0.8929	0.3000	0.3000	0.3000	0.3657	0.3799	0.3709
bioinfo-3	0.9048	0.9286	0.8571	0.8929	0.3000	0.3000	0.3000	0.4137	0.4780	0.4366
bioinfo-4	0.8571	0.8800	0.8235	0.8518	0.3500	0.3500	0.3500	0.4308	0.4216	0.4062
bioinfo-1	0.9048	0.9286	0.8571	0.8929	0.3000	0.3500	0.3250	0.2266	0.2286	0.2270
bm25 + splade	0.9048	0.9231	0.8750	0.8990	0.3000	0.3000	0.3000	0.4309	0.4405	0.4268
CSA-IISR 1st	0.9048	0.9286	0.8571	0.8929	0.3500	0.4000	0.3750	0.4516	0.4832	0.4632
CSA-IISR 2nd	0.9048	0.9286	0.8571	0.8929	0.3500	0.4000	0.3750	0.4512	0.4998	0.4708
CSA-IISR 3rd	0.9048	0.9286	0.8571	0.8929	0.3500	0.4000	0.3750	0.4564	0.4998	0.4720
CSA-IISR 4th	0.9048	0.9286	0.8571	0.8929	0.3500	0.4000	0.3750	0.4571	0.4570	0.4533
CSA-IISR 5st	0.9048	0.9286	0.8571	0.8929	0.3500	0.4500	0.3917	0.4516	0.4832	0.4632
DS@GT-BioASQ	0.8571	0.8966	0.7692	0.8329	0.2000	0.2000	0.2000	0.2888	0.2730	0.2783
mckpt2	0.7619	0.8276	0.6154	0.7215	0.2500	0.3000	0.2667	0.3308	0.3507	0.3256
dmiip2024	0.9048	0.9286	0.8571	0.8929	0.2000	0.2500	0.2250	0.5410	0.3661	0.4108
dmiip2024_1	0.9524	0.9655	0.9231	0.9443	0.3000	0.3500	0.3250	0.3731	0.3152	0.3279
dmiip2024_2	0.9048	0.9286	0.8571	0.8929	0.3500	0.3500	0.3500	0.4615	0.4590	0.4259
dmiip2024_3	0.8571	0.8889	0.8000	0.8444	0.4000	0.4000	0.4000	0.4590	0.3559	0.3884
dmiip2024_4	0.9048	0.9333	0.8333	0.8833	0.3000	0.3500	0.3250	0.4744	0.3147	0.3612
qwen	0.8571	0.8889	0.8000	0.8444	0.3500	0.4000	0.3600	0.3000	0.4089	0.3254
mckpt1	0.9048	0.9231	0.8750	0.8990	0.3500	0.3500	0.3500	0.2564	0.2909	0.2621
Biomedical QA system	0.9048	0.9286	0.8571	0.8929	0.2000	0.2000	0.2000	0.4030	0.4993	0.4354
Biomedical QA s. v2	0.9524	0.9655	0.9231	0.9443	0.2500	0.2500	0.2500	0.1037	0.4775	0.1630
Biomedical QA s3	0.9048	0.9286	0.8571	0.8929	0.2000	0.2000	0.2000	0.4135	0.5228	0.4502
Biomedical QA s.4	0.9048	0.9286	0.8571	0.8929	0.2000	0.2000	0.2000	0.4133	0.5036	0.4437
WM Licensing Oracle	0.8571	0.8889	0.8000	0.8444	0.2000	0.2000	0.2000	0.4231	0.5025	0.4496
ubuntu	0.9048	0.9333	0.8333	0.8833	0.2000	0.2500	0.2250	0.3264	0.2602	0.2801
DMIS_MES_TEST_1	0.8095	0.8571	0.7143	0.7857	0.2500	0.3500	0.3000	0.4135	0.3414	0.3628
DMIS_MES_TEST_2	0.8095	0.8571	0.7143	0.7857	0.2500	0.3500	0.3000	0.4135	0.3414	0.3628
DMIS_MES_TEST_3	0.8095	0.8571	0.7143	0.7857	0.2500	0.3500	0.3000	0.4135	0.3414	0.3628
DMIS_MES_TEST_4	0.8095	0.8571	0.7143	0.7857	0.2500	0.3500	0.3000	0.4135	0.3414	0.3628
DMIS_MES_TEST_5	0.8095	0.8571	0.7143	0.7857	0.2500	0.3500	0.2917	0.4135	0.3414	0.3628
IR_J-1	0.9048	0.9333	0.8333	0.8833	0.3000	0.3000	0.3000	0.3372	0.3358	0.3305
IR_J-2	0.8095	0.8462	0.7500	0.7981	0.2500	0.3000	0.2750	0.2277	0.2286	0.2238
IR_J-3	0.8571	0.8889	0.8000	0.8444	0.3000	0.3000	0.3000	0.4164	0.4406	0.4174
IR_J-4	0.9048	0.9286	0.8571	0.8929	0.3000	0.4000	0.3500	0.3185	0.4299	0.3590
IR_J-5	0.9048	0.9231	0.8750	0.8990	0.3000	0.3500	0.3250	0.4244	0.4517	0.4342
Organization name	0.6190	0.6364	0.6000	0.6182	0.3000	0.3000	0.3000	0.0154	0.0192	0.0171
UR-IW-1	0.9048	0.9333	0.8333	0.8833	0.3500	0.4000	0.3750	0.2774	0.5301	0.3447
UR-IW-2	0.9048	0.9333	0.8333	0.8833	0.3500	0.4000	0.3667	0.3343	0.4404	0.3735
UR-IW-3	0.9048	0.9333	0.8333	0.8833	0.3500	0.4000	0.3750	0.3164	0.5575	0.3904
UR-IW-4	0.9524	0.9655	0.9231	0.9443	0.3500	0.3500	0.3500	0.3626	0.3987	0.3673
UR-IW-5	0.9048	0.9231	0.8750	0.8990	0.2000	0.2500	0.2250	0.2707	0.4622	0.3183
ku_dmis	0.9524	0.9655	0.9231	0.9443	0.2500	0.5000	0.3475	0.4672	0.4474	0.4538
ku_dmis_2	0.9048	0.9286	0.8571	0.8929	0.2500	0.5000	0.3475	0.4434	0.2918	0.3296
ku_dmis_3	0.9048	0.9286	0.8571	0.8929	0.2500	0.5000	0.3475	0.4444	0.3885	0.4068
ku_dmis_4	0.9048	0.9286	0.8571	0.8929	0.2500	0.5000	0.3475	0.4660	0.4672	0.4628
ku_dmis_5	0.9048	0.9286	0.8571	0.8929	0.2500	0.5000	0.3475	0.4660	0.4672	0.4628
IR_Y-1	0.9048	0.9286	0.8571	0.8929	0.1000	0.2500	0.1600	0.1792	0.2267	0.1919
IR_Y-2	0.9048	0.9286	0.8571	0.8929	0.1500	0.3500	0.2200	0.1857	0.2453	0.1986
IR_Y-3	0.9048	0.9286	0.8571	0.8929	0.2000	0.3500	0.2750	0.1481	0.2031	0.1634
IR_Y-4	0.9048	0.9286	0.8571	0.8929	0.2500	0.3500	0.3000	0.1513	0.1839	0.1567
IR_Y-5	0.9048	0.9286	0.8571	0.8929	0.1500	0.3500	0.2417	0.1629	0.2095	0.1773
Bio26NIA	0.9048	0.9286	0.8571	0.8929	0.3500	0.3500	0.3500	0.4830	0.4544	0.4605
Another	0.9524	0.9655	0.9231	0.9443	0.3000	0.3000	0.3000	0.4636	0.4640	0.4583
Dif-C	0.9048	0.9286	0.8571	0.8929	0.3500	0.3500	0.3500	0.4663	0.4644	0.4596
EP-1	0.9524	0.9655	0.9231	0.9443	0.3500	0.3500	0.3500	0.4744	0.3521	0.3872
EP-2	0.9524	0.9655	0.9231	0.9443	0.3500	0.3500	0.3500	0.4603	0.3713	0.4002
EP-3	0.9524	0.9655	0.9231	0.9443	0.3500	0.3500	0.3500	0.4603	0.3713	0.4002
EP-4	0.9524	0.9655	0.9231	0.9443	0.3000	0.3500	0.3250	0.4667	0.3521	0.3846
EP-5	0.9524	0.9655	0.9231	0.9443	0.3500	0.4000	0.3750	0.4846	0.4013	0.4188
LLM Biomedical QA	0.8571	0.8966	0.7692	0.8329	0.1500	0.1500	0.1500	0.0597	0.1410	0.0735

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
Hybrid Retrieval	0.2049	0.1130	0.2129	0.1142	-	-	-	-
13b-1	0.1805	0.2034	0.1678	0.1886	-	-	-	-
13b_phase_a	0.1805	0.2034	0.1678	0.1886	-	-	-	-
dictycite-baseline	0.2947	0.1991	0.2884	0.1918	-	-	-	-
dictycite-max-rew-sl	0.2877	0.2209	0.2870	0.2144	-	-	-	-
health-nlp-1	0.0361	0.0336	0.0366	0.0339	-	-	-	-
health-nlp-2	0.0395	0.0338	0.0396	0.0338	-	-	-	-
health-nlp-3	0.0239	0.0271	0.0240	0.0257	-	-	-	-
health-nlp-4	0.0610	0.0521	0.0629	0.0532	-	-	-	-
pancras_naive	0.2563	0.1509	0.2638	0.1564	-	-	-	-
pancras_crag	0.2563	0.1509	0.2638	0.1564	-	-	-	-
"RMC_1"	0.2311	0.2305	0.2194	0.2161	-	-	-	-
RMC_2	0.2684	0.2303	0.2529	0.2149	-	-	-	-
ossllm	0.3286	0.1760	0.3271	0.1760	-	-	-	-
MedQA-1	0.3025	0.2264	0.2957	0.2175	-	-	-	-
MedQA-2	0.2466	0.1903	0.2498	0.1880	-	-	-	-
MedQA-3	0.2848	0.2163	0.2778	0.2073	-	-	-	-
MedQA-4	0.2949	0.2195	0.2862	0.2086	-	-	-	-
MedQA-5	0.2924	0.2187	0.2855	0.2100	-	-	-	-
Fleming-1	0.3444	0.1536	0.3538	0.1574	-	-	-	-
DSGT	0.0989	0.0937	0.0970	0.0911	-	-	-	-
lean_rag	0.2607	0.2306	0.2630	0.2310	-	-	-	-
bioinfo-0	0.2359	0.1766	0.2328	0.1704	-	-	-	-
bioinfo-2	0.3005	0.1903	0.2899	0.1807	-	-	-	-
bioinfo-3	0.3386	0.1334	0.3550	0.1403	-	-	-	-
bioinfo-4	0.3024	0.1595	0.3022	0.1566	-	-	-	-
bioinfo-1	0.2852	0.1527	0.2848	0.1522	-	-	-	-
bm25 + splade	0.2663	0.2176	0.2702	0.2156	-	-	-	-
CSA-IISR 1st	0.2880	0.2020	0.2823	0.1937	-	-	-	-
CSA-IISR 2nd	0.2808	0.1961	0.2760	0.1893	-	-	-	-
CSA-IISR 3rd	0.2897	0.1988	0.2789	0.1877	-	-	-	-
CSA-IISR 4th	0.2534	0.1741	0.2481	0.1682	-	-	-	-
CSA-IISR 5st	0.2825	0.1906	0.2779	0.1825	-	-	-	-
DS@GT-BioASQ	0.1288	0.1252	0.1277	0.1233	-	-	-	-
mckpt2	0.1953	0.1389	0.1951	0.1364	-	-	-	-
dmiip2024	0.2579	0.2259	0.2452	0.2113	-	-	-	-
dmiip2024_1	0.2246	0.1999	0.2145	0.1881	-	-	-	-
dmiip2024_2	0.2601	0.2272	0.2595	0.2210	-	-	-	-
dmiip2024_3	0.2586	0.2277	0.2491	0.2167	-	-	-	-
dmiip2024_4	0.2532	0.2342	0.2465	0.2251	-	-	-	-
qwen	0.3602	0.1316	0.3650	0.1355	-	-	-	-
mckpt1	0.2114	0.1601	0.2074	0.1514	-	-	-	-
Biomedical QA system	0.3011	0.1386	0.3053	0.1400	-	-	-	-
Biomedical QA s. v2	0.3132	0.1320	0.3151	0.1342	-	-	-	-
Biomedical QA s3	0.3013	0.1316	0.3080	0.1360	-	-	-	-
Biomedical QA s.4	0.2964	0.1347	0.3066	0.1397	-	-	-	-
WM Licensing Oracle	0.2793	0.1418	0.2833	0.1448	-	-	-	-
ubuntu	0.2765	0.2078	0.2699	0.1989	-	-	-	-
DMIS_MES_TEST_1	0.1534	0.0872	0.1513	0.0856	-	-	-	-
DMIS_MES_TEST_2	0.1534	0.0872	0.1513	0.0856	-	-	-	-
DMIS_MES_TEST_3	0.1534	0.0872	0.1513	0.0856	-	-	-	-
DMIS_MES_TEST_4	0.1534	0.0872	0.1513	0.0856	-	-	-	-
DMIS_MES_TEST_5	0.1534	0.0872	0.1513	0.0856	-	-	-	-
IR_J-1	-	-	-	-	-	-	-	-
IR_J-2	0.2095	0.1099	0.2152	0.1107	-	-	-	-
IR_J-3	0.2151	0.1280	0.2198	0.1257	-	-	-	-
IR_J-4	0.2433	0.2120	0.2342	0.2020	-	-	-	-
IR_J-5	-	-	-	-	-	-	-	-
Organization name	0.3923	0.2082	0.3986	0.2103	-	-	-	-
UR-IW-1	0.3101	0.1340	0.3166	0.1389	-	-	-	-
UR-IW-2	0.2655	0.1599	0.2696	0.1650	-	-	-	-
UR-IW-3	0.2141	0.1415	0.2282	0.1455	-	-	-	-
UR-IW-4	0.2134	0.1841	0.2123	0.1816	-	-	-	-
UR-IW-5	0.2286	0.1817	0.2314	0.1820	-	-	-	-
ku_dmis	-	-	-	-	-	-	-	-
ku_dmis_2	-	-	-	-	-	-	-	-
ku_dmis_3	-	-	-	-	-	-	-	-
ku_dmis_4	-	-	-	-	-	-	-	-
ku_dmis_5	-	-	-	-	-	-	-	-
IR_Y-1	0.1484	0.1085	0.1384	0.0975	-	-	-	-
IR_Y-2	0.1940	0.1286	0.1856	0.1194	-	-	-	-
IR_Y-3	0.2747	0.1687	0.2720	0.1656	-	-	-	-
IR_Y-4	0.2486	0.1581	0.2450	0.1529	-	-	-	-
IR_Y-5	0.1235	0.1311	0.1208	0.1300	-	-	-	-
Bio26NIA	0.2742	0.2239	0.2685	0.2139	-	-	-	-
Another	0.2758	0.2334	0.2726	0.2258	-	-	-	-
Dif-C	0.2642	0.2351	0.2574	0.2255	-	-	-	-
EP-1	0.2674	0.1956	0.2687	0.1926	-	-	-	-
EP-2	0.2501	0.1827	0.2497	0.1795	-	-	-	-
EP-3	0.2507	0.1807	0.2534	0.1795	-	-	-	-
EP-4	0.2650	0.1921	0.2624	0.1872	-	-	-	-
EP-5	0.2239	0.1604	0.2345	0.1651	-	-	-	-
LLM Biomedical QA	0.1021	0.0975	0.0985	0.0939	-	-	-	-

Test batch 3

Exact Answers

	Yes/No				Factoid			List
System	Accuracy	F1 Yes	F1 No	Macro F1	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
asmalltrialsystem	0.4545	0.4000	0.5000	0.4500	-	-	-	0.1461	0.4365	0.2010
"RMC_1"	0.9091	0.9333	0.8571	0.8952	0.1765	0.1765	0.1765	0.3765	0.2614	0.2970
RMC_2	0.9091	0.9333	0.8571	0.8952	0.4706	0.4706	0.4706	0.3871	0.3498	0.3530
MedQA-1	1.0000	1.0000	1.0000	1.0000	0.5294	0.5294	0.5294	0.4475	0.4336	0.4275
MedQA-2	1.0000	1.0000	1.0000	1.0000	0.4118	0.4706	0.4412	0.3199	0.4249	0.3474
MedQA-3	1.0000	1.0000	1.0000	1.0000	0.4706	0.5882	0.5118	0.4848	0.5316	0.5031
MedQA-4	1.0000	1.0000	1.0000	1.0000	0.4118	0.4706	0.4412	0.3161	0.4176	0.3358
MedQA-5	1.0000	1.0000	1.0000	1.0000	0.4706	0.5882	0.5118	0.4475	0.4336	0.4275
UR-IW-5	1.0000	1.0000	1.0000	1.0000	0.4706	0.5294	0.5000	0.1991	0.4816	0.2629
UR-IW-4	1.0000	1.0000	1.0000	1.0000	0.4118	0.4118	0.4118	0.3484	0.4266	0.3648
UR-IW-3	1.0000	1.0000	1.0000	1.0000	0.2941	0.4118	0.3431	0.3054	0.4081	0.3361
UR-IW-2	1.0000	1.0000	1.0000	1.0000	0.4118	0.5294	0.4608	0.2340	0.5012	0.2989
UR-IW-1	1.0000	1.0000	1.0000	1.0000	0.3529	0.5294	0.4314	0.3251	0.4359	0.3488
health-nlp-1	0.9091	0.9333	0.8571	0.8952	0.2941	0.2941	0.2941	0.1471	0.0882	0.1054
health-nlp-2	0.8182	0.8750	0.6667	0.7708	0.2353	0.2353	0.2353	0.1613	0.1593	0.1602
dictycite-baseline	0.9091	0.9333	0.8571	0.8952	0.4706	0.5294	0.5000	0.4444	0.3994	0.4138
health-nlp-4	0.7273	0.8235	0.4000	0.6118	0.2353	0.2353	0.2353	0.2717	0.2049	0.2303
dictycite-max-rew-sl	1.0000	1.0000	1.0000	1.0000	0.3529	0.5294	0.4314	0.4413	0.5042	0.4638
dictycite-snippet	0.9091	0.9333	0.8571	0.8952	0.4706	0.5294	0.5000	0.4444	0.3994	0.4138
h-nlp-autob-medcpt	0.9091	0.9333	0.8571	0.8952	0.2941	0.2941	0.2941	0.3186	0.2304	0.2592
health-nlp-3	0.7273	0.8235	0.4000	0.6118	0.0588	0.0588	0.0588	0.0902	0.0858	0.0860
bioinfo-0	0.9091	0.9333	0.8571	0.8952	0.3529	0.4118	0.3824	0.4125	0.4203	0.4102
bioinfo-1	0.9091	0.9333	0.8571	0.8952	0.4706	0.4706	0.4706	0.3706	0.3988	0.3575
bioinfo-2	0.9091	0.9333	0.8571	0.8952	0.3529	0.4118	0.3725	0.3822	0.4434	0.3963
bioinfo-3	0.8182	0.8571	0.7500	0.8036	0.3529	0.4118	0.3824	0.3840	0.4385	0.4053
bioinfo-4	0.9091	0.9333	0.8571	0.8952	0.4706	0.5294	0.5000	0.3866	0.4109	0.3763
pancras_naive	0.9091	0.9333	0.8571	0.8952	0.3529	0.3529	0.3529	0.4049	0.4728	0.4299
pancras_crag	0.9091	0.9333	0.8571	0.8952	0.3529	0.3529	0.3529	0.4049	0.4728	0.4299
lean_rag	1.0000	1.0000	1.0000	1.0000	0.4118	0.4118	0.4118	0.3827	0.3395	0.3563
lean_rag_ft	1.0000	1.0000	1.0000	1.0000	0.4706	0.4706	0.4706	0.4476	0.4019	0.4192
lean_rag_ft_sparse	1.0000	1.0000	1.0000	1.0000	0.4118	0.4118	0.4118	0.3517	0.3268	0.3339
multi-stage rank&llm	0.9091	0.9333	0.8571	0.8952	0.4706	0.5294	0.5000	0.4644	0.5666	0.4986
dmiip2024	0.8182	0.8889	0.5000	0.6944	0.4118	0.4706	0.4412	0.4480	0.3825	0.3965
dmiip2024_1	1.0000	1.0000	1.0000	1.0000	0.4706	0.5294	0.5000	0.4098	0.3384	0.3541
dmiip2024_2	0.9091	0.9333	0.8571	0.8952	0.4118	0.5294	0.4706	0.3882	0.3874	0.3602
dmiip2024_3	0.9091	0.9333	0.8571	0.8952	0.4118	0.4118	0.4118	0.3765	0.3189	0.3244
dmiip2024_4	1.0000	1.0000	1.0000	1.0000	0.4118	0.4706	0.4412	0.4029	0.3240	0.3459
CSA-IISR 1st	1.0000	1.0000	1.0000	1.0000	0.4706	0.5882	0.5118	0.4844	0.5404	0.5044
CSA-IISR 2nd	1.0000	1.0000	1.0000	1.0000	0.4706	0.5882	0.5118	0.4902	0.5404	0.5087
CSA-IISR 3rd	0.9091	0.9333	0.8571	0.8952	0.4118	0.5882	0.4902	0.4930	0.5617	0.5175
CSA-IISR 4th	0.9091	0.9333	0.8571	0.8952	0.4118	0.5294	0.4706	0.4805	0.5470	0.5035
CSA-IISR 5st	1.0000	1.0000	1.0000	1.0000	0.5294	0.6471	0.5882	0.4792	0.5087	0.4819
IR_J-1	0.9091	0.9333	0.8571	0.8952	0.4706	0.4706	0.4706	0.4753	0.4093	0.4326
IR_J-2	0.9091	0.9333	0.8571	0.8952	0.4118	0.4118	0.4118	0.4233	0.4326	0.4211
IR_J-3	0.9091	0.9333	0.8571	0.8952	0.4706	0.4706	0.4706	0.4042	0.3685	0.3814
Organization name	0.6364	0.7778	-	0.3889	0.5294	0.5294	0.5294	0.2196	0.1363	0.1572
IR_J-4	1.0000	1.0000	1.0000	1.0000	0.4118	0.5294	0.4461	0.4312	0.4767	0.4384
IR_J-5	0.9091	0.9333	0.8571	0.8952	0.4706	0.5294	0.4902	0.4291	0.3789	0.3849
DS@GT-BioASQ	0.9091	0.9333	0.8571	0.8952	0.4118	0.4118	0.4118	0.3407	0.2659	0.2939
Fleming-1	1.0000	1.0000	1.0000	1.0000	0.1765	0.4118	0.2765	0.4592	0.5757	0.4884
LLM Biomedical QA	0.9091	0.9333	0.8571	0.8952	0.4118	0.4118	0.4118	0.4011	0.3824	0.3836
DMIS_MES_TEST_1	0.9091	0.9333	0.8571	0.8952	0.5294	0.5294	0.5294	0.4571	0.3754	0.4033
DMIS_MES_TEST_2	0.9091	0.9333	0.8571	0.8952	0.5294	0.5294	0.5294	0.4571	0.3754	0.4033
DMIS_MES_TEST_3	0.9091	0.9333	0.8571	0.8952	0.5294	0.5294	0.5294	0.4571	0.3754	0.4033
DMIS_MES_TEST_4	0.9091	0.9333	0.8571	0.8952	0.5294	0.5294	0.5294	0.4571	0.3754	0.4033
DMIS_MES_TEST_5	0.9091	0.9333	0.8571	0.8952	0.5294	0.5294	0.5294	0.4571	0.3754	0.4033
Gen-Doc	0.9091	0.9333	0.8571	0.8952	0.4118	0.4118	0.4118	0.4051	0.3824	0.3865
ku_dmis	0.9091	0.9333	0.8571	0.8952	0.4118	0.4118	0.4118	0.4750	0.3864	0.4169
ku_dmis_2	0.9091	0.9333	0.8571	0.8952	0.4118	0.5294	0.4706	0.4591	0.4460	0.4461
ku_dmis_3	0.9091	0.9333	0.8571	0.8952	0.4118	0.5294	0.4706	0.4453	0.5172	0.4735
ku_dmis_4	0.9091	0.9333	0.8571	0.8952	0.4118	0.5294	0.4706	0.4371	0.5535	0.4743
ku_dmis_5	0.9091	0.9333	0.8571	0.8952	0.4118	0.5294	0.4706	0.4371	0.5535	0.4743
llama for 14b b	0.8182	0.8750	0.6667	0.7708	0.2941	0.2941	0.2941	-	-	-
agentic graph	0.6364	0.6667	0.6000	0.6333	0.2941	0.3529	0.3137	0.2882	0.3441	0.2964
EP-1	0.9091	0.9333	0.8571	0.8952	0.5294	0.5882	0.5490	0.3966	0.3701	0.3703
EP-2	0.9091	0.9333	0.8571	0.8952	0.5294	0.5882	0.5490	0.3835	0.4733	0.4108
EP-3	0.9091	0.9333	0.8571	0.8952	0.2353	0.5882	0.3922	0.3882	0.3342	0.3439
EP-4	0.9091	0.9333	0.8571	0.8952	0.5294	0.5882	0.5490	0.4173	0.4007	0.3923
IR_Y-1	1.0000	1.0000	1.0000	1.0000	0.2353	0.4706	0.3431	0.3879	0.4061	0.3895
IR_Y-2	0.7273	0.8235	0.4000	0.6118	0.4118	0.4706	0.4412	0.3202	0.3370	0.3225
IR_Y-3	0.9091	0.9333	0.8571	0.8952	0.4706	0.4706	0.4706	0.3000	0.3409	0.3084
IR_Y-4	0.9091	0.9333	0.8571	0.8952	0.4706	0.4706	0.4706	0.3873	0.3909	0.3846
IR_Y-5	0.9091	0.9333	0.8571	0.8952	0.4706	0.4706	0.4706	0.3706	0.3493	0.3559
Another	1.0000	1.0000	1.0000	1.0000	0.4118	0.4706	0.4412	0.4697	0.4823	0.4675
Dif-C	0.9091	0.9333	0.8571	0.8952	0.3529	0.4118	0.3824	0.4092	0.4032	0.3971
EP-5	0.9091	0.9333	0.8571	0.8952	0.2353	0.5882	0.3922	0.3882	0.3142	0.3319
Bio26NIA	1.0000	1.0000	1.0000	1.0000	-	-	-	0.4119	0.4333	0.4150

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
asmalltrialsystem	0.1304	0.0883	0.1399	0.0926	-	-	-	-
"RMC_1"	0.1862	0.2024	0.1738	0.1896	-	-	-	-
RMC_2	0.2367	0.2278	0.2224	0.2144	-	-	-	-
MedQA-1	0.2563	0.2154	0.2515	0.2112	-	-	-	-
MedQA-2	0.2326	0.1728	0.2265	0.1685	-	-	-	-
MedQA-3	0.3012	0.2582	0.2909	0.2470	-	-	-	-
MedQA-4	0.2293	0.1675	0.2238	0.1635	-	-	-	-
MedQA-5	0.3022	0.2607	0.2976	0.2547	-	-	-	-
UR-IW-5	0.2511	0.1305	0.2640	0.1379	-	-	-	-
UR-IW-4	0.1519	0.1493	0.1499	0.1448	-	-	-	-
UR-IW-3	0.1401	0.1382	0.1503	0.1414	-	-	-	-
UR-IW-2	0.2668	0.1403	0.2788	0.1484	-	-	-	-
UR-IW-1	0.1522	0.1257	0.1744	0.1376	-	-	-	-
health-nlp-1	0.0309	0.0296	0.0330	0.0318	-	-	-	-
health-nlp-2	0.0262	0.0285	0.0279	0.0305	-	-	-	-
dictycite-baseline	0.2740	0.2009	0.2584	0.1888	-	-	-	-
health-nlp-4	0.0310	0.0197	0.0362	0.0232	-	-	-	-
dictycite-max-rew-sl	0.2534	0.2391	0.2349	0.2200	-	-	-	-
dictycite-snippet	0.2776	0.2046	0.2602	0.1908	-	-	-	-
h-nlp-autob-medcpt	0.0342	0.0338	0.0334	0.0334	-	-	-	-
health-nlp-3	0.0060	0.0069	0.0064	0.0078	-	-	-	-
bioinfo-0	0.2472	0.1815	0.2438	0.1774	-	-	-	-
bioinfo-1	0.2495	0.1700	0.2464	0.1651	-	-	-	-
bioinfo-2	0.2368	0.1680	0.2402	0.1701	-	-	-	-
bioinfo-3	0.2734	0.1732	0.2704	0.1716	-	-	-	-
bioinfo-4	0.2487	0.1661	0.2570	0.1678	-	-	-	-
pancras_naive	0.2327	0.1609	0.2422	0.1654	-	-	-	-
pancras_crag	0.2327	0.1609	0.2422	0.1654	-	-	-	-
lean_rag	0.2379	0.2276	0.2269	0.2170	-	-	-	-
lean_rag_ft	0.2419	0.2272	0.2347	0.2202	-	-	-	-
lean_rag_ft_sparse	0.2350	0.1998	0.2328	0.1946	-	-	-	-
multi-stage rank&llm	0.3381	0.1897	0.3320	0.1856	-	-	-	-
dmiip2024	0.1680	0.1885	0.1575	0.1743	-	-	-	-
dmiip2024_1	0.1796	0.1860	0.1725	0.1797	-	-	-	-
dmiip2024_2	0.2072	0.2011	0.1982	0.1891	-	-	-	-
dmiip2024_3	0.1998	0.2071	0.1945	0.2022	-	-	-	-
dmiip2024_4	0.2044	0.2048	0.2000	0.1990	-	-	-	-
CSA-IISR 1st	0.2643	0.2065	0.2680	0.2053	-	-	-	-
CSA-IISR 2nd	0.1981	0.1500	0.1973	0.1470	-	-	-	-
CSA-IISR 3rd	0.1861	0.1428	0.1918	0.1430	-	-	-	-
CSA-IISR 4th	0.1528	0.1132	0.1497	0.1077	-	-	-	-
CSA-IISR 5st	0.1978	0.1533	0.1960	0.1498	-	-	-	-
IR_J-1	-	-	-	-	-	-	-	-
IR_J-2	0.2107	0.1461	0.1964	0.1369	-	-	-	-
IR_J-3	0.1991	0.1359	0.1927	0.1321	-	-	-	-
Organization name	0.4028	0.2397	0.4155	0.2458	-	-	-	-
IR_J-4	0.2187	0.2157	0.2070	0.2010	-	-	-	-
IR_J-5	-	-	-	-	-	-	-	-
DS@GT-BioASQ	0.1513	0.1758	0.1416	0.1655	-	-	-	-
Fleming-1	0.3676	0.1776	0.3584	0.1744	-	-	-	-
LLM Biomedical QA	0.0754	0.0522	0.0797	0.0530	-	-	-	-
DMIS_MES_TEST_1	0.2397	0.1370	0.2415	0.1345	-	-	-	-
DMIS_MES_TEST_2	0.2397	0.1370	0.2415	0.1345	-	-	-	-
DMIS_MES_TEST_3	0.2397	0.1370	0.2415	0.1345	-	-	-	-
DMIS_MES_TEST_4	0.2397	0.1370	0.2415	0.1345	-	-	-	-
DMIS_MES_TEST_5	0.2397	0.1370	0.2415	0.1345	-	-	-	-
Gen-Doc	0.0750	0.0504	0.0763	0.0508	-	-	-	-
ku_dmis	-	-	-	-	-	-	-	-
ku_dmis_2	-	-	-	-	-	-	-	-
ku_dmis_3	-	-	-	-	-	-	-	-
ku_dmis_4	-	-	-	-	-	-	-	-
ku_dmis_5	-	-	-	-	-	-	-	-
llama for 14b b	0.2440	0.2562	0.2376	0.2485	-	-	-	-
agentic graph	0.1102	0.1042	0.1041	0.0988	-	-	-	-
EP-1	0.1751	0.1389	0.1880	0.1469	-	-	-	-
EP-2	0.1972	0.1547	0.2041	0.1593	-	-	-	-
EP-3	0.1998	0.1609	0.2061	0.1628	-	-	-	-
EP-4	0.1691	0.1327	0.1866	0.1433	-	-	-	-
IR_Y-1	0.0878	0.0937	0.0906	0.0970	-	-	-	-
IR_Y-2	0.1106	0.1064	0.1107	0.1063	-	-	-	-
IR_Y-3	0.2237	0.1638	0.2205	0.1600	-	-	-	-
IR_Y-4	0.2658	0.1843	0.2550	0.1757	-	-	-	-
IR_Y-5	0.2486	0.2069	0.2460	0.2012	-	-	-	-
Another	0.2489	0.2497	0.2447	0.2428	-	-	-	-
Dif-C	0.2425	0.2376	0.2336	0.2276	-	-	-	-
EP-5	0.1691	0.1327	0.1866	0.1433	-	-	-	-
Bio26NIA	0.2480	0.2436	0.2441	0.2371	-	-	-	-

Test batch 4

Exact Answers

	Yes/No				Factoid			List
System	Accuracy	F1 Yes	F1 No	Macro F1	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
bioinfo-0	0.9375	0.9474	0.9231	0.9352	0.2727	0.3636	0.3182	0.3695	0.4386	0.3809
bioinfo-1	0.8750	0.9000	0.8333	0.8667	0.1818	0.2727	0.2273	0.4867	0.5561	0.4858
bioinfo-2	0.8750	0.9000	0.8333	0.8667	0.3636	0.4545	0.4091	0.4442	0.5737	0.4763
bioinfo-3	0.8750	0.9000	0.8333	0.8667	0.4545	0.5455	0.5000	0.5583	0.6446	0.5671
bioinfo-4	0.9375	0.9474	0.9231	0.9352	0.3636	0.4545	0.3939	0.3816	0.4080	0.3862
pancras_naive	0.8125	0.8421	0.7692	0.8057	0.2727	0.3636	0.3182	0.5282	0.6689	0.5702
pancras_crag	0.8125	0.8421	0.7692	0.8057	0.2727	0.3636	0.3182	0.5282	0.6689	0.5702
ku_dmis	0.8750	0.9000	0.8333	0.8667	0.4545	0.4545	0.4545	0.6677	0.4618	0.5105
ku_dmis_2	0.8750	0.9000	0.8333	0.8667	0.4545	0.5455	0.5000	0.5755	0.5674	0.5581
ku_dmis_3	0.8750	0.9000	0.8333	0.8667	0.4545	0.7273	0.5758	0.5296	0.6484	0.5603
ku_dmis_4	0.8750	0.9000	0.8333	0.8667	0.2727	0.4545	0.3636	0.5597	0.6060	0.5652
ku_dmis_5	0.8750	0.9000	0.8333	0.8667	0.4545	0.7273	0.5758	0.4789	0.7062	0.5429
EP-1	0.9375	0.9474	0.9231	0.9352	0.2727	0.2727	0.2727	0.5524	0.5142	0.5066
EP-2	0.9375	0.9474	0.9231	0.9352	0.3636	0.3636	0.3636	0.5481	0.5018	0.4950
EP-3	0.9375	0.9474	0.9231	0.9352	0.2727	0.4545	0.3485	0.5301	0.6175	0.5427
EP-4	0.9375	0.9474	0.9231	0.9352	0.0909	0.4545	0.2500	0.5200	0.4517	0.4647
EP-5	0.9375	0.9474	0.9231	0.9352	0.0909	0.4545	0.2273	0.5500	0.4734	0.4898
"RMC_1"	0.7500	0.8000	0.6667	0.7333	0.3636	0.3636	0.3636	0.3600	0.2834	0.3032
RMC_2	0.8750	0.8889	0.8571	0.8730	0.5455	0.5455	0.5455	0.5500	0.4817	0.4943
UR-IW-1	0.8750	0.9000	0.8333	0.8667	0.2727	0.3636	0.3030	0.4021	0.6401	0.4675
UR-IW-2	0.8750	0.9000	0.8333	0.8667	0.3636	0.4545	0.3939	0.3110	0.7232	0.4024
UR-IW-3	0.8750	0.9000	0.8333	0.8667	0.1818	0.3636	0.2227	0.4266	0.6759	0.4989
UR-IW-4	0.8750	0.9000	0.8333	0.8667	0.2727	0.3636	0.3030	0.4606	0.6435	0.5038
multi-stage rank&llm	0.9375	0.9474	0.9231	0.9352	0.2727	0.3636	0.2955	0.4532	0.6747	0.5251
SATO	0.8750	0.9000	0.8333	0.8667	0.5455	0.5455	0.5455	0.6425	0.5649	0.5843
UR-IW-5	0.8750	0.9000	0.8333	0.8667	0.3636	0.4545	0.3864	0.2875	0.7707	0.3969
dictycite-baseline	0.9375	0.9474	0.9231	0.9352	0.3636	0.4545	0.4091	0.5929	0.5746	0.5601
dictycite-max-rew-sl	0.8750	0.9000	0.8333	0.8667	0.4545	0.5455	0.5000	0.5704	0.6804	0.6011
dictycite-snippet	0.9375	0.9474	0.9231	0.9352	0.3636	0.4545	0.4091	0.5953	0.5871	0.5730
Finalcorrected	0.8125	0.8421	0.7692	0.8057	0.3636	0.3636	0.3636	0.2822	0.6140	0.3654
MedQA-1	0.8750	0.9000	0.8333	0.8667	0.2727	0.3636	0.3182	0.3762	0.4941	0.4034
MedQA-2	0.8750	0.9000	0.8333	0.8667	0.1818	0.2727	0.2273	0.3488	0.5249	0.3947
MedQA-3	0.8750	0.9000	0.8333	0.8667	0.2727	0.3636	0.3182	0.4197	0.5877	0.4668
MedQA-4	0.8750	0.9000	0.8333	0.8667	0.2727	0.3636	0.3182	0.4553	0.5812	0.4860
MedQA-5	0.8750	0.9000	0.8333	0.8667	0.2727	0.3636	0.3182	0.3852	0.5889	0.4416
health-nlp-1	0.8125	0.8421	0.7692	0.8057	0.1818	0.1818	0.1818	0.2950	0.1780	0.2001
health-nlp-2	0.6875	0.8000	0.2857	0.5429	0.2727	0.2727	0.2727	0.1489	0.1418	0.1349
health-nlp-4	0.7500	0.8182	0.6000	0.7091	0.2727	0.2727	0.2727	0.2467	0.1404	0.1685
h-nlp-autob-medcpt	0.8125	0.8571	0.7273	0.7922	0.2727	0.2727	0.2727	0.4364	0.3305	0.3421
health-nlp-3	0.7500	0.8182	0.6000	0.7091	-	-	-	0.2033	0.1231	0.1403
multi-stage rank&ll	0.9375	0.9474	0.9231	0.9352	0.3636	0.4545	0.4091	0.3912	0.6380	0.4609
Fleming-1	0.8750	0.9000	0.8333	0.8667	0.2727	0.4545	0.3258	0.5573	0.6085	0.5722
lean_rag	0.9375	0.9474	0.9231	0.9352	0.1818	0.1818	0.1818	0.5833	0.4897	0.4916
lean_rag_ft_sparse	0.9375	0.9474	0.9231	0.9352	0.1818	0.1818	0.1818	0.4952	0.4155	0.4243
dmiip2024	0.6250	0.7500	0.2500	0.5000	0.2727	0.4545	0.3636	0.6052	0.6451	0.6020
dmiip2024_1	0.9375	0.9474	0.9231	0.9352	0.2727	0.4545	0.3636	0.6082	0.5200	0.5375
dmiip2024_2	0.9375	0.9474	0.9231	0.9352	0.3636	0.5455	0.4545	0.4813	0.6013	0.5114
dmiip2024_3	0.9375	0.9474	0.9231	0.9352	0.3636	0.4545	0.4091	0.5357	0.6034	0.5437
dmiip2024_4	0.9375	0.9474	0.9231	0.9352	0.3636	0.5455	0.4545	0.6394	0.5352	0.5540
DS@GT-BioASQ	0.8750	0.9000	0.8333	0.8667	0.1818	0.2727	0.2273	0.4125	0.2565	0.3020
DSGTBioasq	0.8750	0.9000	0.8333	0.8667	0.1818	0.2727	0.2273	0.4125	0.2565	0.3020
1 system	0.8750	0.9000	0.8333	0.8667	0.4545	0.4545	0.4545	0.4605	0.4870	0.4449
2 system	0.8750	0.9000	0.8333	0.8667	0.3636	0.5455	0.4394	0.3243	0.5733	0.3837
3 system	0.8125	0.8421	0.7692	0.8057	0.1818	0.3636	0.2576	0.3072	0.5630	0.3784
4 system	0.8750	0.9000	0.8333	0.8667	0.2727	0.2727	0.2727	0.4112	0.5115	0.4310
5 system	0.8750	0.9000	0.8333	0.8667	0.3636	0.3636	0.3636	0.4261	0.5896	0.4563
IR_J-1	0.8750	0.9000	0.8333	0.8667	0.2727	0.5455	0.3712	0.6020	0.7327	0.6427
IR_J-2	0.8750	0.9000	0.8333	0.8667	0.3636	0.3636	0.3636	0.3806	0.5045	0.4163
IR_J-3	0.9375	0.9474	0.9231	0.9352	0.2727	0.2727	0.2727	0.6060	0.6555	0.6187
IR_J-4	0.8750	0.9000	0.8333	0.8667	0.2727	0.2727	0.2727	0.5369	0.5933	0.5355
IR_J-5	0.9375	0.9474	0.9231	0.9352	0.2727	0.2727	0.2727	0.6310	0.5798	0.5907
LLM Biomedical QA	0.9375	0.9474	0.9231	0.9352	0.1818	0.2727	0.2121	0.5633	0.6016	0.5573
Fleming-2	0.9375	0.9524	0.9091	0.9307	0.2727	0.4545	0.3258	0.5573	0.6085	0.5722
IR_Y-1	1.0000	1.0000	1.0000	1.0000	0.0909	0.1818	0.1212	0.3443	0.4239	0.3661
IR_Y-2	1.0000	1.0000	1.0000	1.0000	0.0909	0.1818	0.1136	0.3143	0.4038	0.3412
IR_Y-3	0.9375	0.9474	0.9231	0.9352	0.3636	0.4545	0.4091	0.1550	0.1833	0.1606
agentic graph	0.9375	0.9474	0.9231	0.9352	0.0909	0.0909	0.0909	0.3333	0.3994	0.3450
IR_Y-4	0.9375	0.9474	0.9231	0.9352	0.3636	0.3636	0.3636	0.1752	0.1917	0.1757
IR_Y-5	0.9375	0.9474	0.9231	0.9352	0.3636	0.4545	0.4091	0.1671	0.1810	0.1690
FinalQwen	0.9375	0.9524	0.9091	0.9307	-	-	-	0.2542	0.1035	0.1338
Bio26NIA	0.8750	0.9000	0.8333	0.8667	0.3636	0.3636	0.3636	0.5798	0.6299	0.5884
Another	0.8750	0.9000	0.8333	0.8667	0.4545	0.4545	0.4545	0.6353	0.6755	0.6324
EHM-9	0.8750	0.9000	0.8333	0.8667	0.3636	0.3636	0.3636	0.5908	0.6663	0.6030
Dif-C	0.8750	0.9000	0.8333	0.8667	0.3636	0.3636	0.3636	0.5916	0.6275	0.5932
NewM	0.8750	0.9000	0.8333	0.8667	0.2727	0.3636	0.3182	0.5319	0.5610	0.5301
Fleming-3	0.8750	0.9000	0.8333	0.8667	0.0909	0.4545	0.2424	0.5573	0.6085	0.5722
Fleming-4	0.9375	0.9524	0.9091	0.9307	0.0909	0.4545	0.2424	0.5573	0.6085	0.5722
DMIS_MES_TEST_1	0.9375	0.9474	0.9231	0.9352	0.5455	0.5455	0.5455	-	-	-
DMIS_MES_TEST_2	0.9375	0.9474	0.9231	0.9352	0.5455	0.5455	0.5455	-	-	-
DMIS_MES_TEST_3	0.9375	0.9474	0.9231	0.9352	0.5455	0.5455	0.5455	-	-	-
DMIS_MES_TEST_4	0.9375	0.9474	0.9231	0.9352	0.5455	0.5455	0.5455	-	-	-
DMIS_MES_TEST_5	0.9375	0.9474	0.9231	0.9352	0.5455	0.5455	0.5455	-	-	-
CSA-IISR 1st	0.8750	0.9000	0.8333	0.8667	0.4545	0.7273	0.5530	0.6051	0.6747	0.6269
CSA-IISR 2nd	0.8750	0.9000	0.8333	0.8667	0.4545	0.6364	0.5227	0.6051	0.6747	0.6269
CSA-IISR 3rd	0.8750	0.9000	0.8333	0.8667	0.4545	0.6364	0.5227	0.6051	0.6747	0.6269
CSA-IISR 4th	0.8750	0.8889	0.8571	0.8730	0.3636	0.7273	0.5076	0.6158	0.7274	0.6543

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
bioinfo-0	0.2472	0.1742	0.2480	0.1729	-	-	-	-
bioinfo-1	0.2716	0.1566	0.2678	0.1543	-	-	-	-
bioinfo-2	0.2682	0.1714	0.2698	0.1698	-	-	-	-
bioinfo-3	0.2401	0.1452	0.2484	0.1467	-	-	-	-
bioinfo-4	0.2496	0.1526	0.2477	0.1496	-	-	-	-
pancras_naive	0.2664	0.1598	0.2752	0.1621	-	-	-	-
pancras_crag	0.2664	0.1598	0.2752	0.1621	-	-	-	-
ku_dmis	-	-	-	-	-	-	-	-
ku_dmis_2	-	-	-	-	-	-	-	-
ku_dmis_3	-	-	-	-	-	-	-	-
ku_dmis_4	-	-	-	-	-	-	-	-
ku_dmis_5	-	-	-	-	-	-	-	-
EP-1	0.1903	0.1397	0.1958	0.1425	-	-	-	-
EP-2	0.1960	0.1459	0.2003	0.1482	-	-	-	-
EP-3	0.2129	0.1537	0.2102	0.1514	-	-	-	-
EP-4	0.2123	0.1590	0.2099	0.1553	-	-	-	-
EP-5	0.1903	0.1397	0.1958	0.1425	-	-	-	-
"RMC_1"	0.2050	0.2064	0.1953	0.1927	-	-	-	-
RMC_2	0.2779	0.2561	0.2703	0.2474	-	-	-	-
UR-IW-1	0.1740	0.1289	0.1904	0.1390	-	-	-	-
UR-IW-2	0.2671	0.1230	0.2851	0.1320	-	-	-	-
UR-IW-3	0.1677	0.1438	0.1744	0.1462	-	-	-	-
UR-IW-4	0.1530	0.1499	0.1633	0.1538	-	-	-	-
multi-stage rank&llm	0.3100	0.1711	0.3004	0.1686	-	-	-	-
SATO	0.1842	0.1692	0.1738	0.1576	-	-	-	-
UR-IW-5	0.2500	0.1248	0.2669	0.1343	-	-	-	-
dictycite-baseline	0.2839	0.1969	0.2703	0.1861	-	-	-	-
dictycite-max-rew-sl	0.2666	0.2283	0.2610	0.2185	-	-	-	-
dictycite-snippet	0.2839	0.1976	0.2705	0.1877	-	-	-	-
Finalcorrected	0.2386	0.1576	0.2381	0.1560	-	-	-	-
MedQA-1	0.1887	0.1370	0.1927	0.1416	-	-	-	-
MedQA-2	0.1666	0.1291	0.1772	0.1379	-	-	-	-
MedQA-3	0.1968	0.1492	0.2027	0.1553	-	-	-	-
MedQA-4	0.1980	0.1444	0.2075	0.1524	-	-	-	-
MedQA-5	0.1980	0.1444	0.2075	0.1524	-	-	-	-
health-nlp-1	0.0262	0.0228	0.0277	0.0243	-	-	-	-
health-nlp-2	0.0304	0.0340	0.0287	0.0334	-	-	-	-
health-nlp-4	0.0145	0.0185	0.0160	0.0210	-	-	-	-
h-nlp-autob-medcpt	0.0328	0.0351	0.0277	0.0308	-	-	-	-
health-nlp-3	0.0105	0.0157	0.0083	0.0126	-	-	-	-
multi-stage rank&ll	0.3149	0.1527	0.3108	0.1525	-	-	-	-
Fleming-1	0.3743	0.1803	0.3798	0.1805	-	-	-	-
lean_rag	0.2647	0.2462	0.2557	0.2380	-	-	-	-
lean_rag_ft_sparse	0.3332	0.2721	0.3295	0.2656	-	-	-	-
dmiip2024	0.2210	0.2291	0.2030	0.2110	-	-	-	-
dmiip2024_1	0.1721	0.1767	0.1675	0.1703	-	-	-	-
dmiip2024_2	0.2394	0.2052	0.2252	0.1883	-	-	-	-
dmiip2024_3	0.2258	0.2225	0.2144	0.2094	-	-	-	-
dmiip2024_4	0.2428	0.2263	0.2355	0.2158	-	-	-	-
DS@GT-BioASQ	0.1609	0.1645	0.1408	0.1475	-	-	-	-
DSGTBioasq	0.1609	0.1645	0.1408	0.1475	-	-	-	-
1 system	0.1679	0.1674	0.1643	0.1609	-	-	-	-
2 system	0.1876	0.1769	0.1811	0.1684	-	-	-	-
3 system	0.1724	0.1612	0.1690	0.1568	-	-	-	-
4 system	0.1761	0.1708	0.1739	0.1669	-	-	-	-
5 system	0.1830	0.1798	0.1802	0.1759	-	-	-	-
IR_J-1	0.2227	0.1839	0.2211	0.1827	-	-	-	-
IR_J-2	0.1949	0.1382	0.1944	0.1335	-	-	-	-
IR_J-3	0.2156	0.1454	0.2075	0.1354	-	-	-	-
IR_J-4	-	-	-	-	-	-	-	-
IR_J-5	-	-	-	-	-	-	-	-
LLM Biomedical QA	0.0799	0.0567	0.0808	0.0560	-	-	-	-
Fleming-2	0.3743	0.1803	0.3798	0.1805	-	-	-	-
IR_Y-1	0.0945	0.0933	0.0868	0.0859	-	-	-	-
IR_Y-2	0.0889	0.0881	0.0845	0.0821	-	-	-	-
IR_Y-3	0.2700	0.2059	0.2642	0.2002	-	-	-	-
agentic graph	0.1777	0.1506	0.1717	0.1417	-	-	-	-
IR_Y-4	0.2823	0.2004	0.2750	0.1947	-	-	-	-
IR_Y-5	0.2568	0.2011	0.2449	0.1890	-	-	-	-
FinalQwen	0.2069	0.1043	0.2127	0.1063	-	-	-	-
Bio26NIA	0.2876	0.2343	0.2781	0.2247	-	-	-	-
Another	0.3562	0.2827	0.3422	0.2699	-	-	-	-
EHM-9	0.3205	0.2656	0.3100	0.2544	-	-	-	-
Dif-C	0.2611	0.2455	0.2524	0.2337	-	-	-	-
NewM	0.2404	0.2312	0.2275	0.2196	-	-	-	-
Fleming-3	0.3743	0.1803	0.3798	0.1805	-	-	-	-
Fleming-4	0.3743	0.1803	0.3798	0.1805	-	-	-	-
DMIS_MES_TEST_1	0.1780	0.1348	0.1817	0.1347	-	-	-	-
DMIS_MES_TEST_2	0.1780	0.1348	0.1817	0.1347	-	-	-	-
DMIS_MES_TEST_3	0.1780	0.1348	0.1817	0.1347	-	-	-	-
DMIS_MES_TEST_4	0.1780	0.1348	0.1817	0.1347	-	-	-	-
DMIS_MES_TEST_5	0.1780	0.1348	0.1817	0.1347	-	-	-	-
CSA-IISR 1st	0.2082	0.1533	0.2065	0.1479	-	-	-	-
CSA-IISR 2nd	0.1924	0.1452	0.1920	0.1407	-	-	-	-
CSA-IISR 3rd	0.2267	0.1658	0.2254	0.1593	-	-	-	-
CSA-IISR 4th	0.1857	0.1365	0.1903	0.1371	-	-	-	-