BioASQ Participants Area

Task 14b: Test Results of Phase A+

The test results are presented in separate tables for each type of annotation. The "System Description" of each system is used.
The evaluation measures that are used in Task A+ are presented here .
Warning: For ideal answers, good ROUGE results do not always imply good manual scores.

Test batch 1

Exact Answers

	Yes/No				Factoid			List
System	Accuracy	F1 Yes	F1 No	Macro F1	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
DSGT	0.5294	0.6923	-	0.3462	-	-	-	0.0095	0.0127	0.0102
dictycite-max	0.9412	0.9524	0.9231	0.9377	0.6087	0.6957	0.6449	0.3994	0.3496	0.3455
dictycite-baseline	0.8824	0.9000	0.8571	0.8786	0.4783	0.6087	0.5435	0.4038	0.3000	0.3117
dictycite-snippet	0.9412	0.9524	0.9231	0.9377	0.4348	0.5217	0.4783	0.4190	0.3170	0.3180
pancras_naive	0.8824	0.8889	0.8750	0.8819	0.3478	0.5652	0.4254	0.2607	0.3187	0.2499
dictycite-max-rew-si	0.9412	0.9524	0.9231	0.9377	0.4783	0.5217	0.5000	0.3653	0.3266	0.3212
dictycite-max-rew-sl	0.9412	0.9524	0.9231	0.9377	0.4783	0.5217	0.5000	0.3387	0.3291	0.3119
pancras_crag	0.9412	0.9474	0.9333	0.9404	0.3913	0.6087	0.4725	0.1937	0.2749	0.2122
"RMC_1"	0.7647	0.7778	0.7500	0.7639	0.0435	0.0435	0.0435	0.1381	0.0944	0.0993
RMC_4	0.6471	0.6667	0.6250	0.6458	0.1739	0.1739	0.1739	0.2143	0.1612	0.1744
RMC_5	0.7647	0.7778	0.7500	0.7639	0.3043	0.3043	0.3043	0.1857	0.1603	0.1593
RMC_2	0.5882	0.4615	0.6667	0.5641	0.2609	0.2609	0.2609	0.1651	0.1112	0.1262
Organization name	0.7647	0.7778	0.7500	0.7639	0.2609	0.2609	0.2609	0.2373	0.1194	0.1428
DS@GT-BioASQ	0.6471	0.6667	0.6250	0.6458	0.0870	0.0870	0.0870	0.3571	0.1819	0.2249
Biomedical QA system	0.8824	0.9000	0.8571	0.8786	0.1739	0.2174	0.1884	0.2495	0.3101	0.2382
Biomedical QA s. v2	0.8824	0.8889	0.8750	0.8819	0.0870	0.1739	0.1232	0.1835	0.1545	0.1386
dmiip2024	0.8235	0.8421	0.8000	0.8211	0.3478	0.3913	0.3696	0.3595	0.2543	0.2679
dmiip2024_2	0.8824	0.9000	0.8571	0.8786	0.3913	0.5652	0.4783	0.4286	0.3350	0.3445
dmiip2024_3	0.9412	0.9524	0.9231	0.9377	0.3043	0.4348	0.3696	0.4079	0.3037	0.3149
dmiip2024_4	0.9412	0.9474	0.9333	0.9404	0.3913	0.4348	0.4130	0.4135	0.2347	0.2801
dmiip2024_1	0.8824	0.8889	0.8750	0.8819	0.4783	0.4783	0.4783	0.4611	0.2944	0.3252
Fleming-1	0.8824	0.9091	0.8333	0.8712	0.3478	0.5217	0.4145	0.3670	0.4010	0.3455
ASK-Skill2	0.8824	0.9000	0.8571	0.8786	0.1739	0.2174	0.1957	0.2006	0.3976	0.2452
Fleming-2	0.8235	0.8421	0.8000	0.8211	0.3913	0.4783	0.4217	0.3815	0.4016	0.3396
ASK-Baseline	0.8824	0.8889	0.8750	0.8819	0.2174	0.2609	0.2261	0.2303	0.3178	0.2497
ASK-Tool1	0.8824	0.8889	0.8750	0.8819	0.2609	0.2609	0.2609	0.1725	0.3520	0.2028
ASK-Tool2	0.8824	0.9000	0.8571	0.8786	0.2174	0.2609	0.2391	0.2454	0.3321	0.2446
Biomedical QA s3	1.0000	1.0000	1.0000	1.0000	0.0870	0.1739	0.1196	0.2641	0.3105	0.2520
IR_J-1	0.7647	0.8333	0.6000	0.7167	0.3478	0.3478	0.3478	0.2830	0.2378	0.2385
IR_J-2	0.8824	0.9000	0.8571	0.8786	0.3478	0.3478	0.3478	0.2218	0.1957	0.1656
IR_J-3	0.8824	0.9000	0.8571	0.8786	0.4348	0.4783	0.4493	0.3445	0.3022	0.2606
IR_J-4	0.8824	0.8889	0.8750	0.8819	0.3913	0.4783	0.4275	0.2611	0.3058	0.2228
IR_J-5	0.8824	0.9000	0.8571	0.8786	0.3913	0.3913	0.3913	0.2961	0.3562	0.2549
IR_Y-3	0.8235	0.8421	0.8000	0.8211	0.0870	0.0870	0.0870	0.0365	0.0437	0.0379
IR_Y-4	0.7059	0.7368	0.6667	0.7018	0.0000	0.0870	0.0435	0.0365	0.0417	0.0369
IR_Y-5	0.8824	0.9000	0.8571	0.8786	0.0870	0.1739	0.1304	0.0398	0.0516	0.0438
WHU-ECHO Lab-1	0.9412	0.9524	0.9231	0.9377	0.3043	0.3913	0.3275	0.3017	0.3363	0.3059
UR-IW-1	0.8824	0.9000	0.8571	0.8786	0.3478	0.5217	0.4239	0.2716	0.4544	0.2816
UR-IW-2	0.8235	0.8571	0.7692	0.8132	0.4783	0.5217	0.5000	0.2738	0.4200	0.3097
UR-IW-3	0.8824	0.9000	0.8571	0.8786	0.3913	0.5217	0.4493	0.3078	0.3958	0.3121
UR-IW-4	0.8235	0.8571	0.7692	0.8132	0.2609	0.3913	0.3188	0.3729	0.3873	0.3512
UR-IW-5	0.8235	0.8421	0.8000	0.8211	0.2609	0.3913	0.3116	0.3167	0.4064	0.2993
IR_Y-1	0.5882	0.7407	-	0.3704	0.0000	0.0435	0.0109	0.0571	0.0726	0.0620
IR_Y-2	0.5882	0.7407	-	0.3704	0.0000	0.0435	0.0217	0.0667	0.1016	0.0768
MedQA-1	0.8824	0.9000	0.8571	0.8786	0.6087	0.6087	0.6087	0.4680	0.3779	0.3947
MedQA-2	0.8824	0.9000	0.8571	0.8786	0.5652	0.5652	0.5652	0.4722	0.3690	0.3986
bioinfo-0	0.8235	0.8421	0.8000	0.8211	0.3913	0.4783	0.4217	0.2610	0.3454	0.2543
bioinfo-1	0.8824	0.9000	0.8571	0.8786	0.4783	0.5217	0.5000	0.2472	0.3668	0.2675
MedQA-3	0.8824	0.9000	0.8571	0.8786	0.6087	0.6087	0.6087	0.4437	0.3515	0.3762
bioinfo-2	0.8824	0.9000	0.8571	0.8786	0.4783	0.5217	0.5000	0.2465	0.3639	0.2722
MedQA-4	0.8824	0.9000	0.8571	0.8786	0.7391	0.7391	0.7391	0.4239	0.4126	0.3961
bioinfo-3	0.8824	0.9000	0.8571	0.8786	0.4348	0.4348	0.4348	0.2472	0.3668	0.2675
bioinfo-4	0.8824	0.9000	0.8571	0.8786	0.4348	0.4348	0.4348	0.2465	0.3639	0.2722
MedQA-5	0.8824	0.9000	0.8571	0.8786	0.6522	0.6522	0.6522	0.4128	0.4138	0.3924

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
DSGT	0.0558	0.0482	0.0856	0.0719	3.36	2.39	2.28	4.49
dictycite-max	0.2524	0.1870	0.2627	0.1931	4.56	4.21	3.86	4.70
dictycite-baseline	0.2352	0.1739	0.2436	0.1783	4.48	3.96	3.80	4.58
dictycite-snippet	0.2320	0.1725	0.2425	0.1786	4.49	3.86	3.66	4.65
pancras_naive	0.1360	0.1439	0.1400	0.1492	3.08	3.39	4.01	4.79
dictycite-max-rew-si	0.2544	0.1877	0.2626	0.1916	4.63	4.25	3.85	4.79
dictycite-max-rew-sl	0.2555	0.1874	0.2616	0.1899	4.61	4.08	3.88	4.69
pancras_crag	0.1421	0.1514	0.1442	0.1538	3.10	3.55	4.21	4.75
"RMC_1"	0.1578	0.1761	0.1546	0.1722	4.56	3.19	3.80	4.78
RMC_4	0.1765	0.1823	0.1755	0.1812	4.51	3.34	3.80	4.78
RMC_5	0.1545	0.1659	0.1530	0.1630	4.35	3.34	3.83	4.75
RMC_2	0.1566	0.1906	0.1511	0.1838	4.68	3.45	4.13	4.88
Organization name	0.1783	0.1242	0.1847	0.1285	4.41	3.43	3.10	4.71
DS@GT-BioASQ	0.1734	0.1570	0.1786	0.1611	4.55	3.11	3.66	4.79
Biomedical QA system	0.2584	0.1354	0.2739	0.1421	4.41	4.10	3.38	4.76
Biomedical QA s. v2	0.2235	0.1458	0.2329	0.1509	4.43	3.55	3.28	4.79
dmiip2024	0.2121	0.2221	0.2092	0.2191	4.64	3.68	4.23	4.81
dmiip2024_2	0.2194	0.2331	0.2153	0.2277	4.59	4.04	4.28	4.70
dmiip2024_3	0.1987	0.2345	0.1937	0.2290	4.69	3.88	4.35	4.89
dmiip2024_4	0.1896	0.2049	0.1867	0.2012	4.63	3.85	4.26	4.85
dmiip2024_1	0.1821	0.2206	0.1759	0.2141	4.43	3.84	4.24	4.64
Fleming-1	0.2430	0.1132	0.2553	0.1196	4.43	4.13	3.36	4.43
ASK-Skill2	0.2790	0.1240	0.2972	0.1314	4.46	4.36	3.48	4.73
Fleming-2	0.2567	0.1165	0.2686	0.1224	4.29	4.18	3.34	4.39
ASK-Baseline	0.0790	0.1257	0.0601	0.0981	4.30	4.38	3.58	4.79
ASK-Tool1	0.2773	0.1310	0.2937	0.1378	4.51	4.36	3.48	4.55
ASK-Tool2	0.2837	0.1289	0.3025	0.1360	4.49	4.40	3.54	4.61
Biomedical QA s3	0.2525	0.1296	0.2700	0.1363	4.38	4.05	3.28	4.68
IR_J-1	-	-	-	-	0.44	0.39	0.44	0.44
IR_J-2	0.1897	0.1490	0.1891	0.1457	4.43	3.95	3.40	4.61
IR_J-3	0.1781	0.1333	0.1824	0.1325	4.41	4.03	3.43	4.61
IR_J-4	0.1752	0.1367	0.1773	0.1345	4.56	4.01	3.54	4.74
IR_J-5	0.1827	0.1738	0.1832	0.1719	4.51	3.74	3.74	4.78
IR_Y-3	0.0046	0.0065	0.0040	0.0056	0.18	0.19	0.31	0.41
IR_Y-4	0.0116	0.0176	0.0094	0.0146	0.30	0.29	0.46	0.64
IR_Y-5	0.1088	0.1592	0.0949	0.1414	3.64	3.49	3.24	4.15
WHU-ECHO Lab-1	0.1751	0.0920	0.1872	0.0970	3.80	3.73	3.28	4.50
UR-IW-1	0.2826	0.1643	0.2951	0.1700	4.66	4.26	3.74	4.83
UR-IW-2	0.2309	0.1914	0.2391	0.1957	4.69	4.14	4.13	4.83
UR-IW-3	0.2094	0.1716	0.2168	0.1757	4.55	4.05	3.90	4.74
UR-IW-4	0.2032	0.2228	0.1974	0.2176	4.70	3.89	4.34	4.80
UR-IW-5	0.2016	0.1953	0.2070	0.1991	4.64	3.91	4.20	4.81
IR_Y-1	0.1548	0.1584	0.1596	0.1595	4.25	3.16	3.35	4.64
IR_Y-2	0.1704	0.1985	0.1642	0.1905	4.55	3.16	3.79	4.71
MedQA-1	0.2452	0.2340	0.2415	0.2280	4.68	4.13	4.36	4.89
MedQA-2	0.2460	0.2324	0.2427	0.2272	4.66	4.13	4.34	4.86
bioinfo-0	0.2207	0.1447	0.2312	0.1512	4.46	3.88	3.41	4.64
bioinfo-1	0.2408	0.1492	0.2468	0.1537	4.55	3.99	3.45	4.74
MedQA-3	0.2480	0.2317	0.2443	0.2259	4.65	4.13	4.30	4.84
bioinfo-2	0.2825	0.1314	0.2971	0.1373	4.45	4.30	3.39	4.71
MedQA-4	0.2669	0.2212	0.2661	0.2176	4.70	4.34	4.26	4.85
bioinfo-3	0.2570	0.1496	0.2658	0.1526	4.51	4.23	3.54	4.83
bioinfo-4	0.2847	0.1452	0.2984	0.1511	4.59	4.23	3.46	4.74
MedQA-5	0.2657	0.2304	0.2640	0.2262	4.65	4.28	4.14	4.88

Test batch 2

Exact Answers

	Yes/No				Factoid			List
System	Accuracy	F1 Yes	F1 No	Macro F1	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
ASK-Baseline	0.8095	0.8571	0.7143	0.7857	0.4000	0.4500	0.4250	0.1781	0.4840	0.2246
ASK-Tool1	0.8095	0.8462	0.7500	0.7981	0.3000	0.4000	0.3417	0.2428	0.5373	0.3068
ASK-Tool2	0.9048	0.9333	0.8333	0.8833	0.3500	0.4500	0.3917	0.2016	0.4321	0.2520
IR1	0.8095	0.8462	0.7500	0.7981	0.4000	0.4000	0.4000	0.4625	0.3363	0.3557
Biomedical QA system	0.9048	0.9286	0.8571	0.8929	0.2000	0.3500	0.2625	0.2792	0.2998	0.2848
dictycite-baseline	0.9048	0.9286	0.8571	0.8929	0.4500	0.5000	0.4667	0.4495	0.4423	0.4327
dictycite-snippet	0.8571	0.8966	0.7692	0.8329	0.3500	0.5000	0.4167	0.5619	0.5139	0.5018
dictycite-max	0.9524	0.9655	0.9231	0.9443	0.3500	0.4500	0.3917	0.4836	0.5333	0.4957
dictycite-max-rew-si	0.9524	0.9655	0.9231	0.9443	0.3500	0.5000	0.4167	0.4340	0.4947	0.4455
dictycite-max-rew-sl	0.9524	0.9655	0.9231	0.9443	0.3500	0.4500	0.3833	0.4344	0.4237	0.4172
lean_rag	0.8571	0.8966	0.7692	0.8329	0.4000	0.4500	0.4167	0.4038	0.3250	0.3420
ASK-Skill2	0.9048	0.9333	0.8333	0.8833	0.3500	0.3500	0.3500	0.2149	0.4168	0.2556
Biomedical QA s. v2	0.9048	0.9286	0.8571	0.8929	0.1500	0.3500	0.2350	0.2775	0.3152	0.2906
asmalltrialsystem	0.7619	0.7826	0.7368	0.7597	0.2000	0.2000	0.2000	0.1077	0.0897	0.0950
lean_rag_ft	0.8571	0.8966	0.7692	0.8329	0.5500	0.5500	0.5500	0.3972	0.2905	0.3037
lean_rag_ft_sparse	0.8571	0.8966	0.7692	0.8329	0.5000	0.5000	0.5000	0.3919	0.2905	0.3025
lean_rag_dprf	0.8095	0.8667	0.6667	0.7667	0.5000	0.5000	0.5000	0.3065	0.2816	0.2831
ASK-Skill1	0.9524	0.9655	0.9231	0.9443	0.3000	0.3500	0.3250	0.1994	0.3392	0.2298
"RMC_1"	0.7619	0.8148	0.6667	0.7407	0.2000	0.2000	0.2000	0.1538	0.1485	0.1384
RMC_2	0.8095	0.8462	0.7500	0.7981	0.2000	0.2000	0.2000	0.1744	0.1203	0.1362
RMC_3	0.7619	0.8148	0.6667	0.7407	0.2000	0.2000	0.2000	0.1538	0.1485	0.1384
RMC_4	0.7619	0.8000	0.7059	0.7529	0.1000	0.1000	0.1000	0.1692	0.1788	0.1608
RMC_5	0.8571	0.8889	0.8000	0.8444	0.2000	0.2000	0.2000	0.4128	0.3162	0.3434
Organization name	0.7619	0.7826	0.7368	0.7597	0.2500	0.2500	0.2500	0.2451	0.1586	0.1760
DS@GT-BioASQ	0.6667	0.8000	-	0.4000	0.2500	0.2500	0.2500	0.2930	0.1447	0.1753
mckpt2	0.9524	0.9630	0.9333	0.9481	0.3000	0.3000	0.3000	0.1669	0.1624	0.1622
UR-IW-1	0.9048	0.9333	0.8333	0.8833	0.5000	0.5000	0.5000	0.2938	0.5660	0.3681
UR-IW-2	0.9048	0.9333	0.8333	0.8833	0.5500	0.5500	0.5500	0.3282	0.4261	0.3476
UR-IW-3	0.9524	0.9655	0.9231	0.9443	0.5000	0.5000	0.5000	0.3120	0.3733	0.3246
UR-IW-4	0.9048	0.9286	0.8571	0.8929	0.4000	0.4500	0.4250	0.4114	0.3381	0.3560
UR-IW-5	0.9524	0.9630	0.9333	0.9481	0.2500	0.3000	0.2667	0.2503	0.3851	0.2860
IR_Y-1	0.8095	0.8667	0.6667	0.7667	0.0500	0.3500	0.1275	0.0615	0.0812	0.0678
IR_Y-3	0.8571	0.8966	0.7692	0.8329	0.3000	0.5000	0.4000	0.0788	0.0816	0.0706
IR_Y-4	0.8571	0.8966	0.7692	0.8329	0.3500	0.5000	0.4250	0.0812	0.0816	0.0717
IR_Y-5	0.8095	0.8571	0.7143	0.7857	0.1500	0.3500	0.2500	0.0979	0.1041	0.0965
IR_Y-2	0.8571	0.8966	0.7692	0.8329	0.0000	0.4500	0.1358	0.0436	0.0672	0.0502
MedQA-1	0.9524	0.9655	0.9231	0.9443	0.5500	0.7000	0.6167	0.4390	0.4381	0.4267
MedQA-2	0.9524	0.9655	0.9231	0.9443	0.5000	0.7500	0.6017	0.4993	0.4983	0.4911
mckpt1	0.8571	0.9032	0.7273	0.8152	0.3000	0.3500	0.3167	0.3389	0.3339	0.3294
Biomedical QA s3	0.9048	0.9286	0.8571	0.8929	0.3000	0.3000	0.3000	0.2543	0.2871	0.2652
MedQA-3	0.8095	0.8571	0.7143	0.7857	0.3000	0.5500	0.3850	0.4060	0.4124	0.3924
ubuntu	0.9048	0.9333	0.8333	0.8833	0.1500	0.2000	0.1750	0.3167	0.2463	0.2637
dmiip2024	0.9048	0.9286	0.8571	0.8929	0.5000	0.5500	0.5250	0.4308	0.3206	0.3369
dmiip2024_1	0.8095	0.8571	0.7143	0.7857	0.4000	0.4000	0.4000	0.5410	0.3718	0.4255
dmiip2024_2	0.8571	0.8889	0.8000	0.8444	0.4000	0.5000	0.4417	0.5231	0.4403	0.4420
dmiip2024_3	0.8571	0.8889	0.8000	0.8444	0.4500	0.5500	0.4850	0.4462	0.3154	0.3567
dmiip2024_4	0.9048	0.9333	0.8333	0.8833	0.5000	0.5500	0.5250	0.4513	0.3673	0.3972
MedQA-4	0.8571	0.8966	0.7692	0.8329	0.5000	0.6500	0.5750	0.4218	0.4248	0.4083
bioinfo-0	0.8571	0.8889	0.8000	0.8444	0.3500	0.3500	0.3500	0.3790	0.2684	0.2863
bioinfo-3	0.9048	0.9286	0.8571	0.8929	0.3500	0.5000	0.3950	0.3293	0.4494	0.3589
bioinfo-4	0.8571	0.8889	0.8000	0.8444	0.4000	0.4000	0.4000	0.3328	0.4922	0.3746
bioinfo-1	0.9048	0.9286	0.8571	0.8929	0.3000	0.4000	0.3417	0.3691	0.4730	0.3932
Fleming-1	0.9048	0.9333	0.8333	0.8833	0.2000	0.6000	0.3283	0.3713	0.4734	0.3964
IR_J-1	0.9048	0.9333	0.8333	0.8833	0.3500	0.3500	0.3500	0.2883	0.2341	0.2307
IR_J-2	0.8095	0.8462	0.7500	0.7981	0.4000	0.4000	0.4000	0.2930	0.2008	0.2153
IR_J-3	0.8571	0.8800	0.8235	0.8518	0.3000	0.3000	0.3000	0.2042	0.1479	0.1437
IR_J-4	0.8571	0.8800	0.8235	0.8518	0.2500	0.4000	0.3167	0.3280	0.3223	0.3111
IR_J-5	0.7619	0.8148	0.6667	0.7407	0.4000	0.4000	0.4000	0.2650	0.2543	0.2268
bioinfo-2	0.8571	0.8889	0.8000	0.8444	0.3500	0.3500	0.3500	0.3806	0.3954	0.3747
qwen	0.7143	0.8000	0.5000	0.6500	0.2000	0.2500	0.2125	0.2440	0.0941	0.1332
config-2	0.8571	0.8889	0.8000	0.8444	0.4500	0.5000	0.4667	0.3672	0.5747	0.4275

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
ASK-Baseline	0.2896	0.1274	0.3089	0.1356	4.69	4.56	3.49	4.88
ASK-Tool1	0.2699	0.1243	0.2923	0.1348	4.44	4.40	3.33	4.65
ASK-Tool2	0.2858	0.1178	0.3105	0.1288	4.55	4.60	3.38	4.71
IR1	0.1697	0.1261	0.1862	0.1381	4.61	4.00	3.74	4.89
Biomedical QA system	0.2556	0.1320	0.2728	0.1404	4.69	4.26	3.60	4.89
dictycite-baseline	0.2381	0.1765	0.2481	0.1834	4.69	4.10	3.95	4.86
dictycite-snippet	0.2534	0.1783	0.2635	0.1859	4.64	4.20	3.91	4.80
dictycite-max	0.2534	0.1824	0.2624	0.1888	4.75	4.19	4.03	4.79
dictycite-max-rew-si	0.2560	0.1771	0.2623	0.1812	4.66	4.16	3.84	4.66
dictycite-max-rew-sl	0.2579	0.1796	0.2632	0.1839	4.74	4.13	3.94	4.86
lean_rag	0.2039	0.1853	0.2087	0.1876	4.51	3.88	4.13	4.66
ASK-Skill2	0.2733	0.1288	0.2959	0.1393	4.51	4.45	3.43	4.81
Biomedical QA s. v2	0.2548	0.1310	0.2740	0.1401	4.79	4.19	3.56	4.93
asmalltrialsystem	0.1468	0.0837	0.1676	0.0979	4.39	3.23	2.79	4.75
lean_rag_ft	0.2036	0.1820	0.2069	0.1828	4.59	3.79	4.10	4.71
lean_rag_ft_sparse	0.2048	0.1809	0.2107	0.1849	4.54	3.81	4.03	4.71
lean_rag_dprf	0.2041	0.1812	0.2092	0.1846	4.55	3.81	4.04	4.79
ASK-Skill1	0.2752	0.1309	0.2974	0.1412	4.46	4.43	3.45	4.81
"RMC_1"	0.1727	0.2014	0.1718	0.2002	4.69	3.35	4.14	4.98
RMC_2	0.1639	0.2027	0.1640	0.2053	4.79	3.24	4.20	4.98
RMC_3	0.1714	0.2001	0.1706	0.1992	4.70	3.33	4.10	4.99
RMC_4	0.1878	0.1896	0.1864	0.1872	4.65	3.39	4.03	4.91
RMC_5	0.2063	0.2024	0.2086	0.2030	4.61	3.54	3.84	4.81
Organization name	0.1861	0.1359	0.1921	0.1425	4.66	3.46	3.59	4.98
DS@GT-BioASQ	0.1601	0.1999	0.1502	0.1888	4.71	3.31	4.38	4.86
mckpt2	0.2202	0.1757	0.2253	0.1781	4.66	3.73	3.88	4.83
UR-IW-1	0.2881	0.1742	0.2992	0.1807	4.76	4.48	3.73	4.89
UR-IW-2	0.2413	0.1849	0.2516	0.1902	4.78	4.23	4.03	4.94
UR-IW-3	0.2050	0.1680	0.2218	0.1764	4.75	4.21	4.00	4.91
UR-IW-4	0.1918	0.2136	0.1926	0.2136	4.80	3.95	4.35	4.99
UR-IW-5	0.2039	0.2009	0.2074	0.2028	4.80	4.06	4.28	4.98
IR_Y-1	0.0785	0.0771	0.0805	0.0774	3.53	3.54	3.61	4.49
IR_Y-3	0.1886	0.1477	0.1968	0.1544	4.50	3.74	3.74	4.86
IR_Y-4	0.1940	0.1543	0.1986	0.1578	4.49	3.70	3.80	4.84
IR_Y-5	0.1079	0.1494	0.1032	0.1451	3.78	3.61	3.59	4.08
IR_Y-2	0.0996	0.0870	0.1030	0.0888	3.76	3.61	3.50	4.74
MedQA-1	0.2512	0.2036	0.2550	0.2067	4.66	4.08	4.24	4.91
MedQA-2	0.2599	0.2102	0.2603	0.2113	4.61	4.24	4.29	4.90
mckpt1	0.1657	0.1693	0.1633	0.1656	4.41	3.88	3.18	4.68
Biomedical QA s3	0.2593	0.1367	0.2736	0.1442	4.64	4.23	3.53	4.90
MedQA-3	0.1877	0.1710	0.1885	0.1726	4.49	3.60	4.18	4.91
ubuntu	0.1273	0.1074	0.1291	0.1084	3.88	3.13	3.59	4.73
dmiip2024	0.2237	0.2235	0.2218	0.2219	4.75	3.88	4.36	4.90
dmiip2024_1	0.1936	0.2234	0.1877	0.2171	4.54	3.84	4.16	4.60
dmiip2024_2	0.2204	0.2318	0.2191	0.2292	4.69	3.90	4.24	4.64
dmiip2024_3	0.1876	0.2274	0.1793	0.2179	4.88	3.76	4.63	5.00
dmiip2024_4	0.1847	0.1897	0.1822	0.1880	4.76	3.89	4.34	5.00
MedQA-4	0.1722	0.1561	0.1776	0.1614	4.35	3.79	4.23	4.65
bioinfo-0	0.1962	0.1679	0.2032	0.1686	4.61	3.96	4.03	4.85
bioinfo-3	0.2994	0.1241	0.3145	0.1307	4.54	4.34	3.29	4.79
bioinfo-4	0.2905	0.1211	0.3084	0.1289	4.59	4.30	3.31	4.83
bioinfo-1	0.2391	0.1600	0.2516	0.1663	4.61	4.21	3.66	4.91
Fleming-1	0.2478	0.1177	0.2691	0.1278	4.53	4.18	3.54	4.51
IR_J-1	-	-	-	-	0.95	0.35	0.95	0.95
IR_J-2	0.2097	0.1429	0.2153	0.1454	4.68	4.10	3.69	4.68
IR_J-3	0.2113	0.1466	0.2181	0.1489	4.65	3.99	3.58	4.74
IR_J-4	-	-	-	-	0.95	0.35	0.95	0.95
IR_J-5	0.2085	0.1912	0.2060	0.1870	4.80	3.81	3.95	4.93
bioinfo-2	0.1769	0.1613	0.1898	0.1667	4.51	4.15	4.11	4.95
qwen	0.1574	0.1366	0.1574	0.1338	4.23	3.48	2.93	4.33
config-2	0.2913	0.1254	0.3084	0.1339	4.56	4.16	3.34	4.76

Test batch 3

Exact Answers

	Yes/No				Factoid			List
System	Accuracy	F1 Yes	F1 No	Macro F1	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
IR1	0.8000	0.8333	0.7500	0.7917	0.4118	0.4118	0.4118	0.3627	0.2000	0.2343
IR5	0.9000	0.9231	0.8571	0.8901	0.4706	0.4706	0.4706	0.4167	0.2229	0.2657
asmalltrialsystem	0.4000	0.2500	0.5000	0.3750	-	-	-	0.1249	0.4231	0.1791
"RMC_1"	0.9000	0.9231	0.8571	0.8901	0.0588	0.0588	0.0588	0.2471	0.2192	0.2214
RMC_2	0.7000	0.7273	0.6667	0.6970	0.1765	0.1765	0.1765	0.1706	0.1263	0.1317
RMC_3	0.9000	0.9231	0.8571	0.8901	0.0588	0.0588	0.0588	0.2471	0.2192	0.2214
RMC_4	1.0000	1.0000	1.0000	1.0000	0.2941	0.2941	0.2941	0.2160	0.1955	0.1976
RMC_5	0.9000	0.9231	0.8571	0.8901	0.3529	0.3529	0.3529	0.1618	0.1569	0.1512
pancras_crag	1.0000	1.0000	1.0000	1.0000	0.4706	0.4706	0.4706	0.1750	0.2634	0.2007
pancras_naive	1.0000	1.0000	1.0000	1.0000	0.4118	0.4706	0.4412	0.3119	0.4417	0.3419
lean_rag	0.7000	0.8000	0.4000	0.6000	0.3529	0.3529	0.3529	0.3412	0.2575	0.2730
lean_rag_ft	0.8000	0.8571	0.6667	0.7619	0.3529	0.3529	0.3529	0.3412	0.2575	0.2730
lean_rag_dprf	0.9000	0.9333	0.8000	0.8667	0.2353	0.2941	0.2647	0.2696	0.1889	0.2048
lean_rag_ft_sparse	0.8000	0.8571	0.6667	0.7619	0.3529	0.3529	0.3529	0.3412	0.2575	0.2730
lean_rag_ensemble	0.9000	0.9333	0.8000	0.8667	0.2941	0.2941	0.2941	0.2744	0.2676	0.2463
Organization name	0.2000	0.3333	-	0.1667	0.5882	0.5882	0.5882	0.1078	0.0658	0.0802
multi-stage rank&llm	1.0000	1.0000	1.0000	1.0000	0.5882	0.7059	0.6471	0.3242	0.4332	0.3435
DS@GT-BioASQ	0.7000	0.8235	-	0.4118	0.4706	0.4706	0.4706	0.3619	0.2028	0.2369
dmiip2024	0.9000	0.9333	0.8000	0.8667	0.4118	0.5294	0.4608	0.3333	0.2411	0.2693
dmiip2024_1	1.0000	1.0000	1.0000	1.0000	0.5882	0.7059	0.6471	0.4130	0.3394	0.3508
dmiip2024_2	1.0000	1.0000	1.0000	1.0000	0.6471	0.7059	0.6765	0.3412	0.2881	0.2941
dmiip2024_3	1.0000	1.0000	1.0000	1.0000	0.5294	0.5882	0.5588	0.4049	0.2910	0.3259
dmiip2024_4	0.9000	0.9333	0.8000	0.8667	0.4706	0.5882	0.5294	0.3549	0.2772	0.2949
dictycite-baseline	1.0000	1.0000	1.0000	1.0000	0.3529	0.5294	0.4412	0.3550	0.3590	0.3295
dictycite-snippet	1.0000	1.0000	1.0000	1.0000	0.3529	0.4118	0.3824	0.3012	0.2643	0.2599
dictycite-max	1.0000	1.0000	1.0000	1.0000	0.4706	0.5294	0.5000	0.2627	0.2341	0.2243
dictycite-max-rew-si	1.0000	1.0000	1.0000	1.0000	0.2941	0.4706	0.3824	0.3353	0.2881	0.2768
dictycite-max-rew-sl	1.0000	1.0000	1.0000	1.0000	0.2353	0.4118	0.3235	0.3875	0.3752	0.3617
IR_Y-1	0.7000	0.7692	0.5714	0.6703	0.0588	0.4118	0.2176	0.1060	0.1547	0.1115
UR-IW-4	1.0000	1.0000	1.0000	1.0000	0.3529	0.4118	0.3824	0.3629	0.4374	0.3821
UR-IW-5	1.0000	1.0000	1.0000	1.0000	0.4118	0.5882	0.4902	0.2515	0.5411	0.3216
UR-IW-2	1.0000	1.0000	1.0000	1.0000	0.4706	0.6471	0.5392	0.2158	0.4507	0.2642
UR-IW-1	1.0000	1.0000	1.0000	1.0000	0.4706	0.5294	0.5000	0.3294	0.4563	0.3491
IR_Y-2	0.7000	0.7692	0.5714	0.6703	0.2941	0.4706	0.3824	0.1224	0.1578	0.1248
UR-IW-3	1.0000	1.0000	1.0000	1.0000	0.3529	0.4118	0.3824	0.3573	0.4374	0.3779
IR_Y-3	0.7000	0.7692	0.5714	0.6703	0.4706	0.5294	0.5000	0.1193	0.1594	0.1242
IR_Y-4	0.7000	0.7692	0.5714	0.6703	0.4118	0.4706	0.4412	0.1191	0.1557	0.1242
IR_Y-5	0.7000	0.7692	0.5714	0.6703	0.4706	0.5294	0.5000	0.1098	0.1510	0.1175
Fleming-1	1.0000	1.0000	1.0000	1.0000	0.4118	0.5882	0.4804	0.4036	0.3841	0.3762
ASK-Skill1	1.0000	1.0000	1.0000	1.0000	0.4118	0.5294	0.4706	0.2001	0.4113	0.2513
ASK-Skill2	0.9000	0.9231	0.8571	0.8901	0.4706	0.5294	0.4853	0.1868	0.3833	0.2295
ASK-Baseline	1.0000	1.0000	1.0000	1.0000	0.4118	0.6471	0.5098	0.1326	0.4571	0.1789
ASK-Tool1	1.0000	1.0000	1.0000	1.0000	0.5294	0.5882	0.5588	0.2038	0.4863	0.2689
IR_J-1	0.9000	0.9231	0.8571	0.8901	0.2941	0.4118	0.3529	0.2247	0.2565	0.2242
IR_J-2	1.0000	1.0000	1.0000	1.0000	0.3529	0.4118	0.3824	0.2277	0.2896	0.2325
IR_J-3	0.9000	0.9231	0.8571	0.8901	0.2941	0.3529	0.3235	0.2551	0.2095	0.2106
IR_J-4	0.9000	0.9231	0.8571	0.8901	0.2353	0.3529	0.2941	0.2368	0.2389	0.2085
IR_J-5	0.9000	0.9333	0.8000	0.8667	0.4118	0.4706	0.4412	0.3082	0.2455	0.2550
Gen-Doc	1.0000	1.0000	1.0000	1.0000	0.4706	0.5294	0.5000	0.3087	0.3116	0.3050
bioinfo-0	1.0000	1.0000	1.0000	1.0000	0.4706	0.5294	0.5000	0.3654	0.3242	0.3306
bioinfo-1	1.0000	1.0000	1.0000	1.0000	0.4118	0.5882	0.4853	0.2963	0.3378	0.3039
bioinfo-2	1.0000	1.0000	1.0000	1.0000	0.3529	0.5882	0.4706	0.2584	0.3537	0.2794
bioinfo-3	1.0000	1.0000	1.0000	1.0000	0.5294	0.6471	0.5882	0.3041	0.3819	0.3256
bioinfo-4	1.0000	1.0000	1.0000	1.0000	0.4118	0.5882	0.5000	0.2845	0.3457	0.2985
MedQA-1	1.0000	1.0000	1.0000	1.0000	0.5882	0.7059	0.6373	0.2797	0.3635	0.3076
IR2	1.0000	1.0000	1.0000	1.0000	0.2941	0.4706	0.3824	0.3108	0.3299	0.2937
IR3	0.9000	0.9231	0.8571	0.8901	0.2941	0.4706	0.3824	0.3135	0.3181	0.2944
MedQA-3	1.0000	1.0000	1.0000	1.0000	0.5882	0.7059	0.6471	0.2872	0.3344	0.2976
MedQA-4	1.0000	1.0000	1.0000	1.0000	0.5882	0.6471	0.6176	0.2852	0.3910	0.3157
MedQA-2	1.0000	1.0000	1.0000	1.0000	0.5882	0.7059	0.6471	0.3051	0.3768	0.3230
MedQA-5	1.0000	1.0000	1.0000	1.0000	0.5882	0.7059	0.6373	0.3012	0.4006	0.3320
BioXR-GTE	1.0000	1.0000	1.0000	1.0000	0.3529	0.4706	0.4020	0.2924	0.3327	0.2986
BioXR-BGE	0.9000	0.9231	0.8571	0.8901	0.3529	0.4706	0.4118	0.2961	0.3363	0.3048

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
IR1	0.1525	0.1057	0.1716	0.1189	4.73	3.94	3.84	4.78
IR5	0.2052	0.1700	0.2072	0.1716	4.88	3.94	4.14	4.98
asmalltrialsystem	0.1207	0.0835	0.1347	0.0947	4.27	3.73	3.59	4.69
"RMC_1"	0.1802	0.2091	0.1739	0.2035	4.86	3.41	4.25	4.98
RMC_2	0.1660	0.2068	0.1573	0.1977	4.94	3.37	4.31	5.00
RMC_3	0.1801	0.2087	0.1739	0.2031	4.86	3.41	4.25	4.98
RMC_4	0.1840	0.1961	0.1783	0.1893	4.96	3.51	4.24	5.00
RMC_5	0.1862	0.1964	0.1829	0.1908	4.88	3.69	4.35	5.00
pancras_crag	0.2082	0.1370	0.2227	0.1465	4.82	4.29	4.08	4.88
pancras_naive	0.2080	0.1326	0.2241	0.1438	4.82	4.33	4.08	4.90
lean_rag	0.1748	0.1723	0.1764	0.1729	4.75	3.53	3.82	4.84
lean_rag_ft	0.1862	0.1807	0.1875	0.1802	4.73	3.63	3.82	4.86
lean_rag_dprf	0.1822	0.1696	0.1867	0.1732	4.76	3.45	3.84	4.75
lean_rag_ft_sparse	0.1893	0.1848	0.1905	0.1843	4.75	3.55	3.78	4.84
lean_rag_ensemble	0.1815	0.1735	0.1870	0.1755	4.71	3.39	3.96	4.75
Organization name	0.1312	0.0682	0.1538	0.0834	4.43	2.94	2.76	4.80
multi-stage rank&llm	0.3062	0.1678	0.3118	0.1707	4.84	4.35	4.10	4.86
DS@GT-BioASQ	0.1474	0.1856	0.1437	0.1825	4.96	3.63	4.53	4.98
dmiip2024	0.2294	0.2350	0.2187	0.2255	4.92	3.94	4.39	4.98
dmiip2024_1	0.1926	0.2359	0.1864	0.2287	4.96	3.82	4.59	4.98
dmiip2024_2	0.2091	0.2319	0.2047	0.2263	4.96	3.92	4.43	5.00
dmiip2024_3	0.1849	0.2297	0.1720	0.2158	4.96	3.92	4.69	5.00
dmiip2024_4	0.1948	0.1979	0.1897	0.1949	4.94	4.00	4.49	5.00
dictycite-baseline	0.2566	0.1834	0.2608	0.1857	4.86	4.22	4.10	4.94
dictycite-snippet	0.2466	0.1748	0.2527	0.1793	4.98	4.06	3.96	4.96
dictycite-max	0.2436	0.1720	0.2510	0.1777	4.88	4.00	3.96	4.94
dictycite-max-rew-si	0.2521	0.1775	0.2603	0.1824	4.90	4.10	4.27	4.94
dictycite-max-rew-sl	0.2584	0.1845	0.2668	0.1899	4.90	4.25	4.18	4.82
IR_Y-1	0.0692	0.0629	0.0700	0.0636	3.65	3.65	3.86	4.35
UR-IW-4	0.1970	0.2258	0.1911	0.2193	4.92	4.02	4.65	4.98
UR-IW-5	0.2930	0.1658	0.3043	0.1723	4.94	4.51	3.86	4.92
UR-IW-2	0.2892	0.1678	0.2968	0.1727	4.92	4.41	4.02	4.92
UR-IW-1	0.1962	0.1812	0.2052	0.1877	4.94	4.24	4.31	5.00
IR_Y-2	0.1024	0.0889	0.1056	0.0904	3.96	3.53	3.76	4.61
UR-IW-3	0.2033	0.2321	0.1988	0.2281	4.98	4.12	4.59	5.00
IR_Y-3	0.1805	0.1434	0.1844	0.1460	4.61	3.73	3.69	4.78
IR_Y-4	0.1887	0.1570	0.1879	0.1569	4.49	3.96	3.76	4.71
IR_Y-5	0.1853	0.1458	0.1901	0.1489	4.55	3.73	3.69	4.76
Fleming-1	0.2588	0.1195	0.2741	0.1268	4.73	4.27	3.80	4.69
ASK-Skill1	0.2758	0.1156	0.2935	0.1220	4.78	4.55	3.59	4.88
ASK-Skill2	0.2740	0.1171	0.2911	0.1231	4.76	4.51	3.69	4.92
ASK-Baseline	0.2979	0.1199	0.3226	0.1285	4.73	4.53	3.49	4.76
ASK-Tool1	0.3053	0.1350	0.3209	0.1402	4.71	4.69	3.71	4.73
IR_J-1	0.1852	0.1790	0.1819	0.1762	4.90	3.47	3.90	5.00
IR_J-2	0.1857	0.1336	0.1907	0.1329	4.82	4.00	3.75	4.86
IR_J-3	0.2065	0.1396	0.2090	0.1378	4.92	4.10	3.67	4.90
IR_J-4	-	-	-	-	1.61	0.49	1.61	1.61
IR_J-5	-	-	-	-	1.61	0.49	1.61	1.61
Gen-Doc	0.0366	0.0290	0.0409	0.0331	1.29	0.92	0.90	1.37
bioinfo-0	0.2181	0.1742	0.2237	0.1771	4.90	4.33	4.27	4.98
bioinfo-1	0.2559	0.1720	0.2650	0.1760	4.86	4.37	4.18	5.00
bioinfo-2	0.2618	0.1832	0.2651	0.1830	4.90	4.47	4.02	4.96
bioinfo-3	0.2632	0.1760	0.2715	0.1797	4.90	4.51	4.10	5.00
bioinfo-4	0.2534	0.1842	0.2567	0.1848	4.90	4.41	4.14	5.00
MedQA-1	0.2391	0.2041	0.2432	0.2069	4.82	4.47	4.57	4.86
IR2	0.1999	0.2064	0.1982	0.2052	4.84	3.78	4.31	5.00
IR3	0.2089	0.2133	0.2042	0.2091	4.92	3.75	4.22	4.98
MedQA-3	0.2399	0.2194	0.2387	0.2191	4.80	4.55	4.63	4.96
MedQA-4	0.2540	0.2143	0.2582	0.2167	4.84	4.55	4.49	4.98
MedQA-2	0.2392	0.2080	0.2395	0.2085	4.86	4.49	4.41	4.88
MedQA-5	0.2612	0.2128	0.2628	0.2140	4.76	4.55	4.41	4.98
BioXR-GTE	0.0365	0.0302	0.0416	0.0350	1.27	0.94	1.04	1.29
BioXR-BGE	0.0377	0.0257	0.0429	0.0298	1.27	0.88	0.88	1.33

Test batch 4

Exact Answers

	Yes/No				Factoid			List
System	Accuracy	F1 Yes	F1 No	Macro F1	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
UR-IW-1	0.8750	0.9000	0.8333	0.8667	0.3636	0.5455	0.4242	0.4547	0.6630	0.5015
UR-IW-2	0.8750	0.9000	0.8333	0.8667	0.5455	0.5455	0.5455	0.3418	0.6527	0.4094
UR-IW-3	0.8750	0.9000	0.8333	0.8667	0.3636	0.4545	0.4091	0.4674	0.5243	0.4559
UR-IW-4	0.8750	0.9000	0.8333	0.8667	0.3636	0.4545	0.4091	0.4812	0.5169	0.4573
UR-IW-5	0.8750	0.9000	0.8333	0.8667	0.5455	0.6364	0.5909	0.2950	0.7418	0.4016
ASK-Baseline	0.9375	0.9474	0.9231	0.9352	0.4545	0.6364	0.5303	0.1709	0.6209	0.2479
ASK-Tool2	0.9375	0.9474	0.9231	0.9352	0.3636	0.3636	0.3636	0.2940	0.5774	0.3613
SATO	0.8125	0.8421	0.7692	0.8057	0.3636	0.4545	0.4091	0.4108	0.2461	0.2916
ASK-Tool1	0.9375	0.9474	0.9231	0.9352	0.2727	0.2727	0.2727	0.2289	0.5279	0.2971
IR1	0.8750	0.8889	0.8571	0.8730	0.0909	0.0909	0.0909	0.3871	0.2402	0.2728
IR5	0.8750	0.9000	0.8333	0.8667	0.2727	0.2727	0.2727	0.3574	0.2039	0.2381
IR4	0.8750	0.9000	0.8333	0.8667	0.2727	0.2727	0.2727	0.3919	0.2599	0.2831
multi-stage rank&llm	0.8750	0.9000	0.8333	0.8667	0.2727	0.4545	0.3258	0.3204	0.5913	0.3915
FinalQwen	0.7500	0.8182	0.6000	0.7091	0.1818	0.1818	0.1818	0.1000	0.0375	0.0510
"RMC_1"	0.6875	0.7619	0.5455	0.6537	0.2727	0.2727	0.2727	0.3275	0.2743	0.2949
RMC_2	0.7500	0.8000	0.6667	0.7333	0.1818	0.1818	0.1818	0.2057	0.1616	0.1727
RMC_3	0.7500	0.8182	0.6000	0.7091	0.2727	0.2727	0.2727	0.2775	0.2277	0.2467
RMC_4	0.6875	0.7826	0.4444	0.6135	0.3636	0.3636	0.3636	0.3400	0.3012	0.3012
RMC_5	0.7500	0.8182	0.6000	0.7091	0.0909	0.0909	0.0909	0.2367	0.1849	0.1922
dictycite-baseline	0.8750	0.9000	0.8333	0.8667	0.2727	0.3636	0.3182	0.4586	0.4022	0.4083
dictycite-snippet	0.8750	0.9000	0.8333	0.8667	0.4545	0.4545	0.4545	0.4901	0.4056	0.4242
dictycite-max-rew-si	0.8750	0.9000	0.8333	0.8667	0.3636	0.4545	0.4091	0.5088	0.4480	0.4503
asmalltrialsystem	0.7500	0.7778	0.7143	0.7460	0.3636	0.3636	0.3636	0.2676	0.4250	0.3078
Finalcorrected	0.7500	0.7778	0.7143	0.7460	0.3636	0.3636	0.3636	0.2676	0.4250	0.3078
dictycite-max-rew-sl	0.8750	0.9000	0.8333	0.8667	0.4545	0.5455	0.5000	0.3751	0.4931	0.3986
lean_rag	0.7500	0.8182	0.6000	0.7091	0.0909	0.0909	0.0909	0.3552	0.2949	0.2966
lean_rag_ft	0.7500	0.8182	0.6000	0.7091	0.0909	0.0909	0.0909	0.3862	0.3292	0.3276
lean_rag_dprf	0.7500	0.8182	0.6000	0.7091	0.0909	0.1818	0.1364	0.3959	0.3275	0.3353
lean_rag_ft_sparse	0.7500	0.8182	0.6000	0.7091	0.0909	0.0909	0.0909	0.4172	0.3625	0.3596
lean_rag_ensemble	0.8750	0.9000	0.8333	0.8667	0.1818	0.2727	0.2273	0.3767	0.3466	0.3398
Organization name	0.7500	0.7778	0.7143	0.7460	0.0909	0.0909	0.0909	0.2738	0.2002	0.2024
bioinfo-0	0.8750	0.9000	0.8333	0.8667	0.3636	0.3636	0.3636	0.3337	0.3351	0.3082
IR2	0.8750	0.9000	0.8333	0.8667	0.3636	0.4545	0.4091	0.4287	0.3808	0.3692
IR3	0.8750	0.9000	0.8333	0.8667	0.3636	0.4545	0.4091	0.4011	0.3642	0.3547
DS@GT-BioASQ	0.8750	0.9000	0.8333	0.8667	0.2727	0.4545	0.3636	0.3758	0.2038	0.2505
DSGTBioasq	0.8750	0.9000	0.8333	0.8667	0.2727	0.4545	0.3636	0.3758	0.2038	0.2505
llama for 14b b	0.8125	0.8421	0.7692	0.8057	-	-	-	0.0300	0.0226	0.0258
IR_J-1	0.8125	0.8571	0.7273	0.7922	0.1818	0.1818	0.1818	0.4064	0.3012	0.3124
IR_Y-1	0.9375	0.9474	0.9231	0.9352	0.1818	0.1818	0.1818	0.0583	0.0664	0.0618
IR_J-2	0.8750	0.9000	0.8333	0.8667	0.2727	0.2727	0.2727	0.2964	0.2914	0.2748
IR_J-3	0.8125	0.8421	0.7692	0.8057	0.2727	0.2727	0.2727	0.4534	0.3393	0.3680
IR_Y-2	0.9375	0.9474	0.9231	0.9352	0.1818	0.1818	0.1818	0.0250	0.0372	0.0298
IR_Y-3	0.9375	0.9474	0.9231	0.9352	0.2727	0.3636	0.3182	0.0350	0.0560	0.0430
IR_Y-5	0.8125	0.8421	0.7692	0.8057	0.0909	0.0909	0.0909	0.0394	0.0571	0.0463
IR_Y-4	0.9375	0.9474	0.9231	0.9352	0.3636	0.3636	0.3636	0.0300	0.0422	0.0334
IR_J-4	0.8125	0.8571	0.7273	0.7922	0.2727	0.2727	0.2727	0.4456	0.3101	0.3355
IR_J-5	0.8125	0.8421	0.7692	0.8057	0.1818	0.4545	0.3030	0.3906	0.3545	0.3500
pancras_naive	0.8750	0.9000	0.8333	0.8667	0.1818	0.2727	0.2273	0.3701	0.5029	0.3964
dmiip2024	0.9375	0.9474	0.9231	0.9352	0.0909	0.0909	0.0909	0.3980	0.4950	0.4086
dmiip2024_1	0.8125	0.8421	0.7692	0.8057	0.2727	0.2727	0.2727	0.5696	0.4892	0.4872
dmiip2024_2	0.8750	0.9000	0.8333	0.8667	0.3636	0.4545	0.3818	0.3688	0.4979	0.4011
dmiip2024_3	0.8125	0.8571	0.7273	0.7922	0.1818	0.3636	0.2727	0.6207	0.5022	0.5226
dmiip2024_4	0.8750	0.9000	0.8333	0.8667	0.2727	0.5455	0.3788	0.4643	0.3990	0.4154
ASK-Skill1	0.8750	0.8889	0.8571	0.8730	0.2727	0.2727	0.2727	0.1213	0.2496	0.1433
ASK-Skill2	0.9375	0.9474	0.9231	0.9352	0.2727	0.3636	0.3182	0.1465	0.3515	0.1821
Fleming-1	0.8125	0.8571	0.7273	0.7922	0.1818	0.2727	0.2121	0.4674	0.4868	0.4563
pancras_crag	0.9375	0.9474	0.9231	0.9352	0.3636	0.6364	0.5000	0.4380	0.5187	0.4375
bioinfo-4	0.8750	0.9000	0.8333	0.8667	0.4545	0.5455	0.5000	0.2998	0.2786	0.2728
bioinfo-1	0.8750	0.9000	0.8333	0.8667	0.3636	0.3636	0.3636	0.3797	0.4326	0.3794
bioinfo-3	0.8750	0.9000	0.8333	0.8667	0.4545	0.4545	0.4545	0.3663	0.3967	0.3622
MedQA-1	0.8750	0.9000	0.8333	0.8667	0.4545	0.5455	0.5000	0.4432	0.5339	0.4611
MedQA-2	0.8750	0.9000	0.8333	0.8667	0.4545	0.6364	0.5227	0.4632	0.5582	0.4830
Gen-Doc	0.8125	0.8571	0.7273	0.7922	0.0909	0.0909	0.0909	0.3815	0.3486	0.3412

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
UR-IW-1	0.2110	0.1893	0.2190	0.1942	4.83	4.57	4.43	4.93
UR-IW-2	0.2689	0.1646	0.2865	0.1719	4.78	4.64	3.81	4.83
UR-IW-3	0.1948	0.2162	0.1968	0.2180	4.88	4.19	4.62	4.95
UR-IW-4	0.1953	0.2144	0.1995	0.2172	4.88	4.14	4.60	4.95
UR-IW-5	0.2835	0.1660	0.3033	0.1746	4.79	4.74	3.91	4.93
ASK-Baseline	0.2681	0.1188	0.2990	0.1283	4.79	4.69	3.62	4.93
ASK-Tool2	0.2632	0.1467	0.2872	0.1561	4.66	4.79	3.88	4.72
SATO	0.2021	0.1498	0.2124	0.1543	4.76	4.17	3.86	4.90
ASK-Tool1	0.2633	0.1421	0.2900	0.1530	4.78	4.69	3.88	4.76
IR1	0.1582	0.1137	0.1773	0.1250	4.62	3.97	3.71	4.84
IR5	0.2122	0.1651	0.2258	0.1751	4.81	4.05	4.09	4.88
IR4	0.2108	0.1635	0.2245	0.1723	4.71	4.00	4.02	4.88
multi-stage rank&llm	0.2715	0.1633	0.2872	0.1709	4.76	4.26	4.02	4.71
FinalQwen	0.0981	0.0753	0.1059	0.0802	3.53	3.48	3.29	4.41
"RMC_1"	0.1702	0.1953	0.1668	0.1891	4.64	3.43	4.09	4.83
RMC_2	0.1573	0.1977	0.1538	0.1945	4.76	3.45	4.28	4.93
RMC_3	0.1711	0.1975	0.1672	0.1908	4.64	3.36	4.14	4.83
RMC_4	0.1788	0.1852	0.1813	0.1847	4.67	3.57	4.02	4.76
RMC_5	0.1935	0.2022	0.1931	0.2008	4.74	3.45	4.16	4.91
dictycite-baseline	0.2375	0.1800	0.2461	0.1849	4.79	4.03	3.97	4.88
dictycite-snippet	0.2375	0.1775	0.2439	0.1816	4.76	4.03	4.09	4.81
dictycite-max-rew-si	0.2385	0.1745	0.2465	0.1798	4.74	4.10	3.95	4.79
asmalltrialsystem	0.1377	0.1171	0.1470	0.1264	4.59	3.53	4.14	4.91
Finalcorrected	0.1377	0.1171	0.1470	0.1264	4.59	3.53	4.14	4.91
dictycite-max-rew-sl	0.2573	0.2110	0.2621	0.2129	4.86	4.26	4.19	4.90
lean_rag	0.1880	0.1724	0.1994	0.1824	4.67	3.84	4.09	4.62
lean_rag_ft	0.1810	0.1666	0.1916	0.1752	4.60	3.83	4.02	4.71
lean_rag_dprf	0.1736	0.1596	0.1830	0.1678	4.55	3.71	3.97	4.69
lean_rag_ft_sparse	0.1798	0.1615	0.1913	0.1706	4.55	3.76	3.95	4.60
lean_rag_ensemble	0.1707	0.1663	0.1794	0.1746	4.64	3.88	4.31	4.72
Organization name	0.1561	0.1159	0.1728	0.1278	4.64	3.38	3.59	4.98
bioinfo-0	0.2331	0.1772	0.2427	0.1812	4.74	4.24	4.21	4.98
IR2	0.2067	0.2115	0.2049	0.2094	4.81	3.93	4.28	4.98
IR3	0.2010	0.2071	0.2022	0.2073	4.84	3.98	4.29	4.98
DS@GT-BioASQ	0.1251	0.1528	0.1268	0.1556	4.84	3.50	4.55	4.93
DSGTBioasq	0.1251	0.1528	0.1268	0.1556	4.84	3.50	4.55	4.93
llama for 14b b	0.0822	0.0618	0.0894	0.0642	3.71	2.71	3.28	4.62
IR_J-1	-	-	-	-	1.64	0.40	1.64	1.64
IR_Y-1	0.0634	0.0718	0.0642	0.0721	3.71	3.60	3.67	4.50
IR_J-2	0.1581	0.1451	0.1632	0.1440	4.78	4.10	3.72	4.86
IR_J-3	0.1379	0.1295	0.1409	0.1281	4.55	3.97	3.60	4.64
IR_Y-2	0.0635	0.0724	0.0633	0.0706	3.72	3.52	3.69	4.53
IR_Y-3	0.2097	0.1783	0.2168	0.1828	4.62	3.79	3.78	4.88
IR_Y-5	0.2037	0.1843	0.2080	0.1871	4.83	3.69	3.97	4.98
IR_Y-4	0.2078	0.1748	0.2158	0.1800	4.64	3.84	3.90	4.84
IR_J-4	0.0066	0.0064	0.0065	0.0063	1.71	0.53	1.69	1.71
IR_J-5	0.1702	0.1647	0.1789	0.1682	4.81	3.98	4.09	4.97
pancras_naive	0.2024	0.1323	0.2261	0.1461	4.62	4.29	3.90	4.83
dmiip2024	0.1991	0.2086	0.2001	0.2097	4.79	3.95	4.34	4.98
dmiip2024_1	0.1764	0.2138	0.1692	0.2055	4.71	3.93	4.41	4.95
dmiip2024_2	0.2064	0.2144	0.2078	0.2134	4.71	3.91	4.41	4.90
dmiip2024_3	0.1765	0.2223	0.1698	0.2144	4.90	3.72	4.57	5.00
dmiip2024_4	0.1645	0.1809	0.1696	0.1863	4.83	3.97	4.53	4.98
ASK-Skill1	0.2256	0.1124	0.2506	0.1223	4.59	4.28	3.59	4.84
ASK-Skill2	0.2300	0.1135	0.2494	0.1210	4.71	4.28	3.57	4.79
Fleming-1	0.2468	0.1162	0.2681	0.1257	4.52	4.26	3.60	4.53
pancras_crag	0.2121	0.1416	0.2318	0.1542	4.69	4.55	4.10	4.79
bioinfo-4	0.2441	0.1628	0.2571	0.1673	4.69	4.60	3.91	4.93
bioinfo-1	0.2450	0.1656	0.2555	0.1689	4.81	4.66	3.91	4.97
bioinfo-3	0.2394	0.1615	0.2548	0.1674	4.79	4.55	4.05	4.93
MedQA-1	0.2089	0.1879	0.2143	0.1928	4.55	4.38	4.33	4.98
MedQA-2	0.1873	0.1785	0.1957	0.1864	4.64	4.36	4.43	5.00
Gen-Doc	0.0366	0.0281	0.0394	0.0303	1.07	0.84	0.84	1.10