BioASQ Participants Area

Task Synergy - version 2022: Test Results

Test round 1

Documents

System	Mean precision	Recall	F-Measure	MAP	GMAP
bio-answerfinder	0.4137	0.3003	0.2785	0.3196	0.0444
bio-answerfinder-2	0.3975	0.2823	0.2729	0.3163	0.0391
RYGH-1	0.3948	0.4083	0.3220	0.3713	0.1237
RYGH	0.3928	0.4023	0.3180	0.3635	0.1218
RYGH-3	0.3690	0.3726	0.2941	0.3647	0.1009
RYGH-4	0.3828	0.3946	0.3100	0.3505	0.1172
RYGH-5	0.3858	0.3932	0.3111	0.3612	0.1053

Snippets

System	Mean precision	Recall	F-Measure	MAP	GMAP
bio-answerfinder	0.2914	0.2832	0.2296	0.2873	0.0309
bio-answerfinder-2	0.2992	0.2642	0.2332	0.2996	0.0236
RYGH-1	0.3465	0.3790	0.2910	0.4120	0.1039
RYGH	0.3427	0.3723	0.2844	0.3929	0.0973
RYGH-3	0.3060	0.3433	0.2496	0.3415	0.0686
RYGH-4	0.3339	0.3650	0.2757	0.3983	0.0970
RYGH-5	0.3446	0.3680	0.2842	0.3875	0.0758

Exact Answers

	Yes/No				Factoid			List
System	Accuracy	F1 Yes	F1 No	Macro F1	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
bio-answerfinder	0.3333	0.5000	-	0.2500	-	-	-	-	-	-
bio-answerfinder-2	0.3333	0.5000	-	0.2500	0.0000	0.5000	0.2500	-	-	-
RYGH-1	0.6667	0.8000	-	0.4000	0.0000	0.5000	0.1250	0.3542	0.4643	0.4000
RYGH	0.6667	0.8000	-	0.4000	0.0000	0.5000	0.1000	0.3182	0.4643	0.3772
RYGH-3	0.6667	0.8000	-	0.4000	0.0000	1.0000	0.2667	0.3090	0.7321	0.4316
RYGH-4	0.6667	0.8000	-	0.4000	-	-	-	0.2917	0.3929	0.3333
RYGH-5	0.6667	0.8000	-	0.4000	0.5000	0.5000	0.5000	0.3586	0.4643	0.4020

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
bio-answerfinder	0.0458	0.0557	0.0720	0.0836	3.54	3.23	2.85	3.54
bio-answerfinder-2	0.0589	0.0667	0.0761	0.0846	3.54	3.38	2.85	3.46
RYGH-1	0.0040	0.0067	0.0052	0.0092	3.31	2.77	3.31	4.08
RYGH	0.0040	0.0067	0.0052	0.0092	3.23	2.62	3.15	4.15
RYGH-3	0.1562	0.1427	0.1885	0.1706	3.69	3.62	3.54	4.31
RYGH-4	0.0040	0.0067	0.0052	0.0092	3.31	2.85	3.31	4.15
RYGH-5	0.0229	0.0329	0.0460	0.0637	3.62	3.00	3.46	4.00

Test round 2

Documents

System	Mean precision	Recall	F-Measure	MAP	GMAP
bio-answerfinder	0.2670	0.1384	0.1549	0.2057	0.0039
MQ-1	0.1502	0.0977	0.1003	0.1086	0.0023
MQ-2	0.1502	0.0977	0.1003	0.1086	0.0023
MQ-3	0.1502	0.0977	0.1003	0.1086	0.0023
MQ-4	0.1502	0.0977	0.1003	0.1086	0.0023
bio-answerfinder-2	0.2925	0.1619	0.1814	0.2221	0.0072
Just for test	0.3168	0.2577	0.2171	0.2288	0.0415
LUL-TEST2	0.2734	0.2241	0.1970	0.2013	0.0195
PSBST1	0.3069	0.2643	0.2194	0.2291	0.0395
PSBST2	0.2973	0.2692	0.2211	0.2357	0.0339
RYGH-1	0.2500	0.1611	0.1646	0.2041	0.0093
RYGH	0.2426	0.1561	0.1604	0.1902	0.0100
RYGH-3	0.2562	0.1725	0.1699	0.2069	0.0130
RYGH-4	0.2338	0.1650	0.1564	0.1734	0.0094
RYGH-5	0.3088	0.2564	0.2221	0.2415	0.0319

Snippets

System	Mean precision	Recall	F-Measure	MAP	GMAP
bio-answerfinder	0.1957	0.1080	0.1150	0.1922	0.0024
MQ-1	0.1113	0.0570	0.0660	0.1099	0.0006
MQ-2	0.1356	0.0463	0.0540	0.0903	0.0005
MQ-3	0.1111	0.0575	0.0683	0.1043	0.0009
MQ-4	0.1876	0.0700	0.0928	0.1401	0.0019
bio-answerfinder-2	0.2221	0.1265	0.1353	0.2054	0.0048
Just for test	0.2140	0.1615	0.1525	0.1826	0.0192
LUL-TEST2	0.2140	0.1615	0.1525	0.1826	0.0192
PSBST1	0.2140	0.1615	0.1525	0.1826	0.0192
PSBST2	0.2048	0.1569	0.1474	0.1776	0.0166
RYGH-1	0.2153	0.1310	0.1431	0.2003	0.0043
RYGH	0.2153	0.1334	0.1452	0.1943	0.0075
RYGH-3	0.2045	0.1429	0.1410	0.1819	0.0050
RYGH-4	0.2080	0.1406	0.1388	0.1833	0.0060
RYGH-5	0.2140	0.1615	0.1525	0.1826	0.0192

Exact Answers

	Yes/No				Factoid			List
System	Accuracy	F1 Yes	F1 No	Macro F1	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
bio-answerfinder	0.8000	0.8889	-	0.4444	0.0000	0.2000	0.1000	0.5347	0.3899	0.4315
MQ-1	1.0000	1.0000	-	0.5000	-	-	-	-	-	-
MQ-2	1.0000	1.0000	-	0.5000	-	-	-	-	-	-
MQ-3	1.0000	1.0000	-	0.5000	-	-	-	-	-	-
MQ-4	1.0000	1.0000	-	0.5000	-	-	-	-	-	-
bio-answerfinder-2	0.8000	0.8889	-	0.4444	-	-	-	0.4720	0.3899	0.4028
Just for test	0.6000	0.7500	-	0.3750	0.4000	0.6000	0.5000	0.2722	0.4375	0.3148
LUL-TEST2	0.6000	0.7500	-	0.3750	0.4000	0.6000	0.5000	0.2722	0.4375	0.3148
PSBST1	0.6000	0.7500	-	0.3750	0.4000	0.6000	0.5000	0.2722	0.4375	0.3148
PSBST2	0.6000	0.7500	-	0.3750	0.4000	0.6000	0.5000	0.2722	0.4375	0.3148
RYGH-1	0.6000	0.7500	-	0.3750	0.4000	0.4000	0.4000	0.4182	0.3452	0.3422
RYGH	0.6000	0.7500	-	0.3750	0.4000	0.8000	0.4900	0.2722	0.4375	0.3148
RYGH-3	0.6000	0.7500	-	0.3750	0.2000	0.6000	0.3500	0.4644	0.3601	0.3556
RYGH-4	0.6000	0.7500	-	0.3750	0.2000	0.4000	0.3000	0.3423	0.3244	0.2941
RYGH-5	0.6000	0.7500	-	0.3750	0.4000	0.6000	0.5000	0.2722	0.4375	0.3148

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
bio-answerfinder	0.1598	0.1586	0.1784	0.1752	3.60	3.32	3.16	3.68
MQ-1	0.1233	0.1072	0.1613	0.1310	3.56	3.28	2.72	3.52
MQ-2	0.1363	0.1173	0.1690	0.1403	3.36	3.04	2.68	3.56
MQ-3	0.1692	0.1335	0.2122	0.1600	3.56	3.52	2.96	3.40
MQ-4	0.1744	0.1516	0.1931	0.1675	3.68	3.80	2.96	3.52
bio-answerfinder-2	0.1646	0.1601	0.1804	0.1752	3.64	3.44	3.16	3.72
Just for test	-	-	-	-	1.48	1.04	1.28	2.40
LUL-TEST2	-	-	-	-	1.48	1.04	1.28	2.40
PSBST1	-	-	-	-	1.48	1.04	1.28	2.40
PSBST2	-	-	-	-	1.48	1.04	1.28	2.40
RYGH-1	0.1335	0.1347	0.1477	0.1504	3.28	2.88	2.92	3.32
RYGH	0.2957	0.2335	0.3042	0.2384	3.92	4.16	3.56	3.60
RYGH-3	0.3511	0.2924	0.3638	0.2990	3.96	4.20	3.68	3.40
RYGH-4	0.0318	0.0473	0.0352	0.0532	2.16	2.16	2.16	2.56
RYGH-5	-	-	-	-	1.48	1.04	1.28	2.40

Test round 3

Documents

System	Mean precision	Recall	F-Measure	MAP	GMAP
bio-answerfinder	0.2402	0.1187	0.1334	0.1669	0.0031
MQ-1	0.1064	0.0904	0.0754	0.0903	0.0014
MQ-2	0.1064	0.0904	0.0754	0.0903	0.0014
MQ-3	0.1064	0.0904	0.0754	0.0903	0.0014
MQ-4	0.1064	0.0904	0.0754	0.0903	0.0014
bio-answerfinder-2	0.2484	0.1204	0.1382	0.1736	0.0036
bio-answerfinder-3	0.3063	0.2095	0.1970	0.2622	0.0184
PSBST2	0.1844	0.1578	0.1327	0.1511	0.0131
RYGH-5	0.1891	0.1615	0.1353	0.1413	0.0108
RYGH-4	0.2125	0.1642	0.1450	0.1797	0.0105
RYGH-3	0.2361	0.1699	0.1551	0.2019	0.0079
RYGH	0.2500	0.2017	0.1733	0.2125	0.0157
RYGH-1	0.2267	0.1677	0.1522	0.1944	0.0116
bioinfo-0	0.1225	0.0634	0.0655	0.0745	0.0005
bioinfo-2	0.1682	0.1019	0.0954	0.1122	0.0024
bioinfo-3	0.1798	0.1060	0.1010	0.1158	0.0025
bioinfo-1	0.1387	0.0662	0.0694	0.0764	0.0007
DICE_Lab	-	-	-	-	-

Snippets

System	Mean precision	Recall	F-Measure	MAP	GMAP
bio-answerfinder	0.1793	0.0908	0.0969	0.1886	0.0019
MQ-1	0.0920	0.0471	0.0465	0.0893	0.0005
MQ-2	0.0720	0.0210	0.0273	0.0371	0.0002
MQ-3	0.0810	0.0545	0.0457	0.0925	0.0007
MQ-4	0.1415	0.0661	0.0725	0.1143	0.0012
bio-answerfinder-2	0.1802	0.0911	0.0995	0.1873	0.0020
bio-answerfinder-3	0.2548	0.1621	0.1572	0.2413	0.0120
PSBST2	0.2124	0.1465	0.1320	0.1594	0.0076
RYGH-5	0.2184	0.1306	0.1318	0.1723	0.0069
RYGH-4	0.1912	0.1238	0.1191	0.2002	0.0057
RYGH-3	0.1791	0.1318	0.1144	0.1927	0.0050
RYGH	0.2062	0.1485	0.1283	0.2172	0.0069
RYGH-1	0.1821	0.1167	0.1087	0.1901	0.0052
bioinfo-0	-	-	-	-	-
bioinfo-2	-	-	-	-	-
bioinfo-3	-	-	-	-	-
bioinfo-1	-	-	-	-	-
DICE_Lab	-	-	-	-	-

Exact Answers

	Yes/No				Factoid			List
System	Accuracy	F1 Yes	F1 No	Macro F1	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
bio-answerfinder	0.4545	0.5000	0.4000	0.4500	-	-	-	0.1595	0.0914	0.1122
MQ-1	0.5455	0.7059	-	0.3529	-	-	-	-	-	-
MQ-2	0.5455	0.7059	-	0.3529	-	-	-	-	-	-
MQ-3	0.5455	0.7059	-	0.3529	-	-	-	-	-	-
MQ-4	0.5455	0.7059	-	0.3529	-	-	-	-	-	-
bio-answerfinder-2	0.5455	0.6154	0.4444	0.5299	-	-	-	0.1595	0.1008	0.1147
bio-answerfinder-3	0.6364	0.7143	0.5000	0.6071	0.0000	0.1429	0.0357	0.2357	0.1526	0.1821
PSBST2	0.7273	0.7273	0.7273	0.7273	0.1429	0.4286	0.2262	0.3249	0.5357	0.3884
RYGH-5	0.7273	0.7273	0.7273	0.7273	0.1429	0.4286	0.2262	0.3249	0.5357	0.3884
RYGH-4	0.7273	0.7273	0.7273	0.7273	0.1429	0.4286	0.2262	0.3440	0.5646	0.4136
RYGH-3	0.7273	0.7273	0.7273	0.7273	0.2857	0.5714	0.3500	0.2301	0.6594	0.3303
RYGH	0.7273	0.7273	0.7273	0.7273	0.2857	0.5714	0.3929	0.3701	0.5442	0.4176
RYGH-1	0.7273	0.7273	0.7273	0.7273	0.1429	0.5714	0.2905	0.3420	0.5327	0.3866
bioinfo-0	0.5455	0.7059	-	0.3529	-	-	-	-	-	-
bioinfo-2	0.5455	0.7059	-	0.3529	-	-	-	-	-	-
bioinfo-3	0.5455	0.7059	-	0.3529	-	-	-	-	-	-
bioinfo-1	0.5455	0.7059	-	0.3529	-	-	-	-	-	-
DICE_Lab	0.5455	0.7059	-	0.3529	-	-	-	-	-	-

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
bio-answerfinder	0.0848	0.0770	0.1103	0.0998	3.41	2.88	2.76	3.80
MQ-1	0.1918	0.1394	0.2182	0.1560	3.54	3.51	3.10	3.51
MQ-2	0.2210	0.1569	0.2505	0.1762	3.37	3.29	3.02	3.54
MQ-3	0.2674	0.1832	0.2850	0.1940	3.63	3.63	3.20	3.61
MQ-4	0.2126	0.1483	0.2327	0.1613	3.59	3.68	3.29	3.63
bio-answerfinder-2	0.0854	0.0778	0.1060	0.0963	3.41	3.02	2.93	3.80
bio-answerfinder-3	0.1599	0.1539	0.1774	0.1733	3.34	3.15	2.88	3.63
PSBST2	-	-	-	-	0.98	0.59	0.76	0.98
RYGH-5	-	-	-	-	0.98	0.59	0.76	0.98
RYGH-4	0.3798	0.3009	0.3853	0.3068	1.51	1.61	1.46	1.51
RYGH-3	0.0527	0.0703	0.0515	0.0715	1.56	1.51	1.88	1.95
RYGH	0.1946	0.1701	0.2083	0.1843	2.83	2.15	2.49	3.00
RYGH-1	0.2054	0.2057	0.2177	0.2186	3.83	2.98	3.46	3.98
bioinfo-0	-	-	-	-	-	-	-	-
bioinfo-2	-	-	-	-	-	-	-	-
bioinfo-3	-	-	-	-	-	-	-	-
bioinfo-1	-	-	-	-	-	-	-	-
DICE_Lab	-	-	-	-	-	-	-	-

Test round 4

Documents

System	Mean precision	Recall	F-Measure	MAP	GMAP
bio-answerfinder	0.2441	0.1393	0.1434	0.1554	0.0036
bio-answerfinder-2	0.2463	0.1406	0.1450	0.1562	0.0036
bio-answerfinder-3	0.2226	0.1662	0.1564	0.1697	0.0064
MQ-1	0.0987	0.1216	0.0808	0.1195	0.0018
MQ-2	0.0987	0.1216	0.0808	0.1195	0.0018
MQ-3	0.0987	0.1216	0.0808	0.1195	0.0018
MQ-4	0.0987	0.1216	0.0808	0.1195	0.0018
PSBST1	0.1534	0.1382	0.1089	0.1552	0.0057
RYGH-1	0.1759	0.1372	0.1244	0.1468	0.0075
RYGH	0.1724	0.1344	0.1217	0.1395	0.0080
RYGH-3	0.1571	0.1230	0.1140	0.1170	0.0041
RYGH-4	0.1655	0.1340	0.1184	0.1260	0.0064
RYGH-5	0.1500	0.1389	0.1094	0.1556	0.0057
bioinfo-0	0.1379	0.1166	0.1003	0.1244	0.0029
bioinfo-1	0.1328	0.1285	0.0978	0.1288	0.0028
bioinfo-2	0.1121	0.1470	0.0924	0.1152	0.0027
bioinfo-3	0.1241	0.1555	0.1014	0.1192	0.0036
bioinfo-4	0.1397	0.1564	0.1067	0.1446	0.0044
DICE_Lab	0.0739	0.0440	0.0478	0.0315	0.0003

Snippets

System	Mean precision	Recall	F-Measure	MAP	GMAP
bio-answerfinder	0.1773	0.1304	0.1160	0.1949	0.0035
bio-answerfinder-2	0.1844	0.1335	0.1204	0.1967	0.0035
bio-answerfinder-3	0.1789	0.1332	0.1217	0.1635	0.0042
MQ-1	0.1093	0.1043	0.0771	0.1559	0.0011
MQ-2	0.0700	0.0489	0.0416	0.0485	0.0002
MQ-3	0.1049	0.1104	0.0770	0.1507	0.0012
MQ-4	0.1290	0.1029	0.0827	0.1326	0.0018
PSBST1	0.1466	0.1082	0.0948	0.1271	0.0029
RYGH-1	0.1783	0.1140	0.1120	0.1670	0.0046
RYGH	0.1721	0.1115	0.1089	0.1644	0.0034
RYGH-3	0.1305	0.0816	0.0834	0.1185	0.0019
RYGH-4	0.1864	0.1188	0.1185	0.1856	0.0061
RYGH-5	0.1466	0.1082	0.0948	0.1271	0.0029
bioinfo-0	-	-	-	-	-
bioinfo-1	-	-	-	-	-
bioinfo-2	-	-	-	-	-
bioinfo-3	-	-	-	-	-
bioinfo-4	-	-	-	-	-
DICE_Lab	0.0900	0.0431	0.0496	0.0397	0.0004

Exact Answers

	Yes/No				Factoid			List
System	Accuracy	F1 Yes	F1 No	Macro F1	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
bio-answerfinder	0.4000	0.5000	0.2500	0.3750	-	-	-	0.0926	0.0162	0.0272
bio-answerfinder-2	0.4000	0.5000	0.2500	0.3750	-	-	-	0.0926	0.0162	0.0272
bio-answerfinder-3	0.4000	0.5000	0.2500	0.3750	-	-	-	0.1481	0.0479	0.0676
MQ-1	0.4000	0.5714	-	0.2857	-	-	-	-	-	-
MQ-2	0.4000	0.5714	-	0.2857	-	-	-	-	-	-
MQ-3	0.4000	0.5714	-	0.2857	-	-	-	-	-	-
MQ-4	0.4000	0.5714	-	0.2857	-	-	-	-	-	-
PSBST1	0.6000	0.5000	0.6667	0.5833	0.2500	0.5000	0.3125	0.2724	0.6144	0.3610
RYGH-1	0.6000	0.5000	0.6667	0.5833	0.2500	0.7500	0.4375	0.2736	0.6409	0.3716
RYGH	0.6000	0.5000	0.6667	0.5833	0.2500	0.2500	0.2500	0.2441	0.6601	0.3431
RYGH-3	0.6000	0.5000	0.6667	0.5833	0.2500	0.5000	0.3125	0.1741	0.8499	0.2776
RYGH-4	0.6000	0.5000	0.6667	0.5833	0.2500	0.2500	0.2500	0.3013	0.6877	0.4068
RYGH-5	0.6000	0.5000	0.6667	0.5833	0.2500	0.5000	0.3125	0.2724	0.6144	0.3610
bioinfo-0	0.4000	0.5714	-	0.2857	-	-	-	-	-	-
bioinfo-1	0.4000	0.5714	-	0.2857	-	-	-	-	-	-
bioinfo-2	0.4000	0.5714	-	0.2857	-	-	-	-	-	-
bioinfo-3	0.4000	0.5714	-	0.2857	-	-	-	-	-	-
bioinfo-4	0.4000	0.5714	-	0.2857	-	-	-	-	-	-
DICE_Lab	0.4000	0.5714	-	0.2857	-	-	-	-	-	-

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
bio-answerfinder	0.0909	0.0793	0.1165	0.1025	3.53	2.74	2.62	3.62
bio-answerfinder-2	0.0909	0.0793	0.1165	0.1025	3.53	2.74	2.62	3.62
bio-answerfinder-3	0.1658	0.1564	0.1841	0.1716	3.51	2.83	2.74	3.64
MQ-1	0.2137	0.1652	0.2586	0.1831	2.68	2.72	2.26	2.81
MQ-2	0.1447	0.1351	0.1840	0.1572	3.17	2.91	2.62	3.26
MQ-3	0.2414	0.1844	0.2908	0.2050	3.04	3.11	2.64	2.91
MQ-4	0.2168	0.1835	0.2681	0.2078	2.77	2.85	2.57	2.57
PSBST1	-	-	-	-	0.36	0.32	0.36	0.45
RYGH-1	0.0887	0.1006	0.1050	0.1143	2.04	1.60	1.77	2.11
RYGH	0.2669	0.2027	0.2945	0.2186	2.26	2.45	2.23	2.21
RYGH-3	0.2716	0.2225	0.2995	0.2399	1.06	1.13	1.02	0.98
RYGH-4	0.0893	0.1095	0.0891	0.1110	1.28	0.96	1.21	1.36
RYGH-5	-	-	-	-	0.36	0.32	0.36	0.45
bioinfo-0	-	-	-	-	-	-	-	-
bioinfo-1	-	-	-	-	-	-	-	-
bioinfo-2	-	-	-	-	-	-	-	-
bioinfo-3	-	-	-	-	-	-	-	-
bioinfo-4	-	-	-	-	-	-	-	-
DICE_Lab	-	-	-	-	-	-	-	-

Copyright © 2023, the BioASQ Challenge (http://bioasq.org)

Platinum sponsors of the BioASQ Challenge between 2012 and 2023

Google was a proud sponsor of the BioASQ Challenge from 2018 to 2022.
BioASQ was supported by the National Library of Medicine of the National Institutes of Health under award number R13LM012214. The content is solely the responsibility of the authors and does not necessarily represent the official views of the National Institutes of Health.
The research leading to these results has received funding from the European Commission's Seventh Framework Programme (FP7/2007-2013, ICT-2011.4.4(d), Intelligent Information Management, Targeted Competition Framework) under grant agreement n° 318652.