BioASQ Participants Area

Task Synergy: Test Results

Test batch 1

Documents

System	Mean precision	Recall	F-Measure	MAP	GMAP
auth-qa-1	0.1736	0.0849	0.0802	0.0693	0.0004
NLM-1	0.4773	0.3251	0.3383	0.2946	0.0459
NLM-2	0.4773	0.3251	0.3383	0.2946	0.0459
NLM-3	0.4438	0.3310	0.3078	0.2735	0.0635
NLM-4	0.4438	0.3310	0.3078	0.2735	0.0635
AUEB-System1	0.0916	0.1347	0.0846	0.0876	0.0007
bio-answerfinder	0.4105	0.2160	0.2372	0.1935	0.0140
RYGH-1	0.4892	0.3523	0.3358	0.3248	0.0471
RYGH	0.4225	0.3308	0.3016	0.3008	0.0281
RYGH-3	0.4948	0.3540	0.3454	0.3363	0.0418
RYGH-4	0.4799	0.3603	0.3280	0.3236	0.0598
Laptop	0.3671	0.1575	0.1840	0.1577	0.0039
bioinfo-0	0.2939	0.2414	0.2026	0.2228	0.0083
bioinfo-1	0.2982	0.2496	0.2051	0.2208	0.0099
bioinfo-2	0.3280	0.2080	0.2001	0.1860	0.0061
bioinfo-3	0.2866	0.1736	0.1735	0.1537	0.0038
bioinfo-4	0.3247	0.2499	0.2217	0.2252	0.0134
MQ-1	0.2536	0.3590	0.2474	0.2826	0.0521
MQ-2	0.2536	0.3590	0.2474	0.2826	0.0521
RYGH-5	0.4963	0.3795	0.3457	0.3375	0.0829

Snippets

System	Mean precision	Recall	F-Measure	MAP	GMAP
auth-qa-1	-	-	-	-	-
NLM-1	0.3927	0.1798	0.2153	0.2676	0.0206
NLM-2	0.4157	0.2584	0.2712	0.2107	0.0197
NLM-3	0.3557	0.1714	0.1903	0.2652	0.0176
NLM-4	0.3608	0.2355	0.2315	0.2068	0.0190
AUEB-System1	0.0662	0.0428	0.0396	0.0724	0.0001
bio-answerfinder	0.2617	0.1516	0.1411	0.1797	0.0045
RYGH-1	0.4075	0.1883	0.2087	0.3029	0.0199
RYGH	0.3543	0.1610	0.1818	0.2695	0.0105
RYGH-3	0.3858	0.1967	0.2178	0.3141	0.0196
RYGH-4	0.4139	0.1800	0.2021	0.2882	0.0223
Laptop	0.2258	0.0506	0.0697	0.1216	0.0013
bioinfo-0	-	-	-	-	-
bioinfo-1	-	-	-	-	-
bioinfo-2	-	-	-	-	-
bioinfo-3	-	-	-	-	-
bioinfo-4	-	-	-	-	-
MQ-1	0.1947	0.1555	0.1414	0.1915	0.0067
MQ-2	0.1891	0.1525	0.1380	0.1887	0.0069
RYGH-5	0.4248	0.2008	0.2194	0.3127	0.0307

Test batch 2

Documents

System	Mean precision	Recall	F-Measure	MAP	GMAP
AUEB-System1	0.0618	0.0876	0.0560	0.0413	0.0004
bio-answerfinder	0.2248	0.1865	0.1642	0.1791	0.0037
MQ-1	0.2088	0.2263	0.1654	0.1978	0.0133
MQ-2	0.2088	0.2263	0.1654	0.1978	0.0133
MQ-3	0.2088	0.2263	0.1654	0.1978	0.0133
MQ-4	0.2088	0.2263	0.1654	0.1978	0.0133
simple truncation	-	-	-	-	-
kmeans	-	-	-	-	-
similarity measures	-	-	-	-	-
NLM-1	0.3500	0.3360	0.2762	0.3179	0.0714
NLM-2	0.3500	0.3360	0.2762	0.3179	0.0714
NLM-3	0.3500	0.3360	0.2762	0.3179	0.0714
NLM-4	0.3088	0.2854	0.2387	0.2845	0.0556
NLM-5	0.3088	0.2854	0.2387	0.2845	0.0556
bioinfo-0	0.2909	0.2651	0.2169	0.3193	0.0263
bioinfo-1	0.2980	0.2754	0.2252	0.3259	0.0318
extractive	-	-	-	-	-
abstractive	-	-	-	-	-
RYGH-1	0.4039	0.4108	0.3205	0.4069	0.1586
RYGH	0.3782	0.3721	0.3013	0.3786	0.0807
RYGH-3	0.3892	0.3895	0.3103	0.3886	0.0977
RYGH-5	0.3978	0.4306	0.3237	0.4049	0.1691
RYGH-4	0.3748	0.3601	0.2971	0.3765	0.0830
bioinfo-2	0.2909	0.2651	0.2169	0.2758	0.0230
bioinfo-4	0.2794	0.2528	0.2072	0.2658	0.0195
bioinfo-3	0.2833	0.2562	0.2110	0.2648	0.0211

Snippets

System	Mean precision	Recall	F-Measure	MAP	GMAP
AUEB-System1	0.0361	0.0260	0.0204	0.0259	0.0000
bio-answerfinder	0.1378	0.1118	0.0866	0.1350	0.0015
MQ-1	0.1146	0.0720	0.0704	0.1221	0.0015
MQ-2	0.1160	0.0717	0.0706	0.1162	0.0015
MQ-3	0.1181	0.0719	0.0709	0.1130	0.0015
MQ-4	0.1125	0.0711	0.0695	0.1183	0.0016
simple truncation	-	-	-	-	-
kmeans	-	-	-	-	-
similarity measures	-	-	-	-	-
NLM-1	0.2685	0.1688	0.1634	0.2422	0.0193
NLM-2	0.2685	0.1688	0.1634	0.2422	0.0193
NLM-3	0.2523	0.2265	0.1885	0.2043	0.0177
NLM-4	0.2172	0.1230	0.1246	0.1991	0.0106
NLM-5	0.2154	0.1442	0.1409	0.1574	0.0065
bioinfo-0	-	-	-	-	-
bioinfo-1	-	-	-	-	-
extractive	-	-	-	-	-
abstractive	-	-	-	-	-
RYGH-1	0.2981	0.1992	0.1858	0.3201	0.0349
RYGH	0.2840	0.1875	0.1704	0.3158	0.0282
RYGH-3	0.2867	0.1913	0.1748	0.3136	0.0286
RYGH-5	0.2937	0.2138	0.1850	0.3199	0.0363
RYGH-4	0.2756	0.1821	0.1679	0.3065	0.0340
bioinfo-2	-	-	-	-	-
bioinfo-4	-	-	-	-	-
bioinfo-3	-	-	-	-	-

Exact Answers

	Yes/No				Factoid			List
System	Macro F1	F1 Yes	F1 No	Accuracy	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
AUEB-System1	0.4074	0.8148	-	0.6875	0.1538	0.1538	0.1538	0.1136	0.1364	0.1152
bio-answerfinder	0.7091	0.8182	0.6000	0.7500	0.2308	0.2308	0.2308	0.0530	0.1818	0.0818
MQ-1	0.4074	0.8148	-	0.6875	-	-	-	-	-	-
MQ-2	0.4074	0.8148	-	0.6875	-	-	-	-	-	-
MQ-3	0.4074	0.8148	-	0.6875	-	-	-	-	-	-
MQ-4	0.4074	0.8148	-	0.6875	-	-	-	-	-	-
simple truncation	0.4182	0.6364	0.2000	0.5000	-	-	-	-	-	-
kmeans	0.4182	0.6364	0.2000	0.5000	-	-	-	-	-	-
similarity measures	0.4182	0.6364	0.2000	0.5000	-	-	-	-	-	-
NLM-1	0.4074	0.8148	-	0.6875	-	-	-	-	-	-
NLM-2	0.4074	0.8148	-	0.6875	-	-	-	-	-	-
NLM-3	0.4074	0.8148	-	0.6875	-	-	-	-	-	-
NLM-4	0.4074	0.8148	-	0.6875	-	-	-	-	-	-
NLM-5	0.4074	0.8148	-	0.6875	-	-	-	-	-	-
bioinfo-0	0.4074	0.8148	-	0.6875	-	-	-	-	-	-
bioinfo-1	0.4074	0.8148	-	0.6875	-	-	-	-	-	-
extractive	0.4074	0.8148	-	0.6875	-	-	-	-	-	-
abstractive	0.4074	0.8148	-	0.6875	-	-	-	-	-	-
RYGH-1	0.7681	0.8696	0.6667	0.8125	0.1538	0.3077	0.2179	0.0364	0.2727	0.0639
RYGH	0.7681	0.8696	0.6667	0.8125	0.1538	0.3077	0.2077	0.0364	0.2727	0.0639
RYGH-3	0.7681	0.8696	0.6667	0.8125	0.2308	0.3846	0.3077	0.0698	0.2424	0.0949
RYGH-5	0.7257	0.8800	0.5714	0.8125	0.1538	0.3077	0.2051	0.0357	0.2727	0.0631
RYGH-4	0.7257	0.8800	0.5714	0.8125	0.1538	0.3846	0.2692	0.0698	0.2424	0.0949
bioinfo-2	0.4074	0.8148	-	0.6875	-	-	-	-	-	-
bioinfo-4	0.4074	0.8148	-	0.6875	-	-	-	-	-	-
bioinfo-3	0.4074	0.8148	-	0.6875	-	-	-	-	-	-

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
AUEB-System1	0.0234	0.0140	0.0267	0.0158	0.74	0.74	0.85	0.75
bio-answerfinder	0.0311	0.0236	0.0418	0.0325	2.94	2.51	2.72	3.28
MQ-1	0.0715	0.0511	0.0806	0.0567	3.13	2.70	2.89	3.34
MQ-2	0.0714	0.0510	0.0798	0.0565	3.06	2.70	2.74	3.36
MQ-3	0.0385	0.0405	0.0426	0.0436	2.72	2.40	2.60	2.96
MQ-4	0.0590	0.0438	0.0684	0.0500	3.19	2.74	2.96	3.30
simple truncation	0.0200	0.0214	0.0207	0.0225	0.91	0.74	0.81	0.96
kmeans	0.0258	0.0188	0.0286	0.0208	0.87	0.75	0.75	0.83
similarity measures	0.0045	0.0059	0.0076	0.0096	0.74	0.40	0.55	0.98
NLM-1	0.0934	0.0669	0.1047	0.0720	3.51	3.62	3.36	3.34
NLM-2	0.0554	0.0423	0.0681	0.0495	2.91	3.00	2.94	3.66
NLM-3	0.0956	0.0690	0.1080	0.0743	3.51	3.68	3.55	3.58
NLM-4	0.0289	0.0197	0.0389	0.0266	2.45	1.40	2.00	3.26
NLM-5	0.0437	0.0304	0.0548	0.0376	3.09	2.96	3.15	3.47
bioinfo-0	-	-	-	-	-	-	-	-
bioinfo-1	-	-	-	-	-	-	-	-
extractive	-	-	-	-	-	-	-	-
abstractive	-	-	-	-	-	-	-	-
RYGH-1	0.0495	0.0521	0.0535	0.0568	4.11	2.91	3.43	3.74
RYGH	0.0495	0.0521	0.0535	0.0568	4.11	2.91	3.43	3.74
RYGH-3	0.0495	0.0521	0.0535	0.0568	4.11	2.91	3.43	3.74
RYGH-5	0.0758	0.0726	0.0779	0.0749	3.92	3.38	3.75	3.64
RYGH-4	0.0758	0.0726	0.0779	0.0749	3.92	3.38	3.75	3.64
bioinfo-2	-	-	-	-	-	-	-	-
bioinfo-4	-	-	-	-	-	-	-	-
bioinfo-3	-	-	-	-	-	-	-	-

Test batch 3

Documents

System	Mean precision	Recall	F-Measure	MAP	GMAP
AUEB-System1	0.0244	0.0189	0.0179	0.0110	0.0000
MQ-1	0.1407	0.1269	0.0973	0.1015	0.0017
MQ-2	0.1407	0.1269	0.0973	0.1015	0.0017
NLM-1	0.2977	0.3177	0.2378	0.2489	0.0418
NLM-2	0.2977	0.3177	0.2378	0.2489	0.0418
NLM-3	0.2977	0.3177	0.2378	0.2489	0.0418
NLM-4	0.2523	0.2687	0.2015	0.2008	0.0186
NLM-5	0.2523	0.2687	0.2015	0.2008	0.0186
bio-answerfinder	0.2843	0.1946	0.1810	0.1936	0.0077
bioinfo-0	0.2240	0.2007	0.1619	0.1808	0.0068
MQ-3	0.1407	0.1269	0.0973	0.1015	0.0017
bioinfo-1	0.2240	0.2007	0.1619	0.2126	0.0071
bioinfo-2	0.2240	0.2007	0.1619	0.1805	0.0067
RYGH-1	0.3101	0.2892	0.2321	0.2866	0.0369
RYGH	0.3206	0.3082	0.2406	0.2997	0.0408
RYGH-3	0.3398	0.3224	0.2566	0.3200	0.0406
RYGH-4	0.3244	0.3188	0.2470	0.3027	0.0445
RYGH-5	0.3451	0.3226	0.2628	0.3257	0.0484
bioinfo-3	0.2240	0.2007	0.1619	0.1984	0.0070
dice-a-1.0	0.0483	0.0528	0.0364	0.0325	0.0001
bioinfo-4	0.2240	0.2007	0.1619	0.2080	0.0072
dice-b-1.0	0.0547	0.0657	0.0413	0.0390	0.0002
dice-c-1.0	0.0512	0.0636	0.0387	0.0385	0.0002

Snippets

System	Mean precision	Recall	F-Measure	MAP	GMAP
AUEB-System1	0.0077	0.0029	0.0037	0.0046	0.0000
MQ-1	0.0742	0.0614	0.0462	0.0856	0.0003
MQ-2	0.0744	0.0614	0.0462	0.0814	0.0003
NLM-1	0.2459	0.1808	0.1645	0.2378	0.0147
NLM-2	0.2459	0.1808	0.1645	0.2378	0.0147
NLM-3	0.2426	0.2408	0.1940	0.1722	0.0145
NLM-4	0.1962	0.1428	0.1280	0.1859	0.0071
NLM-5	0.1840	0.1685	0.1339	0.1306	0.0041
bio-answerfinder	0.2107	0.1501	0.1319	0.1854	0.0038
bioinfo-0	-	-	-	-	-
MQ-3	0.0784	0.0618	0.0473	0.0724	0.0003
bioinfo-1	-	-	-	-	-
bioinfo-2	-	-	-	-	-
RYGH-1	0.2621	0.2024	0.1713	0.2772	0.0280
RYGH	0.2748	0.2089	0.1816	0.2856	0.0283
RYGH-3	0.3006	0.2214	0.1999	0.3141	0.0285
RYGH-4	0.2710	0.2120	0.1819	0.3005	0.0278
RYGH-5	0.2986	0.2297	0.2026	0.3186	0.0351
bioinfo-3	-	-	-	-	-
dice-a-1.0	-	-	-	-	-
bioinfo-4	-	-	-	-	-
dice-b-1.0	-	-	-	-	-
dice-c-1.0	-	-	-	-	-

Exact Answers

	Yes/No				Factoid			List
System	Macro F1	F1 Yes	F1 No	Accuracy	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
AUEB-System1	0.3878	0.7755	-	0.6333	-	-	-	0.0063	0.0104	0.0078
MQ-1	0.3878	0.7755	-	0.6333	-	-	-	-	-	-
MQ-2	0.3878	0.7755	-	0.6333	-	-	-	-	-	-
NLM-1	0.3878	0.7755	-	0.6333	-	-	-	-	-	-
NLM-2	0.3878	0.7755	-	0.6333	-	-	-	-	-	-
NLM-3	0.3878	0.7755	-	0.6333	-	-	-	-	-	-
NLM-4	0.3878	0.7755	-	0.6333	-	-	-	-	-	-
NLM-5	0.3878	0.7755	-	0.6333	-	-	-	-	-	-
bio-answerfinder	0.5739	0.7727	0.3750	0.6667	0.1429	0.2143	0.1667	0.0594	0.1071	0.0604
bioinfo-0	0.3878	0.7755	-	0.6333	-	-	-	-	-	-
MQ-3	0.3878	0.7755	-	0.6333	-	-	-	-	-	-
bioinfo-1	0.3878	0.7755	-	0.6333	-	-	-	-	-	-
bioinfo-2	0.3878	0.7755	-	0.6333	-	-	-	-	-	-
RYGH-1	0.7750	0.8500	0.7000	0.8000	0.2857	0.4286	0.3393	0.0588	0.2461	0.0779
RYGH	0.7750	0.8500	0.7000	0.8000	0.2857	0.4286	0.3393	0.0588	0.2461	0.0779
RYGH-3	0.7750	0.8500	0.7000	0.8000	0.2857	0.4286	0.3393	0.0588	0.2461	0.0779
RYGH-4	0.7436	0.8205	0.6667	0.7667	0.3571	0.3571	0.3571	0.2257	0.3793	0.1796
RYGH-5	0.7436	0.8205	0.6667	0.7667	0.3571	0.3571	0.3571	0.2257	0.3793	0.1796
bioinfo-3	0.3878	0.7755	-	0.6333	-	-	-	-	-	-
dice-a-1.0	0.3878	0.7755	-	0.6333	-	-	-	-	-	-
bioinfo-4	0.3878	0.7755	-	0.6333	-	-	-	-	-	-
dice-b-1.0	0.3878	0.7755	-	0.6333	-	-	-	-	-	-
dice-c-1.0	0.3878	0.7755	-	0.6333	-	-	-	-	-	-

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
AUEB-System1	0.0298	0.0160	0.0338	0.0181	0.65	0.83	0.71	0.81
MQ-1	0.1061	0.0806	0.1184	0.0883	3.65	3.33	3.20	3.89
MQ-2	0.1128	0.0842	0.1257	0.0926	3.64	3.48	3.25	3.80
NLM-1	0.1039	0.0709	0.1150	0.0778	3.54	3.50	3.09	3.71
NLM-2	0.0809	0.0551	0.0926	0.0631	3.11	3.08	2.83	3.70
NLM-3	0.0881	0.0622	0.0996	0.0685	3.45	3.51	3.06	3.64
NLM-4	0.0365	0.0252	0.0488	0.0341	2.70	1.43	1.93	3.23
NLM-5	0.0593	0.0437	0.0707	0.0518	3.28	2.91	2.69	3.70
bio-answerfinder	0.0507	0.0441	0.0615	0.0526	3.39	2.74	2.75	3.90
bioinfo-0	-	-	-	-	-	-	-	-
MQ-3	0.0432	0.0371	0.0569	0.0467	3.23	2.68	2.73	3.61
bioinfo-1	-	-	-	-	-	-	-	-
bioinfo-2	-	-	-	-	-	-	-	-
RYGH-1	0.0924	0.0905	0.0946	0.0929	4.20	3.73	3.90	4.25
RYGH	0.0924	0.0905	0.0946	0.0929	4.20	3.73	3.90	4.25
RYGH-3	0.0924	0.0905	0.0946	0.0929	4.20	3.73	3.90	4.25
RYGH-4	0.1120	0.1139	0.1150	0.1170	4.39	3.94	4.00	4.41
RYGH-5	0.1120	0.1139	0.1150	0.1170	4.39	3.94	4.00	4.41
bioinfo-3	-	-	-	-	-	-	-	-
dice-a-1.0	-	-	-	-	-	-	-	-
bioinfo-4	-	-	-	-	-	-	-	-
dice-b-1.0	-	-	-	-	-	-	-	-
dice-c-1.0	-	-	-	-	-	-	-	-

Test batch 4

Documents

System	Mean precision	Recall	F-Measure	MAP	GMAP
MQ-1	0.1299	0.1339	0.1053	0.1231	0.0035
MQ-2	0.1299	0.1339	0.1053	0.1231	0.0035
AUEB-System1	0.0176	0.0262	0.0168	0.0085	0.0000
NLM-1	0.2604	0.2752	0.2124	0.2294	0.0302
NLM-3	0.2604	0.2752	0.2124	0.2294	0.0302
MQ-3	0.1299	0.1339	0.1053	0.1231	0.0035
NLM-2	0.2604	0.2752	0.2124	0.2294	0.0302
NLM-4	0.2473	0.2465	0.1983	0.1956	0.0318
NLM-5	0.2473	0.2465	0.1983	0.1956	0.0318
bio-answerfinder	0.3012	0.1783	0.1838	0.1863	0.0068
bio-answerfinder-2	0.2839	0.2119	0.1926	0.2013	0.0112
base	0.2336	0.0686	0.0887	0.0816	0.0005
MQ-4	0.1850	0.1926	0.1510	0.1471	0.0125
MQ-5	0.2381	0.2155	0.1762	0.2098	0.0155
bioinfo-0	0.2388	0.2264	0.1839	0.2313	0.0189
bioinfo-1	0.2388	0.2264	0.1839	0.2144	0.0185
bioinfo-2	0.2388	0.2264	0.1839	0.2009	0.0182
bioinfo-3	0.2388	0.2264	0.1839	0.2144	0.0185
bioinfo-4	0.2388	0.2264	0.1839	0.2091	0.0178
RYGH-1	0.2763	0.2865	0.2163	0.2822	0.0401
RYGH-4	0.2945	0.2883	0.2290	0.2829	0.0414
RYGH-5	0.2951	0.3250	0.2369	0.2764	0.0622
RYGH	0.2867	0.2890	0.2224	0.2832	0.0417
RYGH-3	0.3027	0.3169	0.2375	0.2983	0.0573

Snippets

System	Mean precision	Recall	F-Measure	MAP	GMAP
MQ-1	0.0854	0.0829	0.0640	0.0811	0.0006
MQ-2	0.0873	0.0845	0.0657	0.0861	0.0007
AUEB-System1	0.0098	0.0084	0.0078	0.0063	0.0000
NLM-1	0.2225	0.2045	0.1703	0.2219	0.0136
NLM-3	0.2228	0.2455	0.1909	0.1582	0.0087
MQ-3	0.0843	0.0827	0.0634	0.0689	0.0006
NLM-2	0.2225	0.2045	0.1703	0.2219	0.0136
NLM-4	0.1804	0.1333	0.1268	0.1689	0.0063
NLM-5	0.1869	0.1700	0.1461	0.1363	0.0061
bio-answerfinder	0.1899	0.1243	0.1278	0.1701	0.0036
bio-answerfinder-2	0.1996	0.1587	0.1403	0.1890	0.0047
base	0.0427	0.0167	0.0212	0.0225	0.0000
MQ-4	0.1166	0.0799	0.0798	0.0972	0.0014
MQ-5	0.1486	0.0849	0.0912	0.1153	0.0016
bioinfo-0	-	-	-	-	-
bioinfo-1	-	-	-	-	-
bioinfo-2	-	-	-	-	-
bioinfo-3	-	-	-	-	-
bioinfo-4	-	-	-	-	-
RYGH-1	0.2402	0.2049	0.1656	0.2612	0.0203
RYGH-4	0.2453	0.2229	0.1826	0.2842	0.0210
RYGH-5	0.2340	0.2172	0.1716	0.2302	0.0183
RYGH	0.2515	0.2200	0.1812	0.2722	0.0188
RYGH-3	0.2312	0.2097	0.1694	0.2563	0.0174

Exact Answers

	Yes/No				Factoid			List
System	Macro F1	F1 Yes	F1 No	Accuracy	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
MQ-1	0.3878	0.7755	-	0.6333	-	-	-	-	-	-
MQ-2	0.3878	0.7755	-	0.6333	-	-	-	-	-	-
AUEB-System1	0.3878	0.7755	-	0.6333	-	-	-	0.0059	0.0098	0.0074
NLM-1	0.3878	0.7755	-	0.6333	-	-	-	-	-	-
NLM-3	0.3878	0.7755	-	0.6333	-	-	-	-	-	-
MQ-3	0.3878	0.7755	-	0.6333	-	-	-	-	-	-
NLM-2	0.3878	0.7755	-	0.6333	-	-	-	-	-	-
NLM-4	0.3878	0.7755	-	0.6333	-	-	-	-	-	-
NLM-5	0.3878	0.7755	-	0.6333	-	-	-	-	-	-
bio-answerfinder	0.5764	0.7317	0.4211	0.6333	0.0000	0.1333	0.0556	0.0485	0.1471	0.0621
bio-answerfinder-2	0.5739	0.7727	0.3750	0.6667	0.0667	0.2000	0.1111	0.0294	0.0294	0.0294
base	0.3878	0.7755	-	0.6333	0.1333	0.3333	0.1767	0.0824	0.1397	0.0890
MQ-4	0.3878	0.7755	-	0.6333	-	-	-	-	-	-
MQ-5	0.3878	0.7755	-	0.6333	-	-	-	-	-	-
bioinfo-0	0.3878	0.7755	-	0.6333	-	-	-	-	-	-
bioinfo-1	0.3878	0.7755	-	0.6333	-	-	-	-	-	-
bioinfo-2	0.3878	0.7755	-	0.6333	-	-	-	-	-	-
bioinfo-3	0.3878	0.7755	-	0.6333	-	-	-	-	-	-
bioinfo-4	0.3878	0.7755	-	0.6333	-	-	-	-	-	-
RYGH-1	0.8168	0.8718	0.7619	0.8333	0.4000	0.4000	0.4000	0.2125	0.3570	0.1691
RYGH-4	0.8901	0.9231	0.8571	0.9000	0.4000	0.5333	0.4467	0.1932	0.4456	0.1721
RYGH-5	0.8901	0.9231	0.8571	0.9000	0.4000	0.5333	0.4467	0.1932	0.4456	0.1721
RYGH	0.9634	0.9744	0.9524	0.9667	0.3333	0.5333	0.4133	0.0691	0.2562	0.0941
RYGH-3	0.9634	0.9744	0.9524	0.9667	0.3333	0.5333	0.4133	0.0691	0.2562	0.0941

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
MQ-1	0.1252	0.0890	0.1369	0.0971	3.08	3.13	2.94	3.41
MQ-2	0.1177	0.0823	0.1306	0.0912	3.13	3.17	2.90	3.43
AUEB-System1	0.0345	0.0193	0.0392	0.0221	0.66	0.76	0.69	0.71
NLM-1	0.1119	0.0854	0.1220	0.0916	3.27	3.27	3.02	3.43
NLM-3	0.0948	0.0711	0.1077	0.0787	3.12	3.16	2.80	3.16
MQ-3	0.0517	0.0414	0.0658	0.0515	3.06	2.79	2.66	3.42
NLM-2	0.0733	0.0581	0.0840	0.0659	2.86	2.66	2.64	3.33
NLM-4	0.0380	0.0265	0.0513	0.0364	2.57	1.36	1.81	3.01
NLM-5	0.0604	0.0459	0.0737	0.0562	2.93	2.70	2.70	3.27
bio-answerfinder	0.0527	0.0456	0.0639	0.0540	3.29	2.52	2.57	3.52
bio-answerfinder-2	0.0576	0.0479	0.0685	0.0565	3.21	2.56	2.64	3.59
base	0.0505	0.0611	0.0515	0.0628	3.62	2.43	2.88	3.79
MQ-4	0.1141	0.0789	0.1240	0.0857	3.27	3.21	2.95	3.33
MQ-5	0.0947	0.0675	0.1064	0.0757	3.17	2.97	2.73	3.37
bioinfo-0	-	-	-	-	-	-	-	-
bioinfo-1	-	-	-	-	-	-	-	-
bioinfo-2	-	-	-	-	-	-	-	-
bioinfo-3	-	-	-	-	-	-	-	-
bioinfo-4	-	-	-	-	-	-	-	-
RYGH-1	0.1016	0.1041	0.1054	0.1082	3.88	3.49	3.44	3.84
RYGH-4	0.1169	0.1215	0.1208	0.1254	3.76	3.42	3.42	3.71
RYGH-5	0.1169	0.1215	0.1208	0.1254	3.76	3.42	3.42	3.71
RYGH	0.1010	0.1042	0.1053	0.1085	3.76	3.27	3.40	3.84
RYGH-3	0.1010	0.1042	0.1053	0.1085	3.76	3.27	3.40	3.84

Copyright © 2021, the BioASQ Challenge (http://bioasq.org)

Platinum sponsors of the BioASQ Challenge between 2012 and 2020

Google was a proud sponsor of the BioASQ Challenge in 2018, 2019 and 2020.
BioASQ was supported by the National Library of Medicine of the National Institutes of Health under award number R13LM012214. The content is solely the responsibility of the authors and does not necessarily represent the official views of the National Institutes of Health.
The research leading to these results has received funding from the European Commission's Seventh Framework Programme (FP7/2007-2013, ICT-2011.4.4(d), Intelligent Information Management, Targeted Competition Framework) under grant agreement n° 318652.