BioASQ Participants Area

Task Synergy - version 2: Test Results

Test batch 1

Documents

System	Mean precision	Recall	F-Measure	MAP	GMAP
bio-answerfinder	0.4145	0.2223	0.2387	0.2725	0.0201
bio-answerfinder-2	0.4279	0.2676	0.2662	0.3132	0.0382
MQ-1	0.2600	0.2407	0.1978	0.2245	0.0384
AUEB-System1	0.0759	0.0550	0.0552	0.0412	0.0003
MQ-2	0.2600	0.2407	0.1978	0.2245	0.0384
MQ-3	0.2600	0.2407	0.1978	0.2245	0.0384
RYGH-4	0.4138	0.3846	0.3241	0.4095	0.1690
RYGH-5	0.4635	0.4357	0.3693	0.4807	0.2230
MQ-4	0.2600	0.2407	0.1978	0.2245	0.0384
RYGH-1	0.4252	0.3912	0.3328	0.4210	0.1581
RYGH	0.4614	0.4437	0.3674	0.4762	0.2462
RYGH-3	0.4518	0.4367	0.3609	0.4672	0.2434
bioinfo-0	0.2711	0.2618	0.2122	0.2472	0.0297
bioinfo-1	0.3133	0.2793	0.2388	0.2872	0.0537
bioinfo-2	0.3096	0.2785	0.2376	0.2841	0.0500
bioinfo-3	0.3205	0.2863	0.2422	0.2926	0.0444
bioinfo-4	0.3241	0.2868	0.2430	0.2976	0.0460
SOL21	0.0391	0.0153	0.0157	0.0261	0.0000

Snippets

System	Mean precision	Recall	F-Measure	MAP	GMAP
bio-answerfinder	0.3109	0.2151	0.2165	0.3181	0.0199
bio-answerfinder-2	0.3286	0.2451	0.2288	0.3504	0.0330
MQ-1	0.1560	0.1247	0.1031	0.1345	0.0031
AUEB-System1	0.0529	0.0296	0.0311	0.0220	0.0001
MQ-2	0.1835	0.0920	0.1100	0.1324	0.0026
MQ-3	0.1551	0.1301	0.1071	0.1371	0.0059
RYGH-4	0.3918	0.3522	0.3091	0.4434	0.1344
RYGH-5	0.4164	0.3737	0.3290	0.4855	0.2393
MQ-4	0.2840	0.1941	0.1923	0.2425	0.0113
RYGH-1	0.3976	0.3557	0.3141	0.4506	0.1637
RYGH	0.3959	0.3666	0.3148	0.4733	0.1946
RYGH-3	0.3956	0.3706	0.3151	0.4691	0.2063
bioinfo-0	-	-	-	-	-
bioinfo-1	-	-	-	-	-
bioinfo-2	-	-	-	-	-
bioinfo-3	-	-	-	-	-
bioinfo-4	-	-	-	-	-
SOL21	-	-	-	-	-

Exact Answers

	Yes/No				Factoid			List
System	Macro F1	F1 Yes	F1 No	Accuracy	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
bio-answerfinder	0.4000	0.8000	-	0.6667	-	-	-	-	-	-
bio-answerfinder-2	0.4000	0.8000	-	0.6667	-	-	-	-	-	-
MQ-1	0.4000	0.8000	-	0.6667	-	-	-	-	-	-
AUEB-System1	0.4000	0.8000	-	0.6667	-	-	-	-	-	-
MQ-2	0.4000	0.8000	-	0.6667	-	-	-	-	-	-
MQ-3	0.4000	0.8000	-	0.6667	-	-	-	-	-	-
RYGH-4	1.0000	1.0000	1.0000	1.0000	-	-	-	-	-	-
RYGH-5	0.4000	0.8000	-	0.6667	-	-	-	-	-	-
MQ-4	0.4000	0.8000	-	0.6667	-	-	-	-	-	-
RYGH-1	0.4000	0.8000	-	0.6667	-	-	-	-	-	-
RYGH	0.4000	0.8000	-	0.6667	-	-	-	-	-	-
RYGH-3	0.4000	0.8000	-	0.6667	-	-	-	-	-	-
bioinfo-0	0.4000	0.8000	-	0.6667	-	-	-	-	-	-
bioinfo-1	0.4000	0.8000	-	0.6667	-	-	-	-	-	-
bioinfo-2	0.4000	0.8000	-	0.6667	-	-	-	-	-	-
bioinfo-3	0.4000	0.8000	-	0.6667	-	-	-	-	-	-
bioinfo-4	0.4000	0.8000	-	0.6667	-	-	-	-	-	-
SOL21	0.4000	0.8000	-	0.6667	-	-	-	-	-	-

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
bio-answerfinder	0.0310	0.0237	0.0322	0.0245	-	-	-	-
bio-answerfinder-2	0.0313	0.0241	0.0326	0.0251	-	-	-	-
MQ-1	0.0117	0.0102	0.0142	0.0122	-	-	-	-
AUEB-System1	0.0034	0.0031	0.0044	0.0038	-	-	-	-
MQ-2	0.0103	0.0099	0.0121	0.0117	-	-	-	-
MQ-3	0.0116	0.0093	0.0144	0.0115	-	-	-	-
RYGH-4	0.0192	0.0229	0.0195	0.0235	-	-	-	-
RYGH-5	0.0275	0.0231	0.0287	0.0239	-	-	-	-
MQ-4	0.0082	0.0070	0.0105	0.0090	-	-	-	-
RYGH-1	0.0256	0.0210	0.0272	0.0219	-	-	-	-
RYGH	0.0100	0.0133	0.0104	0.0142	-	-	-	-
RYGH-3	0.0100	0.0133	0.0106	0.0142	-	-	-	-
bioinfo-0	-	-	-	-	-	-	-	-
bioinfo-1	-	-	-	-	-	-	-	-
bioinfo-2	-	-	-	-	-	-	-	-
bioinfo-3	-	-	-	-	-	-	-	-
bioinfo-4	-	-	-	-	-	-	-	-
SOL21	-	-	-	-	-	-	-	-

Test batch 2

Documents

System	Mean precision	Recall	F-Measure	MAP	GMAP
MQ-1	0.1406	0.1284	0.1087	0.1189	0.0043
MQ-2	0.1406	0.1284	0.1087	0.1189	0.0043
MQ-3	0.1406	0.1284	0.1087	0.1189	0.0043
MQ-4	0.1406	0.1284	0.1087	0.1189	0.0043
bio-answerfinder	0.2724	0.1331	0.1528	0.1637	0.0044
bio-answerfinder-2	0.2908	0.1631	0.1768	0.1953	0.0066
AUEB-System1	0.0188	0.0205	0.0183	0.0119	0.0000
bioinfo-0	0.1984	0.1569	0.1423	0.1547	0.0067
bioinfo-1	0.1906	0.1431	0.1343	0.1525	0.0040
bioinfo-2	0.1531	0.1295	0.1134	0.1262	0.0021
RYGH-1	0.2536	0.1978	0.1765	0.2094	0.0156
SOL21	0.0339	0.0040	0.0067	0.0106	0.0000
RYGH-3	0.2890	0.2188	0.2028	0.2413	0.0166
RYGH-5	0.2656	0.2131	0.1906	0.2172	0.0169
RYGH-4	0.2966	0.2154	0.2011	0.2453	0.0175
RYGH	0.2966	0.2203	0.2039	0.2441	0.0175
bioinfo-3	0.2250	0.1852	0.1637	0.1854	0.0078
bioinfo-4	0.1875	0.1622	0.1398	0.1630	0.0068

Snippets

System	Mean precision	Recall	F-Measure	MAP	GMAP
MQ-1	0.1568	0.1124	0.1035	0.1391	0.0033
MQ-2	0.1040	0.0470	0.0540	0.0666	0.0006
MQ-3	0.1520	0.1043	0.0999	0.1304	0.0056
MQ-4	0.1562	0.1241	0.1075	0.1534	0.0062
bio-answerfinder	0.1617	0.1183	0.1118	0.1823	0.0015
bio-answerfinder-2	0.1929	0.1391	0.1365	0.2010	0.0029
AUEB-System1	0.0126	0.0097	0.0101	0.0059	0.0000
bioinfo-0	-	-	-	-	-
bioinfo-1	-	-	-	-	-
bioinfo-2	-	-	-	-	-
RYGH-1	0.2017	0.1549	0.1499	0.1952	0.0052
SOL21	-	-	-	-	-
RYGH-3	0.2229	0.1670	0.1642	0.2179	0.0069
RYGH-5	0.2069	0.1634	0.1577	0.2065	0.0057
RYGH-4	0.2311	0.1702	0.1682	0.2240	0.0069
RYGH	0.2348	0.1750	0.1726	0.2236	0.0069
bioinfo-3	-	-	-	-	-
bioinfo-4	-	-	-	-	-

Exact Answers

	Yes/No				Factoid			List
System	Macro F1	F1 Yes	F1 No	Accuracy	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
MQ-1	-	-	-	-	-	-	-	-	-	-
MQ-2	-	-	-	-	-	-	-	-	-	-
MQ-3	-	-	-	-	-	-	-	-	-	-
MQ-4	-	-	-	-	-	-	-	-	-	-
bio-answerfinder	0.5000	-	1.0000	1.0000	-	-	-	0.1250	0.2000	0.1538
bio-answerfinder-2	0.5000	-	1.0000	1.0000	-	-	-	0.1250	0.2000	0.1538
AUEB-System1	-	-	-	-	-	-	-	-	-	-
bioinfo-0	-	-	-	-	-	-	-	-	-	-
bioinfo-1	-	-	-	-	-	-	-	-	-	-
bioinfo-2	-	-	-	-	-	-	-	-	-	-
RYGH-1	-	-	-	-	0.0000	0.5000	0.1000	0.7500	0.2667	0.3929
SOL21	-	-	-	-	-	-	-	-	-	-
RYGH-3	-	-	-	-	-	-	-	0.3929	0.5333	0.4524
RYGH-5	-	-	-	-	0.0000	0.5000	0.1250	1.0000	0.2667	0.4167
RYGH-4	-	-	-	-	-	-	-	0.4167	0.5333	0.4675
RYGH	0.5000	-	1.0000	1.0000	-	-	-	0.3929	0.5333	0.4524
bioinfo-3	-	-	-	-	-	-	-	-	-	-
bioinfo-4	-	-	-	-	-	-	-	-	-	-

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
MQ-1	0.0230	0.0208	0.0249	0.0220	-	-	-	-
MQ-2	0.0143	0.0141	0.0160	0.0155	-	-	-	-
MQ-3	0.0209	0.0172	0.0234	0.0190	-	-	-	-
MQ-4	0.0350	0.0327	0.0363	0.0336	-	-	-	-
bio-answerfinder	0.0554	0.0431	0.0558	0.0433	-	-	-	-
bio-answerfinder-2	0.0566	0.0445	0.0562	0.0438	-	-	-	-
AUEB-System1	0.0040	0.0035	0.0053	0.0044	-	-	-	-
bioinfo-0	-	-	-	-	-	-	-	-
bioinfo-1	-	-	-	-	-	-	-	-
bioinfo-2	-	-	-	-	-	-	-	-
RYGH-1	-	-	-	-	-	-	-	-
SOL21	-	-	-	-	-	-	-	-
RYGH-3	-	-	-	-	-	-	-	-
RYGH-5	-	-	-	-	-	-	-	-
RYGH-4	-	-	-	-	-	-	-	-
RYGH	-	-	-	-	-	-	-	-
bioinfo-3	-	-	-	-	-	-	-	-
bioinfo-4	-	-	-	-	-	-	-	-

Test batch 3

Documents

System	Mean precision	Recall	F-Measure	MAP	GMAP
MQ-1	0.0588	0.0671	0.0483	0.0650	0.0004
bio-answerfinder	0.0544	0.0567	0.0449	0.0308	0.0001
bio-answerfinder-2	0.0444	0.0541	0.0401	0.0223	0.0001
bio-answerfinder-3	0.0621	0.0605	0.0476	0.0375	0.0003
MQ-2	0.0588	0.0671	0.0483	0.0650	0.0004
MQ-3	0.0588	0.0671	0.0483	0.0650	0.0004
MQ-4	0.0588	0.0671	0.0483	0.0650	0.0004
ULisboa-SRank	0.1557	0.0714	0.0712	0.0522	0.0005
ULisboa-SRank-2	0.1491	0.0566	0.0680	0.0464	0.0004
ULisboa-SRank-3	0.1432	0.0361	0.0477	0.0403	0.0001
ULisboa-SRank-4	0.1391	0.0403	0.0531	0.0448	0.0001
RYGH-1	0.1531	0.1601	0.1233	0.1341	0.0046
RYGH	0.1693	0.1437	0.1258	0.1340	0.0052
RYGH-3	0.1653	0.1445	0.1249	0.1298	0.0048
RYGH-4	0.1745	0.1523	0.1327	0.1380	0.0043
RYGH-5	0.1605	0.1430	0.1228	0.1316	0.0045
bioinfo-0	0.0966	0.0852	0.0710	0.1006	0.0005
bioinfo-1	0.1345	0.1202	0.1036	0.1274	0.0018
bioinfo-2	0.1328	0.1168	0.1014	0.1292	0.0015
bioinfo-3	0.1328	0.1189	0.1024	0.1160	0.0016
bioinfo-4	0.1397	0.1192	0.1051	0.1222	0.0013
SOL21	0.0161	0.0032	0.0053	0.0058	0.0000

Snippets

System	Mean precision	Recall	F-Measure	MAP	GMAP
MQ-1	0.0963	0.0904	0.0707	0.0773	0.0010
bio-answerfinder	0.0479	0.0336	0.0339	0.0253	0.0001
bio-answerfinder-2	0.0256	0.0252	0.0231	0.0138	0.0000
bio-answerfinder-3	0.0671	0.0577	0.0482	0.0409	0.0003
MQ-2	0.0605	0.0401	0.0324	0.0499	0.0001
MQ-3	0.0949	0.0960	0.0692	0.1035	0.0009
MQ-4	0.1403	0.1337	0.1044	0.1166	0.0025
ULisboa-SRank	0.1153	0.0599	0.0600	0.0599	0.0002
ULisboa-SRank-2	0.1108	0.0661	0.0673	0.0626	0.0002
ULisboa-SRank-3	0.1294	0.0749	0.0743	0.0820	0.0003
ULisboa-SRank-4	0.1215	0.0791	0.0732	0.0870	0.0003
RYGH-1	0.1536	0.1534	0.1209	0.1474	0.0019
RYGH	0.1584	0.1388	0.1194	0.1636	0.0025
RYGH-3	0.1596	0.1439	0.1235	0.1596	0.0023
RYGH-4	0.1596	0.1449	0.1242	0.1680	0.0020
RYGH-5	0.1610	0.1463	0.1262	0.1556	0.0022
bioinfo-0	-	-	-	-	-
bioinfo-1	-	-	-	-	-
bioinfo-2	-	-	-	-	-
bioinfo-3	-	-	-	-	-
bioinfo-4	-	-	-	-	-
SOL21	-	-	-	-	-

Exact Answers

	Yes/No				Factoid			List
System	Macro F1	F1 Yes	F1 No	Accuracy	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
MQ-1	0.5000	1.0000	-	1.0000	-	-	-	-	-	-
bio-answerfinder	0.5000	1.0000	-	1.0000	0.4000	0.4000	0.4000	0.7708	0.6583	0.6833
bio-answerfinder-2	0.5000	1.0000	-	1.0000	0.4000	0.4000	0.4000	0.7708	0.6583	0.6833
bio-answerfinder-3	0.5000	1.0000	-	1.0000	0.4000	0.4000	0.4000	0.9375	0.6583	0.7722
MQ-2	0.5000	1.0000	-	1.0000	-	-	-	-	-	-
MQ-3	0.5000	1.0000	-	1.0000	-	-	-	-	-	-
MQ-4	0.5000	1.0000	-	1.0000	-	-	-	-	-	-
ULisboa-SRank	0.4167	0.8333	-	0.7143	-	-	-	0.0500	0.0500	0.0500
ULisboa-SRank-2	0.4167	0.8333	-	0.7143	-	-	-	0.0417	0.0500	0.0455
ULisboa-SRank-3	0.4167	0.8333	-	0.7143	-	-	-	0.0833	0.1000	0.0909
ULisboa-SRank-4	0.4167	0.8333	-	0.7143	-	-	-	0.0625	0.0500	0.0556
RYGH-1	0.4615	0.9231	-	0.8571	0.2000	0.6000	0.3067	0.2790	0.6000	0.3551
RYGH	0.4615	0.9231	-	0.8571	0.2000	0.6000	0.3067	0.2514	0.6833	0.3491
RYGH-3	0.4615	0.9231	-	0.8571	0.0000	0.2000	0.0400	0.5214	0.4667	0.3887
RYGH-4	0.4615	0.9231	-	0.8571	0.2000	0.2000	0.2000	0.3389	0.6000	0.4158
RYGH-5	0.4615	0.9231	-	0.8571	0.2000	0.6000	0.2900	0.6339	0.3833	0.3798
bioinfo-0	0.5000	1.0000	-	1.0000	-	-	-	-	-	-
bioinfo-1	0.5000	1.0000	-	1.0000	-	-	-	-	-	-
bioinfo-2	0.5000	1.0000	-	1.0000	-	-	-	-	-	-
bioinfo-3	0.5000	1.0000	-	1.0000	-	-	-	-	-	-
bioinfo-4	0.5000	1.0000	-	1.0000	-	-	-	-	-	-
SOL21	-	-	-	-	-	-	-	-	-	-

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
MQ-1	0.0497	0.0425	0.0506	0.0434	-	-	-	-
bio-answerfinder	0.0726	0.0651	0.0747	0.0670	-	-	-	-
bio-answerfinder-2	0.0805	0.0735	0.0823	0.0752	-	-	-	-
bio-answerfinder-3	0.0836	0.0778	0.0846	0.0786	-	-	-	-
MQ-2	0.0300	0.0282	0.0331	0.0306	-	-	-	-
MQ-3	0.0574	0.0506	0.0602	0.0528	-	-	-	-
MQ-4	0.0516	0.0440	0.0508	0.0437	-	-	-	-
ULisboa-SRank	-	-	-	-	-	-	-	-
ULisboa-SRank-2	-	-	-	-	-	-	-	-
ULisboa-SRank-3	-	-	-	-	-	-	-	-
ULisboa-SRank-4	-	-	-	-	-	-	-	-
RYGH-1	-	-	-	-	-	-	-	-
RYGH	-	-	-	-	-	-	-	-
RYGH-3	-	-	-	-	-	-	-	-
RYGH-4	-	-	-	-	-	-	-	-
RYGH-5	-	-	-	-	-	-	-	-
bioinfo-0	-	-	-	-	-	-	-	-
bioinfo-1	-	-	-	-	-	-	-	-
bioinfo-2	-	-	-	-	-	-	-	-
bioinfo-3	-	-	-	-	-	-	-	-
bioinfo-4	-	-	-	-	-	-	-	-
SOL21	-	-	-	-	-	-	-	-

Test batch 4

Documents

System	Mean precision	Recall	F-Measure	MAP	GMAP
MQ-1	0.0870	0.1345	0.0800	0.1191	0.0010
MQ-2	0.0870	0.1345	0.0800	0.1191	0.0010
MQ-3	0.0870	0.1345	0.0800	0.1191	0.0010
bio-answerfinder	0.0456	0.0523	0.0423	0.0294	0.0001
MQ-4	0.0870	0.1345	0.0800	0.1191	0.0010
bio-answerfinder-2	0.0387	0.0401	0.0351	0.0120	0.0001
bio-answerfinder-3	0.0267	0.0162	0.0175	0.0074	0.0000
bio-answerfinder-4	0.0702	0.0655	0.0504	0.0432	0.0004
RYGH-1	0.1862	0.2133	0.1555	0.1823	0.0095
RYGH	0.2372	0.2672	0.1896	0.2358	0.0160
RYGH-4	0.2335	0.2648	0.1867	0.2322	0.0161
RYGH-5	0.1851	0.2334	0.1577	0.1849	0.0095
RYGH-3	0.2036	0.2432	0.1656	0.2105	0.0122
ULisboa-SRank	0.1853	0.0528	0.0763	0.0499	0.0002
ULisboa-SRank-2	0.1201	0.0308	0.0418	0.0317	0.0001
ULisboa-SRank-3	0.1201	0.0308	0.0418	0.0317	0.0001
ULisboa-SRank-4	0.0972	0.0218	0.0298	0.0221	0.0000
bioinfo-0	0.1259	0.1219	0.0962	0.1114	0.0013
bioinfo-4	0.1611	0.1811	0.1269	0.1720	0.0029
bioinfo-3	0.1667	0.1883	0.1325	0.1678	0.0039
bioinfo-1	0.1593	0.1801	0.1245	0.1699	0.0027
bioinfo-2	0.1648	0.1770	0.1270	0.1902	0.0023

Snippets

System	Mean precision	Recall	F-Measure	MAP	GMAP
MQ-1	0.1185	0.0936	0.0764	0.1160	0.0008
MQ-2	0.0924	0.0733	0.0619	0.0766	0.0005
MQ-3	0.1093	0.0915	0.0749	0.1032	0.0007
bio-answerfinder	0.0399	0.0265	0.0270	0.0197	0.0001
MQ-4	0.1269	0.0705	0.0762	0.0818	0.0010
bio-answerfinder-2	0.0399	0.0314	0.0270	0.0118	0.0001
bio-answerfinder-3	0.0230	0.0102	0.0132	0.0064	0.0000
bio-answerfinder-4	0.0557	0.0442	0.0388	0.0408	0.0002
RYGH-1	0.1720	0.1513	0.1235	0.1729	0.0044
RYGH	0.1943	0.1538	0.1355	0.1971	0.0033
RYGH-4	0.1894	0.1522	0.1335	0.1868	0.0029
RYGH-5	0.1697	0.1511	0.1236	0.1817	0.0041
RYGH-3	0.1707	0.1523	0.1225	0.1783	0.0037
ULisboa-SRank	0.1814	0.0922	0.1015	0.1062	0.0006
ULisboa-SRank-2	0.1711	0.1145	0.1045	0.1242	0.0011
ULisboa-SRank-3	0.1711	0.1145	0.1045	0.1242	0.0011
ULisboa-SRank-4	0.1280	0.0827	0.0709	0.0967	0.0005
bioinfo-0	-	-	-	-	-
bioinfo-4	-	-	-	-	-
bioinfo-3	-	-	-	-	-
bioinfo-1	-	-	-	-	-
bioinfo-2	-	-	-	-	-

Exact Answers

	Yes/No				Factoid			List
System	Macro F1	F1 Yes	F1 No	Accuracy	Strict Acc.	Lenient Acc.	MRR	Mean Prec.	Recall	F-Measure
MQ-1	0.5000	1.0000	-	1.0000	-	-	-	-	-	-
MQ-2	0.5000	1.0000	-	1.0000	-	-	-	-	-	-
MQ-3	0.5000	1.0000	-	1.0000	-	-	-	-	-	-
bio-answerfinder	0.4375	0.8750	-	0.7778	-	-	-	0.2083	0.3417	0.2260
MQ-4	0.5000	1.0000	-	1.0000	-	-	-	-	-	-
bio-answerfinder-2	0.4375	0.8750	-	0.7778	0.0000	0.1250	0.0625	0.2083	0.3417	0.2260
bio-answerfinder-3	0.4000	0.8000	-	0.6667	0.1250	0.2500	0.1875	0.0833	0.0833	0.0833
bio-answerfinder-4	0.3571	0.7143	-	0.5556	0.1250	0.2500	0.1667	0.2792	0.3000	0.2881
RYGH-1	0.4375	0.8750	-	0.7778	0.2500	0.5000	0.3438	0.3157	0.7667	0.4223
RYGH	0.5000	1.0000	-	1.0000	0.2500	0.5000	0.3438	0.3157	0.7667	0.4223
RYGH-4	0.4375	0.8750	-	0.7778	0.1250	0.2500	0.1875	0.3534	0.6833	0.4462
RYGH-5	0.4375	0.8750	-	0.7778	0.1250	0.3750	0.2292	0.6548	0.5500	0.4944
RYGH-3	0.4375	0.8750	-	0.7778	0.1250	0.5000	0.2708	0.5409	0.5500	0.4295
ULisboa-SRank	0.3571	0.7143	-	0.5556	0.0000	0.2500	0.1250	0.1357	0.1333	0.1326
ULisboa-SRank-2	0.3571	0.7143	-	0.5556	0.0000	0.2500	0.0833	0.1125	0.0917	0.1000
ULisboa-SRank-3	0.3571	0.7143	-	0.5556	0.0000	0.2500	0.0833	0.2292	0.1333	0.1667
ULisboa-SRank-4	0.3571	0.7143	-	0.5556	0.0000	0.2500	0.0833	0.0625	0.0500	0.0556
bioinfo-0	0.5000	1.0000	-	1.0000	-	-	-	-	-	-
bioinfo-4	0.5000	1.0000	-	1.0000	-	-	-	-	-	-
bioinfo-3	0.5000	1.0000	-	1.0000	-	-	-	-	-	-
bioinfo-1	0.5000	1.0000	-	1.0000	-	-	-	-	-	-
bioinfo-2	0.5000	1.0000	-	1.0000	-	-	-	-	-	-

Ideal Answers

	Automatic scores (Rouge - R)				Manual scores
System	R-2 (Rec)	R-2 (F1)	R-SU4 (Rec)	R-SU4 (F1)	Readability	Recall	Precision	Repetition
MQ-1	0.0629	0.0530	0.0659	0.0554	-	-	-	-
MQ-2	0.0395	0.0353	0.0439	0.0389	-	-	-	-
MQ-3	0.0709	0.0585	0.0746	0.0611	-	-	-	-
bio-answerfinder	0.1263	0.1072	0.1270	0.1068	-	-	-	-
MQ-4	0.0654	0.0550	0.0660	0.0555	-	-	-	-
bio-answerfinder-2	0.1398	0.1171	0.1422	0.1180	-	-	-	-
bio-answerfinder-3	0.1371	0.1202	0.1390	0.1213	-	-	-	-
bio-answerfinder-4	0.1329	0.1172	0.1352	0.1188	-	-	-	-
RYGH-1	-	-	-	-	-	-	-	-
RYGH	-	-	-	-	-	-	-	-
RYGH-4	-	-	-	-	-	-	-	-
RYGH-5	-	-	-	-	-	-	-	-
RYGH-3	-	-	-	-	-	-	-	-
ULisboa-SRank	-	-	-	-	-	-	-	-
ULisboa-SRank-2	-	-	-	-	-	-	-	-
ULisboa-SRank-3	-	-	-	-	-	-	-	-
ULisboa-SRank-4	-	-	-	-	-	-	-	-
bioinfo-0	-	-	-	-	-	-	-	-
bioinfo-4	-	-	-	-	-	-	-	-
bioinfo-3	-	-	-	-	-	-	-	-
bioinfo-1	-	-	-	-	-	-	-	-
bioinfo-2	-	-	-	-	-	-	-	-

Copyright © 2021, the BioASQ Challenge (http://bioasq.org)

Platinum sponsors of the BioASQ Challenge between 2012 and 2020

Google was a proud sponsor of the BioASQ Challenge in 2018, 2019 and 2020.
BioASQ was supported by the National Library of Medicine of the National Institutes of Health under award number R13LM012214. The content is solely the responsibility of the authors and does not necessarily represent the official views of the National Institutes of Health.
The research leading to these results has received funding from the European Commission's Seventh Framework Programme (FP7/2007-2013, ICT-2011.4.4(d), Intelligent Information Management, Targeted Competition Framework) under grant agreement n° 318652.