BioASQ Participants Area

Oracle: Results for task B-Phase B

The test results are presented in seperate tables for each type of annotation. The "System Description" of each system is used.
The evaluation measures that are used in Task B are presented here .

+ Task 1b, Test batch 1

	Yes/No	Factoid	List
Wishart-S1	0.9200	0.2222	0.2778	0.2778	0.3186	0.2147	0.2290
Wishart-S2	0.9200	0.2222	0.2778	0.2778	0.3186	0.2147	0.2290
Wishart-S3	0.9200	0.2222	0.3333	0.3056	0.3067	0.2082	0.2207
main system	0.3200	-	-	-	0.0037	0.0394	0.0066
BioASQ_Baseline	0.4400	-	-	-	0.0153	0.0402	0.0204
BioASQ Baseline FS	0.4800	-	-	-	0.0153	0.0402	0.0204
HPI-S2	-	-	-	-	-	-	-
UNCC System 1	0.8400	-	-	-	0.0115	0.1499	0.0209

	Automatic scores
Wishart-S1	0.2059	0.1463	0.2202	0.1522
Wishart-S2	0.2059	0.1463	0.2202	0.1522
Wishart-S3	0.2059	0.1463	0.2202	0.1522
main system	0.2165	0.1231	0.2396	0.1309
BioASQ_Baseline	0.2266	0.0735	0.2636	0.0843
BioASQ Baseline FS	0.1935	0.0628	0.2305	0.0745
HPI-S2	0.0872	0.1093	0.0915	0.1155
UNCC System 1	0.3032	0.1266	0.3276	0.1329

+ Task 1b, Test batch 2

	Yes/No	Factoid	List
main system	0.4231	-	-	-	0.0603	0.1040	0.0680
Wishart-S1	0.9615	0.2500	0.3000	0.3000	0.4060	0.3127	0.3336
system 2	0.4231	-	-	-	0.0437	0.0445	0.0414
system 3	0.4231	-	-	-	0.0644	0.0440	0.0488
system 4	0.4231	-	-	-	0.0644	0.0440	0.0488
BioASQ_Baseline	0.2692	-	-	-	0.0612	0.2062	0.0789
BioASQ Baseline FS	0.5000	-	-	-	0.0612	0.2062	0.0789
UNCC System 1	0.8077	-	-	-	0.0065	0.1243	0.0120
lalala	-	-	-	-	-	-	-

	Automatic scores
main system	0.2122	0.0795	0.2596	0.0890
Wishart-S1	0.2106	0.1197	0.2387	0.1292
system 2	0.2204	0.0826	0.2659	0.0899
system 3	0.2152	0.0809	0.2592	0.0886
system 4	0.2152	0.0809	0.2592	0.0886
BioASQ_Baseline	0.2074	0.0573	0.2533	0.0675
BioASQ Baseline FS	0.2052	0.0563	0.2577	0.0663
UNCC System 1	0.3319	0.1079	0.3596	0.1114
lalala	-	-

+ Task 1b, Test batch 3

	Yes/No	Factoid	List
main system	0.5769	-	-	-	0.0671	0.1013	0.0727
system 2	0.5769	-	-	-	0.0642	0.0580	0.0575
system 3	0.5769	-	-	-	0.0594	0.0399	0.0450
BioASQ_Baseline	0.6538	-	-	-	0.0209	0.0635	0.0278
BioASQ Baseline FS	0.6154	-	-	-	0.0209	0.0635	0.0278

	Automatic scores
main system	0.2563	0.0885	0.2828	0.0912
system 2	0.2505	0.0876	0.2806	0.0910
system 3	0.2555	0.0884	0.2835	0.0916
BioASQ_Baseline	0.2670	0.0558	0.2982	0.0596
BioASQ Baseline FS	0.2547	0.0534	0.2941	0.0587

+ Task 2b, Test batch 1

	Yes/No	Factoid	List
main system	0.5938	0.0400	0.1600	0.1000	-	-	-
Biomedical Text Ming	0.9375	0.1600	0.1600	0.1600	0.0572	0.0702	0.0614
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
system 2	0.9375	0.0400	0.1600	0.1000	-	-	-
Wishart-S3	0.8438	0.4400	0.4800	0.4600	0.4478	0.3335	0.3456
Wishart-S2	0.8438	0.4400	0.4800	0.4600	0.4774	0.3335	0.3621
system 3	0.9375	0.0400	0.1600	0.1000	-	-	-
BioASQ_Baseline	0.5313	-	-	-	0.0418	0.0766	0.0501
BioASQ Baseline FS	0.5000	-	-	-	0.0418	0.0766	0.0501
HPI Master Project	0.8750	-	-	-	0.0080	0.0136	0.0084
UNCC System 1	0.9375	-	-	-	0.0073	0.0681	0.0130

	Automatic scores
main system	0.4387	0.1381	0.4538	0.1281
Biomedical Text Ming	0.1724	0.1301	0.1823	0.1278
SNUMedinfo1	0.4065	0.1907	0.4100	0.1808
SNUMedinfo2	0.3778	0.1855	0.3793	0.1736
SNUMedinfo3	0.4971	0.1698	0.4971	0.1562
SNUMedinfo4	0.3529	0.1686	0.3542	0.1583
SNUMedinfo5	0.4602	0.1588	0.4679	0.1477
system 2	0.4400	0.1384	0.4544	0.1282
Wishart-S3	0.4802	0.1724	0.4814	0.1602
Wishart-S2	0.4802	0.1724	0.4814	0.1602
system 3	0.4395	0.1383	0.4535	0.1281
BioASQ_Baseline	0.3741	0.0744	0.3943	0.0727
BioASQ Baseline FS	0.3622	0.0758	0.3970	0.0765
HPI Master Project	0.0222	0.0344	0.0294	0.0444
UNCC System 1	0.5313	0.1454	0.5326	0.1334

+ Task 2b, Test batch 2

	Yes/No	Factoid	List
Biomedical Text Ming	0.8214	-	-	-	0.1596	0.2057	0.1618
main system	0.8214	0.0435	0.1739	0.0942	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
system 2	0.8214	0.0435	0.1739	0.0942	-	-	-
system 3	0.8214	0.0435	0.1739	0.0942	-	-	-
system 4	0.7500	0.0435	0.1739	0.0942	-	-	-
Wishart-S1	0.9286	0.1304	0.1304	0.1304	0.4396	0.4739	0.4122
Wishart-S2	0.9286	0.1304	0.1304	0.1304	0.5120	0.4399	0.4261
system 5	0.7143	0.0435	0.1739	0.0942	-	-	-
BioASQ_Baseline	0.5000	-	-	-	0.1083	0.0962	0.0951
BioASQ Baseline FS	0.3929	-	-	-	0.1083	0.0962	0.0951
UNCC System 1	0.8214	-	-	-	0.0118	0.1974	0.0219

	Automatic scores
Biomedical Text Ming	0.1846	0.1638	0.1948	0.1669
main system	0.3280	0.1224	0.3411	0.1225
SNUMedinfo2	0.3157	0.1794	0.3198	0.1751
SNUMedinfo1	0.3169	0.1829	0.3225	0.1792
SNUMedinfo3	0.3116	0.1829	0.3174	0.1794
SNUMedinfo4	0.2910	0.1792	0.2973	0.1761
SNUMedinfo5	0.2894	0.1677	0.2982	0.1663
system 2	0.3247	0.1184	0.3392	0.1186
system 3	0.3352	0.1252	0.3493	0.1255
system 4	0.3282	0.1219	0.3419	0.1223
Wishart-S1	0.3914	0.1533	0.4089	0.1541
Wishart-S2	0.3914	0.1533	0.4089	0.1541
system 5	0.3231	0.1185	0.3385	0.1191
BioASQ_Baseline	0.3183	0.0813	0.3577	0.0884
BioASQ Baseline FS	0.3121	0.0840	0.3359	0.0877
UNCC System 1	0.4075	0.1404	0.4258	0.1399

+ Task 2b, Test batch 3

	Yes/No	Factoid	List
Biomedical Text Ming	0.8333	0.0417	0.1250	0.0833	0.1195	0.1780	0.1373
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
Wishart-S1	0.8889	0.0417	0.0833	0.0556	0.4584	0.3763	0.3909
main system	0.8333	-	-	-	-	-	-
Asclepius	0.8333	0.0417	0.0417	0.0417	-	-	-
BioASQ_Baseline	0.7222	-	-	-	0.1010	0.2340	0.1114
BioASQ Baseline FS	0.6111	-	-	-	0.1010	0.2340	0.1114
Lab Zhu ,Fdan Univer	0.8333	0.0417	0.2083	0.0931	0.0947	0.3322	0.1403
UNCC System 1	0.8333	-	-	-	0.0154	0.1522	0.0269

	Automatic scores
Biomedical Text Ming	0.2134	0.1564	0.2190	0.1524
SNUMedinfo1	0.3382	0.1769	0.3446	0.1723
SNUMedinfo2	0.3560	0.1860	0.3605	0.1789
SNUMedinfo3	0.3321	0.1793	0.3385	0.1746
SNUMedinfo4	0.3307	0.1857	0.3369	0.1808
SNUMedinfo5	0.3343	0.1654	0.3407	0.1597
Wishart-S1	0.4331	0.1582	0.4427	0.1525
main system	0.4282	0.1552	0.4386	0.1501
Asclepius	-	-
BioASQ_Baseline	0.3319	0.0698	0.3564	0.0711
BioASQ Baseline FS	0.3219	0.0630	0.3589	0.0679
Lab Zhu ,Fdan Univer	0.2046	0.2032	0.2092	0.1963
UNCC System 1	0.4731	0.1662	0.4754	0.1577

+ Task 2b, Test batch 4

	Yes/No	Factoid	List
Hippocrates	0.8750	0.0625	0.1875	0.1120	-	-	-
Asclepius	0.8750	0.0625	0.2188	0.1354	-	-	-
Biomedical Text Ming	0.8750	0.0938	0.1250	0.1042	-	-	-
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
Wishart-S1	0.9375	0.2500	0.2813	0.2813	0.2659	0.4029	0.2963
BioASQ_Baseline	0.5000	-	-	-	0.1233	0.1365	0.1062
BioASQ Baseline FS	0.3438	-	-	-	0.1233	0.1365	0.1062
UNCC System 1	0.8750	-	-	-	0.0180	0.0863	0.0286

	Automatic scores
Hippocrates	-	-
Asclepius	-	-
Biomedical Text Ming	0.1796	0.1518	0.1938	0.1560
SNUMedinfo1	0.2963	0.1746	0.3158	0.1788
SNUMedinfo2	0.2858	0.1687	0.3087	0.1735
SNUMedinfo3	0.2927	0.1743	0.3130	0.1790
SNUMedinfo4	0.2756	0.1737	0.2968	0.1794
SNUMedinfo5	0.3164	0.1934	0.3384	0.1977
Wishart-S1	0.4072	0.1606	0.4295	0.1596
BioASQ_Baseline	0.3273	0.0833	0.3677	0.0888
BioASQ Baseline FS	0.3075	0.0814	0.3569	0.0874
UNCC System 1	0.4201	0.1404	0.4458	0.1416

+ Task 2b, Test batch 5

	Yes/No	Factoid	List
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
Biomedical Text Ming	1.0000	0.1379	0.1724	0.1466	-	-	-
Asclepius	0.8333	0.0345	0.0690	0.0460	-	-	-
BioASQ_Baseline	0.3750	-	-	-	0.1548	0.1665	0.1319
BioASQ Baseline FS	0.4583	-	-	-	0.1548	0.1665	0.1319
UNCC System 1	1.0000	-	-	-	0.0098	0.1183	0.0177

	Automatic scores
SNUMedinfo1	0.2929	0.1558	0.3178	0.1591
SNUMedinfo2	0.2945	0.1575	0.3185	0.1613
SNUMedinfo3	0.2895	0.1581	0.3146	0.1616
SNUMedinfo4	0.2765	0.1633	0.2984	0.1664
SNUMedinfo5	0.2919	0.1509	0.3163	0.1547
Biomedical Text Ming	0.1685	0.1386	0.1817	0.1429
Asclepius	-	-
BioASQ_Baseline	0.3297	0.0773	0.3599	0.0845
BioASQ Baseline FS	0.3366	0.0736	0.3639	0.0827
UNCC System 1	0.3967	0.1429	0.4180	0.1444

+ Task 3b, Test batch 1

	Yes/No	Factoid	List
HPI-S2	0.6667	-	-	-	0.0327	0.0830	0.0424
auth-qa-1	0.8485	0.1154	0.1154	0.1154	-	-	-
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
ilsp.aueb.1	-	-	-	-	-	-	-
ilsp.aueb.2	-	-	-	-	-	-	-
fdu	0.8485	0.1154	0.2692	0.1744	0.0958	0.4312	0.1520
fdu2	0.8485	0.1154	0.2692	0.1744	0.0958	0.4312	0.1520
fdu3	0.8485	0.1154	0.2692	0.1744	0.0931	0.4085	0.1472
fdu4	0.8485	0.1538	0.3077	0.2128	0.0681	0.4998	0.1166
main system	0.8485	0.1923	0.3846	0.2641	0.1841	0.2597	0.1987
BioASQ_Baseline	0.4545	-	-	-	-	-	-
BioASQ Baseline FS	0.5455	-	-	-	-	-	-
Lab Zhu ,Fdan Univer	0.8485	0.2308	0.3077	0.2481	0.1255	0.5791	0.1823
Question Summary	-	-	-	-	-	-	-
test json format	0.8485	-	-	-	0.0265	0.0149	0.0170
test oracle format	0.8485	-	-	-	0.1179	0.1944	0.1408
UNCC System 1	0.8485	0.0769	0.1154	0.0897	0.0122	0.2364	0.0228

	Automatic scores
HPI-S2	0.1897	0.1596	0.2015	0.1636
auth-qa-1	-	-
SNUMedinfo1	0.3413	0.2651	0.3550	0.2699
SNUMedinfo2	0.3459	0.2699	0.3585	0.2731
SNUMedinfo3	0.3386	0.2710	0.3524	0.2747
SNUMedinfo4	0.2942	0.2543	0.3076	0.2585
SNUMedinfo5	0.3139	0.2658	0.3270	0.2700
ilsp.aueb.1	0.3894	0.1055	0.4144	0.1090
ilsp.aueb.2	0.4183	0.1142	0.4387	0.1165
fdu	0.2801	0.2142	0.2811	0.2098
fdu2	0.2932	0.2142	0.3045	0.2127
fdu3	0.2881	0.1895	0.3076	0.1974
fdu4	0.2881	0.1895	0.3076	0.1974
main system	0.3076	0.1473	0.3209	0.1483
BioASQ_Baseline	0.4053	0.1104	0.4267	0.1133
BioASQ Baseline FS	0.3789	0.0994	0.3985	0.1018
Lab Zhu ,Fdan Univer	0.2490	0.1864	0.2614	0.1864
Question Summary	0.0635	0.0950	0.0663	0.0988
test json format	0.0645	0.0396	0.0620	0.0359
test oracle format	0.0674	0.0423	0.0653	0.0389
UNCC System 1	0.5240	0.2008	0.5368	0.1964

+ Task 3b, Test batch 2

	Yes/No	Factoid	List
main system	0.8125	0.1250	0.1875	0.1510	0.1149	0.1798	0.1356
system 2	0.8125	0.0938	0.1875	0.1260	0.1149	0.1798	0.1356
system 3	0.8125	0.0625	0.2500	0.1391	0.1149	0.1798	0.1356
auth-qa-1	0.8125	0.0313	0.0313	0.0313	0.0357	0.0089	0.0143
ilsp.aueb.1	-	-	-	-	-	-	-
ilsp.aueb.2	-	-	-	-	-	-	-
HPI-S2	0.5625	-	-	-	0.0714	0.0161	0.0262
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
fdu4	0.8125	0.0313	0.1563	0.0859	0.0828	0.3772	0.1280
fdu2	0.8125	0.0625	0.1875	0.1172	0.0828	0.3772	0.1280
fdu	0.8125	0.0625	0.1875	0.1172	0.0828	0.3772	0.1280
fdu3	0.8125	0.0625	0.1875	0.1172	0.0829	0.3772	0.1281
fdu5	0.7500	0.0313	0.0313	0.0313	0.0007	0.0083	0.0013
qaiiit system 1	-	-	-	-	-	-	-
BioASQ_Baseline	0.3125	-	-	-	0.0357	0.0089	0.0143
BioASQ Baseline FS	0.4375	-	-	-	0.0357	0.0089	0.0143
UNCC System 1	-	-	-	-	-	-	-

	Automatic scores
main system	0.2968	0.1322	0.3055	0.1312
system 2	0.2984	0.1326	0.3069	0.1313
system 3	0.2983	0.1324	0.3080	0.1314
auth-qa-1	-	-
ilsp.aueb.1	0.3852	0.1043	0.4160	0.1072
ilsp.aueb.2	0.3989	0.1081	0.4368	0.1113
HPI-S2	0.2063	0.1664	0.2243	0.1757
SNUMedinfo1	0.3953	0.2866	0.4114	0.2847
SNUMedinfo2	0.3897	0.2828	0.4073	0.2835
SNUMedinfo3	0.3918	0.2909	0.4087	0.2911
SNUMedinfo4	0.3509	0.2902	0.3708	0.2923
SNUMedinfo5	0.3641	0.2937	0.3848	0.2946
fdu4	0.2604	0.1770	0.2859	0.1850
fdu2	0.2590	0.1761	0.2853	0.1846
fdu	0.2590	0.1761	0.2853	0.1846
fdu3	0.2604	0.1770	0.2859	0.1850
fdu5	-	-
qaiiit system 1	0.3081	0.1657	0.3353	0.1710
BioASQ_Baseline	0.4570	0.1251	0.4772	0.1247
BioASQ Baseline FS	0.4105	0.1146	0.4388	0.1153
UNCC System 1	0.5451	0.1894	0.5674	0.1852

+ Task 3b, Test batch 3

	Yes/No	Factoid	List
HPI-S2	0.6207	-	-	-	-	-	-
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
main system	0.9655	0.1923	0.2692	0.2308	0.1529	0.1765	0.1587
system 2	0.9655	0.0385	0.1538	0.0897	0.1529	0.1765	0.1587
system 3	0.9655	0.1538	0.2692	0.1987	0.1529	0.1765	0.1587
auth-qa-1	0.9655	0.0385	0.0769	0.0577	-	-	-
ilsp.aueb.1	-	-	-	-	-	-	-
ilsp.aueb.2	-	-	-	-	-	-	-
ilsp.aueb.3	-	-	-	-	-	-	-
fdu4	0.9655	0.0769	0.1154	0.0962	0.0175	0.2735	0.0324
oaqa-3b-3	0.0345	0.1538	0.3462	0.2321	0.0520	0.7383	0.0940
oaqa-3b-3-e	0.0345	0.1538	0.3462	0.2321	0.0594	0.8130	0.1072
fdu2	0.6207	0.1154	0.1923	0.1359	0.0851	0.3964	0.1353
fdu3	0.6207	0.1154	0.1923	0.1359	0.0851	0.3964	0.1353
fdu5	0.9655	0.0385	0.0385	0.0385	0.0722	0.1775	0.0390
fdu	0.6207	0.1154	0.1923	0.1359	0.1008	0.4993	0.1608
BioASQ_Baseline	0.3448	-	-	-	-	-	-
BioASQ Baseline FS	0.4828	-	-	-	-	-	-
LabZhu,FDU	0.9655	0.3077	0.3077	0.3077	0.1135	0.5679	0.1740
UNCC System 1	0.9655	0.0385	0.1538	0.0865	0.0191	0.2969	0.0341

	Automatic scores
HPI-S2	0.2131	0.1979	0.2360	0.2100
SNUMedinfo1	0.4379	0.3338	0.4468	0.3339
SNUMedinfo2	0.4363	0.3344	0.4448	0.3343
SNUMedinfo3	0.4320	0.3349	0.4407	0.3344
SNUMedinfo4	0.4016	0.3349	0.4128	0.3344
SNUMedinfo5	0.4121	0.3360	0.4238	0.3359
main system	0.3158	0.1459	0.3389	0.1484
system 2	0.3154	0.1459	0.3396	0.1490
system 3	0.3100	0.1445	0.3341	0.1475
auth-qa-1	-	-
ilsp.aueb.1	0.4573	0.1479	0.4863	0.1486
ilsp.aueb.2	0.5165	0.1651	0.5459	0.1649
ilsp.aueb.3	0.4755	0.1531	0.5072	0.1540
fdu4	-	-
oaqa-3b-3	-	-
oaqa-3b-3-e	-	-
fdu2	0.3276	0.2714	0.3467	0.2770
fdu3	0.3276	0.2714	0.3467	0.2770
fdu5	-	-
fdu	0.3679	0.2696	0.3933	0.2787
BioASQ_Baseline	0.4518	0.1455	0.4775	0.1467
BioASQ Baseline FS	0.4772	0.1506	0.5005	0.1516
LabZhu,FDU	0.2820	0.2341	0.2868	0.2346
UNCC System 1	0.5994	0.2422	0.6128	0.2364

+ Task 3b, Test batch 4

	Yes/No	Factoid	List
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
HPI-S2	0.5600	0.0345	0.0345	0.0345	0.1522	0.0473	0.0689
main system	0.9600	0.2414	0.4828	0.3374	0.1391	0.1453	0.1335
system 2	0.9600	0.2069	0.4483	0.3029	0.1391	0.1453	0.1335
system 3	0.9600	0.2414	0.3793	0.2897	0.1391	0.1453	0.1335
ilsp.aueb.1	-	-	-	-	-	-	-
ilsp.aueb.2	-	-	-	-	-	-	-
ilsp.aueb.3	-	-	-	-	-	-	-
oaqa-3b-4	0.9600	0.4138	0.6552	0.5098	0.3836	0.3450	0.3155
fdu4	0.8800	0.1724	0.3448	0.2471	0.1446	0.5475	0.2189
fdu	0.8800	0.1724	0.3448	0.2471	0.1446	0.5475	0.2189
fdu2	0.9600	0.1724	0.3448	0.2471	0.1446	0.5475	0.2189
fdu3	0.9600	0.1724	0.3448	0.2471	0.1446	0.5475	0.2189
auth-qa-1	0.9600	0.0690	0.2069	0.1236	-	-	-
BioASQ_Baseline	0.3600	-	-	-	-	-	-
BioASQ Baseline FS	0.4000	-	-	-	-	-	-
Lab Zhu ,Fdan Univer	0.9600	0.2414	0.4138	0.3115	0.1232	0.4525	0.1827
LabZhu,FDU	0.9600	0.2414	0.4138	0.3115	0.1348	0.4303	0.1937
LabZhu_FDU	0.9600	0.2414	0.4138	0.3115	0.1467	0.4092	0.2039
LabZhu-FDU	0.9600	0.2414	0.3793	0.2943	0.1630	0.4470	0.2251
UNCC System 1	0.9600	0.0345	0.1379	0.0805	0.0139	0.1570	0.0251

	Automatic scores
SNUMedinfo1	0.4018	0.3304	0.4107	0.3291
SNUMedinfo2	0.4250	0.3352	0.4323	0.3327
SNUMedinfo3	0.3969	0.3306	0.4036	0.3284
SNUMedinfo4	0.3747	0.3282	0.3816	0.3269
SNUMedinfo5	0.3879	0.3337	0.3948	0.3320
HPI-S2	0.2672	0.2228	0.2872	0.2326
main system	0.3430	0.1372	0.3545	0.1375
system 2	0.3387	0.1330	0.3509	0.1337
system 3	0.3380	0.1318	0.3490	0.1322
ilsp.aueb.1	0.4416	0.1294	0.4631	0.1316
ilsp.aueb.2	0.4672	0.1364	0.4927	0.1387
ilsp.aueb.3	0.4441	0.1306	0.4699	0.1336
oaqa-3b-4	-	-
fdu4	0.3260	0.2293	0.3338	0.2295
fdu	0.2490	0.2035	0.2588	0.2041
fdu2	0.2490	0.2035	0.2588	0.2041
fdu3	0.3260	0.2293	0.3338	0.2295
auth-qa-1	-	-
BioASQ_Baseline	0.4672	0.1375	0.4891	0.1381
BioASQ Baseline FS	0.4322	0.1301	0.4495	0.1304
Lab Zhu ,Fdan Univer	0.2455	0.1993	0.2635	0.2064
LabZhu,FDU	0.2455	0.1993	0.2635	0.2064
LabZhu_FDU	0.2455	0.1993	0.2635	0.2064
LabZhu-FDU	0.2455	0.1993	0.2635	0.2064
UNCC System 1	0.5848	0.2132	0.5950	0.2090

+ Task 3b, Test batch 5

	Yes/No	Factoid	List
auth-qa-1	0.6786	0.1364	0.1818	0.1455	-	-	-
main system	0.6786	0.0455	0.1364	0.0720	0.1139	0.1757	0.1293
system 2	0.6786	0.0455	0.2727	0.1303	0.1139	0.1757	0.1293
system 3	0.6786	0.0909	0.1364	0.1061	0.1139	0.1757	0.1293
ilsp.aueb.1	-	-	-	-	-	-	-
ilsp.aueb.2	-	-	-	-	-	-	-
ilsp.aueb.3	-	-	-	-	-	-	-
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
fdu	0.7143	0.2273	0.2727	0.2500	0.0914	0.4146	0.1376
fdu2	0.6786	0.2273	0.2727	0.2500	0.0935	0.4146	0.1404
fdu3	0.6786	0.2273	0.2727	0.2500	0.0914	0.4146	0.1376
fdu4	0.7143	0.2273	0.2727	0.2500	0.0914	0.4146	0.1376
HPI-S2	0.3571	0.0909	0.0909	0.0909	0.0625	0.0292	0.0397
oaqa-3b-4	0.6786	0.2273	0.3182	0.2727	0.1704	0.1139	0.1296
oaqa-3b-5	0.6786	0.2273	0.3182	0.2727	0.1643	0.2538	0.1860
YodaQA_base	0.6786	0.1818	0.2273	0.2045	0.1514	0.2132	0.1580
BioASQ_Baseline	0.7143	0.0455	0.0455	0.0455	-	-	-
BioASQ Baseline FS	0.6429	0.0455	0.0455	0.0455	-	-	-
Lab Zhu ,Fdan Univer	0.6786	0.2273	0.2727	0.2500	0.0510	0.1486	0.0720
UNCC System 1	0.6786	0.0909	0.1364	0.1023	0.0016	0.0365	0.0031

	Automatic scores
auth-qa-1	-	-
main system	0.3880	0.2626	0.4000	0.2583
system 2	0.3914	0.2639	0.4032	0.2597
system 3	0.3901	0.2639	0.3980	0.2593
ilsp.aueb.1	0.3959	0.2084	0.4256	0.2147
ilsp.aueb.2	0.3959	0.2084	0.4256	0.2147
ilsp.aueb.3	0.3705	0.1946	0.4032	0.2024
SNUMedinfo1	0.3825	0.3596	0.3899	0.3580
SNUMedinfo2	0.3971	0.3643	0.4033	0.3619
SNUMedinfo3	0.3780	0.3552	0.3841	0.3532
SNUMedinfo4	0.3488	0.3438	0.3559	0.3421
SNUMedinfo5	0.3567	0.3505	0.3639	0.3489
fdu	0.2261	0.2234	0.2309	0.2242
fdu2	0.2261	0.2234	0.2309	0.2242
fdu3	0.3172	0.2837	0.3316	0.2860
fdu4	0.3172	0.2837	0.3316	0.2860
HPI-S2	0.1629	0.1936	0.1711	0.1945
oaqa-3b-4	-	-
oaqa-3b-5	-	-
YodaQA_base	-	-
BioASQ_Baseline	0.4038	0.2098	0.4313	0.2140
BioASQ Baseline FS	0.3540	0.1815	0.3862	0.1895
Lab Zhu ,Fdan Univer	0.3300	0.2220	0.3336	0.2199
UNCC System 1	0.5651	0.3556	0.5672	0.3438

+ Task 4b, Test batch 1

	Yes/No	Factoid	List
auth-qa-1	0.9643	0.1026	0.1538	0.1218	0.1364	0.2636	0.1677
WS4A	0.1071	0.0256	0.0256	0.0256	0.0844	0.1591	0.1090
HPI-S2	0.2500	-	-	-	-	-	-
UNCC System 1	0.9643	0.0256	0.1026	0.0521	0.0051	0.0909	0.0096
auth-qa-3	0.9643	0.0513	0.2308	0.1128	0.1545	0.6045	0.2394
auth-qa-4	0.9643	0.1026	0.2308	0.1496	0.2364	0.4879	0.3064
auth-qa-2	0.9643	0.1026	0.2308	0.1496	0.1965	0.5818	0.2784

	Automatic scores
auth-qa-1	-	-
WS4A	0.0535	0.0674	0.0526	0.0662
HPI-S2	0.2354	0.1422	0.2544	0.1498
UNCC System 1	0.6918	0.3180	0.7024	0.3073
auth-qa-3	-	-
auth-qa-4	-	-
auth-qa-2	-	-

+ Task 4b, Test batch 2

	Yes/No	Factoid	List
WS4A	0.0938	-	-	-	0.0985	0.1425	0.1023
auth-qa-1	0.9063	0.0645	0.1613	0.1075	0.1429	0.1155	0.1213
Lab Zhu,Fudan Univer	0.9063	0.1935	0.2258	0.2097	0.1106	0.3492	0.1550
LabZhu,FDU	0.9063	0.1935	0.2258	0.2097	0.1031	0.3492	0.1444
HPI-S2	-	-	-	-	-	-	-
LabZhu_FDU	0.0938	0.1935	0.2258	0.2097	0.1031	0.3492	0.1444
Lab Zhu ,Fdan Univer	0.9063	0.1935	0.2258	0.2097	0.1052	0.3492	0.1474
LabZhu-FDU	0.9063	0.1935	0.2581	0.2258	0.1038	0.3492	0.1454
UNCC System 1	0.9063	0.0323	0.0645	0.0403	0.0311	0.2525	0.0509
auth-qa-2	0.9063	0.0968	0.3226	0.1909	0.1524	0.3055	0.1926
auth-qa-4	0.9063	0.0968	0.3226	0.1935	0.1524	0.1506	0.1433

	Automatic scores
WS4A	0.0322	0.0442	0.0300	0.0420
auth-qa-1	-	-
Lab Zhu,Fudan Univer	0.3354	0.3068	0.3384	0.3063
LabZhu,FDU	0.3354	0.3068	0.3384	0.3063
HPI-S2	0.2583	0.1380	0.2910	0.1477
LabZhu_FDU	0.3354	0.3068	0.3384	0.3063
Lab Zhu ,Fdan Univer	0.3354	0.3068	0.3384	0.3063
LabZhu-FDU	0.3354	0.3068	0.3384	0.3063
UNCC System 1	0.6777	0.2829	0.6897	0.2742
auth-qa-2	-	-
auth-qa-4	-	-

+ Task 4b, Test batch 3

	Yes/No	Factoid	List
auth-qa-1	0.9600	0.1154	0.1923	0.1442	0.2500	0.2873	0.2580
Lab Zhu ,Fdan Univer	0.9600	0.1923	0.2692	0.2192	0.1450	0.5929	0.2181
LabZhu,FDU	0.9600	0.1923	0.2692	0.2192	0.1444	0.6214	0.2176
oaqa-3b-3	0.5200	0.2308	0.2692	0.2436	0.5396	0.5008	0.4828
LabZhu_FDU	0.9600	0.1923	0.2692	0.2192	0.1420	0.5929	0.2132
LabZhu-FDU	0.0400	0.1923	0.2692	0.2192	0.1420	0.5929	0.2132
Lab Zhu,Fudan Univer	0.9600	0.1923	0.2692	0.2192	0.1455	0.5770	0.2185
HPI-S2	-	-	-	-	-	-	-
WS4A	0.2400	0.0385	0.0385	0.0385	0.1172	0.2817	0.1609
UNCC System 1	0.9600	-	-	-	0.0417	0.3667	0.0729
auth-qa-2	0.9600	0.1923	0.3462	0.2596	0.2048	0.6135	0.3001

	Automatic scores
auth-qa-1	-	-
Lab Zhu ,Fdan Univer	0.3312	0.3041	0.3420	0.3049
LabZhu,FDU	0.3312	0.3041	0.3420	0.3049
oaqa-3b-3	-	-
LabZhu_FDU	0.3312	0.3041	0.3420	0.3049
LabZhu-FDU	0.3312	0.3041	0.3420	0.3049
Lab Zhu,Fudan Univer	0.3312	0.3041	0.3420	0.3049
HPI-S2	0.2903	0.1712	0.3146	0.1782
WS4A	0.0874	0.1135	0.0857	0.1120
UNCC System 1	0.6364	0.2978	0.6527	0.2879
auth-qa-2	-	-

+ Task 4b, Test batch 4

	Yes/No	Factoid	List
Lab Zhu ,Fdan Univer	0.9524	0.0968	0.1935	0.1371	0.1970	0.2258	0.1711
Lab Zhu,Fudan Univer	0.9524	0.0968	0.1935	0.1371	0.2169	0.2925	0.1986
HPI-S2	-	-	-	-	-	-	-
oaqa-3b-4	0.6667	0.2903	0.3871	0.3253	0.2478	0.5494	0.3115
LabZhu,FDU	0.9524	0.0968	0.1935	0.1371	0.2095	0.2925	0.1908
auth-qa-1	0.9524	0.0323	0.1935	0.0806	0.0333	0.0444	0.0381
Oaqa5b-tfidf	-	-	-	-	-	-	-
UNCC System 1	0.9524	0.0323	0.0323	0.0323	0.0162	0.2717	0.0293
auth-qa-2	0.9524	0.2903	0.4194	0.3414	0.2067	0.5887	0.2868

	Automatic scores
Lab Zhu ,Fdan Univer	0.3363	0.3145	0.3308	0.3064
Lab Zhu,Fudan Univer	0.3363	0.3145	0.3308	0.3064
HPI-S2	0.2525	0.1618	0.2701	0.1666
oaqa-3b-4	-	-
LabZhu,FDU	0.3363	0.3145	0.3308	0.3064
auth-qa-1	-	-
Oaqa5b-tfidf	0.6658	0.2626	0.6606	0.2524
UNCC System 1	0.7196	0.3095	0.7177	0.2960
auth-qa-2	-	-

+ Task 4b, Test batch 5

	Yes/No	Factoid	List
auth-qa-1	1.0000	0.0606	0.1212	0.0833	0.0875	0.0830	0.0835
Lab Zhu ,Fdan Univer	1.0000	0.1818	0.3333	0.2475	0.0938	0.3479	0.1417
Lab Zhu,Fudan Univer	1.0000	0.2121	0.3030	0.2475	0.1596	0.2188	0.1493
HPI-S2	-	-	-	-	-	-	-
oaqa-3b-5	0.7407	0.2121	0.3939	0.2854	0.2662	0.4170	0.2897
oaqa-3b-5-e	1.0000	0.2121	0.3939	0.2854	0.2165	0.3754	0.2597
LabZhu,FDU	1.0000	0.2121	0.3030	0.2475	0.1636	0.2111	0.1507
LabZhu_FDU	1.0000	0.1818	0.3333	0.2475	0.1036	0.3302	0.1502
LabZhu-FDU	1.0000	0.1818	0.3333	0.2475	0.0854	0.3579	0.1328
WS4A	0.2593	-	-	-	0.0589	0.0698	0.0560
test oracle format	1.0000	-	-	-	0.1715	0.2175	0.1795
UNCC System 1	1.0000	0.0606	0.0909	0.0707	0.0321	0.2164	0.0545
auth-qa-2	1.0000	0.1515	0.3636	0.2273	0.1750	0.4065	0.2304
summary	-	-	-	-	-	-	-

	Automatic scores
auth-qa-1	-	-
Lab Zhu ,Fdan Univer	0.4762	0.4734	0.4711	0.4645
Lab Zhu,Fudan Univer	0.4762	0.4734	0.4711	0.4645
HPI-S2	0.3541	0.2067	0.3799	0.2114
oaqa-3b-5	-	-
oaqa-3b-5-e	-	-
LabZhu,FDU	0.4762	0.4734	0.4711	0.4645
LabZhu_FDU	0.4762	0.4734	0.4711	0.4645
LabZhu-FDU	0.4762	0.4734	0.4711	0.4645
WS4A	0.0625	0.0786	0.0583	0.0733
test oracle format	0.0192	0.0198	0.0183	0.0189
UNCC System 1	0.7266	0.3259	0.7250	0.3130
auth-qa-2	-	-
summary	0.5011	0.6105	0.4882	0.5984

+ Task 5b, Test batch 1

	Yes/No	Factoid	List
MQ-1	0.8824	-	-	-	-	-	-
MQ-2	0.8824	-	-	-	-	-	-
Deep QA (single)	-	0.5200	0.6000	0.5600	0.3269	0.4393	0.3365
Deep QA (ensemble)	-	0.5600	0.6800	0.6033	0.3106	0.4164	0.3341
auth-qa-1	0.8824	0.1200	0.1200	0.1200	-	-	-
sarrouti	0.7647	0.1200	0.2800	0.1833	0.1909	0.2539	0.2073
Olelo-GS	0.7647	0.0400	0.0400	0.0400	0.0402	0.1061	0.0477
Olelo	0.8235	0.0400	0.0400	0.0400	0.0193	0.0492	0.0240
HPI_SRL	0.8824	-	-	-	0.0045	0.0027	0.0034
limsi-reader-UMLS-r1	0.6471	0.0800	0.2000	0.1267	0.0523	0.0508	0.0500
MQ-3	0.8824	-	-	-	-	-	-
MQ-4	0.8824	-	-	-	-	-	-
Lab Zhu ,Fdan Univer	0.8824	0.4000	0.4400	0.4200	0.1489	0.4619	0.2068
SemanticRoleLabeling	0.8824	-	-	-	0.1119	0.1301	0.1158
Lab Zhu,Fudan Univer	0.8824	0.4000	0.4400	0.4200	0.1467	0.3782	0.1965
BioASQ_Baseline	0.3529	0.2800	0.4000	0.3333	0.2658	0.4715	0.3103
auth-qa-2	0.8824	0.3600	0.5200	0.4200	0.1682	0.4869	0.2399
auth-qa-3	0.8824	0.3600	0.4800	0.4133	0.2337	0.4749	0.3004
UNCC System 2	0.8824	0.1200	0.1600	0.1333	0.0241	0.3252	0.0441
124M FT	-	-	-	-	-	-	-
system of teamdaiict	-	-	-	-	-	-	-

	Automatic scores
MQ-1	0.5470	0.3428	0.5599	0.3367
MQ-2	0.5131	0.3211	0.5221	0.3135
Deep QA (single)	-	-
Deep QA (ensemble)	-	-
auth-qa-1	-	-
sarrouti	0.5087	0.3600	0.5247	0.3577
Olelo-GS	0.3081	0.1444	0.3362	0.1510
Olelo	0.2536	0.0856	0.3004	0.0929
HPI_SRL	0.0608	0.0613	0.0653	0.0640
limsi-reader-UMLS-r1	-	-
MQ-3	0.5194	0.2605	0.5334	0.2571
MQ-4	0.4136	0.2031	0.4333	0.2035
Lab Zhu ,Fdan Univer	0.3328	0.3181	0.3401	0.3211
SemanticRoleLabeling	0.0933	0.0925	0.0974	0.0946
Lab Zhu,Fudan Univer	0.3328	0.3181	0.3401	0.3211
BioASQ_Baseline	-	-
auth-qa-2	-	-
auth-qa-3	-	-
UNCC System 2	0.6716	0.3130	0.6712	0.2998
124M FT	-	-
system of teamdaiict	-	-

+ Task 5b, Test batch 2

	Yes/No	Factoid	List
auth-qa-1	0.9630	0.1290	0.1935	0.1559	0.1133	0.3989	0.1731
Olelo	0.7037	0.0323	0.0645	0.0430	0.0217	0.0522	0.0287
Olelo-GS	0.9630	0.0323	0.0323	0.0323	0.0222	0.0389	0.0281
Lab Zhu ,Fdan Univer	0.9630	0.3226	0.4194	0.3710	0.3828	0.6478	0.4597
sarrouti	0.7778	0.0323	0.1935	0.0887	0.2400	0.3922	0.2920
Lab Zhu,Fudan Univer	0.9630	0.4516	0.5161	0.4839	0.4178	0.6700	0.5001
LabZhu,FDU	0.9630	0.2903	0.4839	0.3570	0.2555	0.5144	0.3249
Deep QA (single)	-	0.3226	0.5161	0.4086	0.2571	0.3756	0.2895
Deep QA (ensemble)	-	0.3871	0.5161	0.4419	0.2530	0.2978	0.2617
MQ-1	0.9630	-	-	-	-	-	-
MQ-2	0.9630	-	-	-	-	-	-
MQ-3	0.9630	-	-	-	-	-	-
MQ-4	0.9630	-	-	-	-	-	-
Oaqa5b-tfidf	-	-	-	-	-	-	-
Oaqa5b	-	-	-	-	-	-	-
SemanticRoleLabeling	0.9630	-	-	-	0.0952	0.1422	0.1123
LabZhu_FDU	0.9630	0.3226	0.4839	0.3839	0.3561	0.6344	0.4396
limsi-reader-UMLS-r1	0.5556	0.0968	0.1290	0.1075	0.0307	0.1133	0.0462
Oaqa 5b	-	-	-	-	-	-	-
LabZhu-FDU	0.9630	0.2258	0.3226	0.2688	0.2572	0.4789	0.3211
limsi-reader-UMLS-r2	0.5556	0.0323	0.1290	0.0656	0.0329	0.0933	0.0455
BioASQ_Baseline	0.3704	0.1613	0.3548	0.2215	0.2704	0.4433	0.2931
auth-qa-3	0.9630	0.1935	0.3871	0.2796	0.3161	0.6078	0.3949
auth-qa-2	0.8519	-	-	-	-	-	-
UNCC System 2	0.9630	0.0323	0.1290	0.0575	0.0353	0.2700	0.0600

	Automatic scores
auth-qa-1	0.2600	0.2483	0.2736	0.2534
Olelo	0.2807	0.1253	0.3036	0.1299
Olelo-GS	0.2151	0.0495	0.2590	0.0578
Lab Zhu ,Fdan Univer	0.3364	0.3197	0.3372	0.3154
sarrouti	0.4823	0.3250	0.4828	0.3180
Lab Zhu,Fudan Univer	0.3379	0.3203	0.3393	0.3161
LabZhu,FDU	0.3354	0.3186	0.3349	0.3136
Deep QA (single)	-	-
Deep QA (ensemble)	-	-
MQ-1	0.5117	0.3384	0.5167	0.3307
MQ-2	0.5351	0.3453	0.5384	0.3358
MQ-3	0.4859	0.2763	0.4993	0.2705
MQ-4	0.3895	0.2010	0.4074	0.1999
Oaqa5b-tfidf	0.1332	0.1026	0.1352	0.1016
Oaqa5b	0.1939	0.1281	0.1928	0.1232
SemanticRoleLabeling	0.0506	0.0511	0.0499	0.0506
LabZhu_FDU	0.3438	0.3271	0.3453	0.3229
limsi-reader-UMLS-r1	-	-
Oaqa 5b	0.1923	0.1259	0.1924	0.1221
LabZhu-FDU	0.3362	0.3196	0.3356	0.3147
limsi-reader-UMLS-r2	-	-
BioASQ_Baseline	-	-
auth-qa-3	-	-
auth-qa-2	-	-
UNCC System 2	0.6918	0.3174	0.6903	0.3030

+ Task 5b, Test batch 3

	Yes/No	Factoid	List
Olelo	0.6774	-	-	-	0.0410	0.1044	0.0548
Olelo-GS	0.7742	-	-	-	0.0281	0.1178	0.0423
auth-qa-1	0.8065	0.1538	0.3077	0.2147	0.1000	0.3435	0.1479
MQ-1	0.8065	-	-	-	-	-	-
MQ-2	0.8065	-	-	-	-	-	-
limsi-reader-UMLS-r2	0.5161	0.0385	0.0769	0.0481	0.0310	0.2222	0.0530
limsi-reader-UMLS-r1	0.5161	-	-	-	0.0067	0.0667	0.0121
Lab Zhu,Fudan Univer	0.8065	0.3462	0.4231	0.3846	0.3564	0.4800	0.3874
Lab Zhu ,Fdan Univer	0.8065	0.3077	0.3462	0.3269	0.3535	0.4800	0.3852
MQ-3	0.8065	-	-	-	-	-	-
MQ-4	0.8065	-	-	-	-	-	-
sarrouti	0.8387	0.1923	0.2692	0.2212	0.2000	0.4117	0.2625
SemanticRoleLabeling	0.8065	-	-	-	0.1456	0.2524	0.1715
LabZhu,FDU	0.8065	0.2308	0.3077	0.2577	0.0944	0.2244	0.1247
Deep QA (single)	0.8065	0.3077	0.5769	0.4308	0.3643	0.5670	0.4128
Deep QA (ensemble)	0.8065	0.3077	0.6154	0.4212	0.4467	0.5981	0.4925
Oaqa5b-tfidf	0.5806	0.1154	0.2692	0.1923	0.1897	0.5743	0.2623
LabZhu_FDU	0.8065	0.3462	0.4231	0.3846	0.3580	0.4800	0.3884
LabZhu-FDU	0.8065	0.2308	0.3077	0.2577	0.0889	0.2244	0.1169
Oaqa-5b	0.5806	0.2692	0.3846	0.3173	0.1547	0.6371	0.2375
BioASQ_Baseline	0.5161	0.1154	0.2692	0.1923	0.1723	0.5632	0.2506
auth-qa-2	0.8065	0.3462	0.4615	0.4038	0.1800	0.6171	0.2661
UNCC System 2	0.8065	0.0385	0.0769	0.0462	0.0195	0.3673	0.0367

	Automatic scores
Olelo	0.3364	0.1602	0.3534	0.1642
Olelo-GS	0.2879	0.0769	0.3239	0.0855
auth-qa-1	0.2788	0.2668	0.2973	0.2762
MQ-1	0.5771	0.3875	0.5813	0.3797
MQ-2	0.6062	0.4051	0.6085	0.3955
limsi-reader-UMLS-r2	-	-
limsi-reader-UMLS-r1	-	-
Lab Zhu,Fudan Univer	0.3279	0.3272	0.3303	0.3246
Lab Zhu ,Fdan Univer	0.3279	0.3272	0.3299	0.3243
MQ-3	0.5583	0.3189	0.5767	0.3167
MQ-4	0.5002	0.2677	0.5158	0.2652
sarrouti	0.5658	0.3829	0.5729	0.3775
SemanticRoleLabeling	0.0482	0.0521	0.0484	0.0526
LabZhu,FDU	0.3259	0.3323	0.3261	0.3287
Deep QA (single)	-	-
Deep QA (ensemble)	-	-
Oaqa5b-tfidf	0.2010	0.1272	0.1993	0.1244
LabZhu_FDU	0.3279	0.3272	0.3303	0.3246
LabZhu-FDU	0.3259	0.3323	0.3261	0.3287
Oaqa-5b	0.2005	0.1268	0.1982	0.1234
BioASQ_Baseline	-	-
auth-qa-2	-	-
UNCC System 2	0.7802	0.3649	0.7769	0.3519

+ Task 5b, Test batch 4

	Yes/No	Factoid	List
auth-qa-1	0.5517	0.1212	0.2424	0.1551	0.0564	0.1333	0.0718
Deep QA (single)	0.5517	0.2424	0.4242	0.3025	0.2254	0.3564	0.2419
Deep QA (ensemble)	0.5517	0.3333	0.5455	0.4162	0.2833	0.3436	0.2927
MQ-1	0.5517	-	-	-	-	-	-
MQ-2	0.5517	-	-	-	-	-	-
auth-qa-2	0.5517	0.0303	0.0606	0.0404	-	-	-
sarrouti	0.6207	0.0909	0.1212	0.0970	0.1077	0.2013	0.1369
Lab Zhu ,Fdan Univer	0.5517	0.1212	0.2424	0.1742	0.1143	0.3077	0.1599
auth-qa-3	0.5517	0.0303	0.0909	0.0465	-	-	-
Lab Zhu,Fudan Univer	0.5517	0.1818	0.3636	0.2601	0.3608	0.4231	0.3752
Olelo	0.5517	-	-	-	0.0513	0.0513	0.0513
Olelo-GS	0.5172	-	-	-	0.0513	0.0513	0.0513
limsi-reader-UMLS-r1	0.5172	-	-	-	0.0192	0.0513	0.0280
Oaqa 5b	0.6207	0.0909	0.1212	0.1061	0.1165	0.4615	0.1792
Oaqa-5b	0.6552	0.1515	0.2424	0.1970	0.1252	0.5353	0.1909
SemanticRoleLabeling	0.5517	0.0303	0.0606	0.0379	0.0846	0.1122	0.0943
limsi-reader-UMLS-r2	0.5172	0.0303	0.0303	0.0303	0.0371	0.1667	0.0504
L2PS - DeepQA	0.5172	-	-	-	0.0207	0.2423	0.0338
Oaqa5b-tfidf	0.6207	0.0909	0.1212	0.1061	0.1165	0.4615	0.1792
Oaqa5b	-	-	-	-	-	-	-
LabZhu,FDU	0.5517	0.2424	0.4242	0.3207	0.3608	0.4231	0.3752
MQ-4	0.5517	-	-	-	-	-	-
LabZhu_FDU	0.5517	0.2727	0.4545	0.3510	0.3608	0.4231	0.3752
MQ-3	0.5517	-	-	-	-	-	-
Basic QA pipline	0.5517	0.0909	0.2424	0.1414	0.0769	0.1462	0.0967
LabZhu-FDU	0.5517	0.1212	0.2121	0.1667	0.1239	0.3077	0.1692
BioASQ_Baseline	0.4828	0.0303	0.1212	0.0682	0.1624	0.4276	0.2180
auth-qa-2	0.6207	-	-	-	-	-	-
UNCC System 2	0.5517	0.0303	0.0909	0.0455	0.0250	0.2051	0.0389

	Automatic scores
auth-qa-1	0.3473	0.3548	0.3543	0.3561
Deep QA (single)	-	-
Deep QA (ensemble)	-	-
MQ-1	0.5617	0.4069	0.5533	0.3954
MQ-2	0.5822	0.4260	0.5742	0.4126
auth-qa-2	-	-
sarrouti	0.5667	0.4238	0.5640	0.4122
Lab Zhu ,Fdan Univer	0.3564	0.3470	0.3535	0.3397
auth-qa-3	-	-
Lab Zhu,Fudan Univer	0.3693	0.3516	0.3665	0.3443
Olelo	0.2434	0.0774	0.2851	0.0840
Olelo-GS	0.3398	0.1899	0.3462	0.1880
limsi-reader-UMLS-r1	-	-
Oaqa 5b	0.5685	0.4044	0.5619	0.3932
Oaqa-5b	0.6704	0.4132	0.6631	0.4011
SemanticRoleLabeling	0.0804	0.0826	0.0744	0.0770
limsi-reader-UMLS-r2	-	-
L2PS - DeepQA	-	-
Oaqa5b-tfidf	0.6766	0.4163	0.6692	0.4024
Oaqa5b	0.6726	0.4157	0.6642	0.4027
LabZhu,FDU	0.3793	0.3600	0.3765	0.3526
MQ-4	0.4251	0.2237	0.4367	0.2219
LabZhu_FDU	0.3851	0.3642	0.3822	0.3568
MQ-3	0.5352	0.3131	0.5313	0.3029
Basic QA pipline	0.0803	0.0860	0.0794	0.0839
LabZhu-FDU	0.3564	0.3470	0.3535	0.3397
BioASQ_Baseline	-	-
auth-qa-2	-	-
UNCC System 2	0.7363	0.4193	0.7258	0.4051

+ Task 5b, Test batch 5

	Yes/No	Factoid	List
auth-qa-1	0.4615	0.1429	0.2286	0.1762	0.2000	0.4289	0.2418
Olelo	0.5000	-	-	-	0.0331	0.0826	0.0379
Olelo-GS	0.4615	-	-	-	0.0147	0.0583	0.0202
auth-qa-2	0.4615	-	-	-	-	-	-
Deep QA (single)	0.4615	0.3714	0.4571	0.3924	0.3308	0.4990	0.3606
Deep QA (ensemble)	0.4615	0.2571	0.5143	0.3510	0.3926	0.4854	0.3911
BioASQ_Baseline	0.6923	0.0571	0.2000	0.1167	0.2898	0.5585	0.3415
Lab Zhu ,Fdan Univer	0.4615	0.2571	0.3714	0.3010	0.2338	0.5289	0.2574
limsi-reader-UMLS-r2	0.5385	0.0286	0.0857	0.0452	0.0275	0.2178	0.0474
sarrouti	0.4615	0.1714	0.2857	0.2071	0.2182	0.3178	0.2529
MQ-1	0.4615	-	-	-	-	-	-
MQ-2	0.4615	-	-	-	-	-	-
MQ-3	0.4615	-	-	-	-	-	-
MQ-4	0.4615	-	-	-	-	-	-
Oaqa-5b	0.6154	0.1429	0.2286	0.1810	0.1280	0.6109	0.1970
Oaqa5b	0.6154	0.2000	0.3143	0.2381	0.2095	0.6433	0.2660
Oaqa 5b	0.6154	0.2000	0.3143	0.2381	0.2095	0.6433	0.2660
oaqa5b5	0.6154	0.2000	0.3143	0.2381	0.2095	0.6433	0.2660
Oaqa5b-tfidf	0.6154	0.1429	0.2286	0.1810	0.1280	0.6109	0.1970
SemanticRoleLabeling	0.4615	-	-	-	0.2591	0.3962	0.3051
Lab Zhu,Fudan Univer	0.4615	0.4000	0.5143	0.4524	0.3170	0.5801	0.3811
Basic QA pipline	0.4615	0.1429	0.2571	0.1833	0.1818	0.2500	0.2062
LabZhu,FDU	0.4615	0.4000	0.5143	0.4524	0.3619	0.6003	0.4188
LabZhu_FDU	0.4615	-	-	-	0.0091	0.0114	0.0101
LabZhu-FDU	0.4615	0.1429	0.2000	0.1581	0.2146	0.2395	0.1783
UNCC System 2	0.4615	0.0571	0.1429	0.0786	0.0391	0.2867	0.0630

	Automatic scores
auth-qa-1	0.2629	0.2536	0.2735	0.2585
Olelo	0.3417	0.1842	0.3518	0.1829
Olelo-GS	0.2058	0.0544	0.2602	0.0646
auth-qa-2	-	-
Deep QA (single)	-	-
Deep QA (ensemble)	-	-
BioASQ_Baseline	-	-
Lab Zhu ,Fdan Univer	0.3236	0.3115	0.3232	0.3065
limsi-reader-UMLS-r2	-	-
sarrouti	0.5616	0.3706	0.5595	0.3601
MQ-1	0.5184	0.3587	0.5189	0.3500
MQ-2	0.5802	0.3982	0.5703	0.3813
MQ-3	0.4972	0.2883	0.4933	0.2784
MQ-4	0.4010	0.2180	0.4115	0.2165
Oaqa-5b	0.6885	0.3613	0.6803	0.3481
Oaqa5b	0.7064	0.3735	0.6962	0.3589
Oaqa 5b	0.6771	0.3636	0.6672	0.3489
oaqa5b5	0.6771	0.3636	0.6672	0.3489
Oaqa5b-tfidf	0.5773	0.3610	0.5747	0.3499
SemanticRoleLabeling	0.0405	0.0402	0.0403	0.0393
Lab Zhu,Fudan Univer	0.3369	0.3199	0.3358	0.3140
Basic QA pipline	0.0697	0.0645	0.0705	0.0648
LabZhu,FDU	0.3369	0.3199	0.3358	0.3140
LabZhu_FDU	0.3236	0.3145	0.3232	0.3097
LabZhu-FDU	0.3236	0.3145	0.3232	0.3097
UNCC System 2	0.7188	0.3509	0.7062	0.3354

+ Task 6b, Test batch 1

	Yes/No	Factoid	List
auth-qa-2	0.6875	0.1935	0.3548	0.2484	0.1545	0.5644	0.2320
auth-qa-1	0.6875	0.1935	0.3226	0.2376	0.1727	0.6023	0.2563
auth-qa-3	0.6875	0.1935	0.3226	0.2376	0.1636	0.5871	0.2450
Oaqa5b-tfidf	-	-	-	-	-	-	-
Oaqa5b	-	-	-	-	-	-	-
Oaqa 5b	-	-	-	-	-	-	-
Lab Zhu,Fudan Univer	0.6875	0.1935	0.2258	0.2097	0.0904	0.4091	0.1413
LabZhu,FDU	0.6875	0.1935	0.2258	0.2097	0.0934	0.4091	0.1459
MQ-1	0.6875	-	-	-	-	-	-
MQ-2	0.6875	-	-	-	-	-	-
MQ-3	0.6875	-	-	-	-	-	-
MQ-4	0.6875	-	-	-	-	-	-
MQ-5	0.6875	-	-	-	-	-	-
Oaqa-5b	-	-	-	-	-	-	-
OAQA based system	0.5938	0.1613	0.3226	0.2366	0.3231	0.6023	0.4105
YODAQA based system	0.6875	-	-	-	0.0909	0.0909	0.0909
Lab Zhu ,Fdan Univer	0.6875	0.2258	0.2581	0.2419	0.1015	0.4091	0.1580
LabZhu_FDU	0.6875	0.0645	0.1290	0.0968	0.0707	0.4091	0.1165
LabZhu-FDU	0.6875	0.0645	0.1290	0.0968	0.0707	0.4091	0.1165
SpanBaseline	0.6875	0.0968	0.0968	0.0968	0.1818	0.0455	0.0714
oaqa5b5	-	-	-	-	-	-	-
BioASQ_Baseline	0.3125	0.2258	0.2903	0.2403	0.2463	0.4318	0.2807
Zero-shot BioBERT	-	0.2903	0.6452	0.4403	0.1455	0.2841	0.1843

	Automatic scores
auth-qa-2	-	-
auth-qa-1	-	-
auth-qa-3	-	-
Oaqa5b-tfidf	0.6621	0.3131	0.6651	0.3048
Oaqa5b	0.5300	0.3171	0.5301	0.3101
Oaqa 5b	0.6002	0.2854	0.5932	0.2725
Lab Zhu,Fudan Univer	0.2742	0.2633	0.2776	0.2616
LabZhu,FDU	0.2742	0.2633	0.2776	0.2616
MQ-1	0.4559	0.3095	0.4625	0.3049
MQ-2	0.5229	0.3529	0.5236	0.3425
MQ-3	0.4867	0.3267	0.4955	0.3219
MQ-4	0.5392	0.3545	0.5462	0.3487
MQ-5	0.3737	0.2823	0.3835	0.2813
Oaqa-5b	0.6853	0.3281	0.6860	0.3176
OAQA based system	0.0715	0.0928	0.0701	0.0911
YODAQA based system	0.0118	0.0202	0.0087	0.0147
Lab Zhu ,Fdan Univer	0.2742	0.2633	0.2776	0.2616
LabZhu_FDU	0.2742	0.2633	0.2776	0.2616
LabZhu-FDU	0.2742	0.2633	0.2776	0.2616
SpanBaseline	0.0960	0.0982	0.0903	0.0875
oaqa5b5	0.6456	0.3022	0.6444	0.2898
BioASQ_Baseline	-	-
Zero-shot BioBERT	-	-

+ Task 6b, Test batch 2

	Yes/No	Factoid	List
auth-qa-1	0.7692	0.2381	0.5238	0.3468	0.1222	0.3271	0.1654
UNCC System 1	-	-	-	-	-	-	-
auth-qa-2	0.7692	0.2381	0.6190	0.3746	0.1753	0.2993	0.1947
auth-qa-4	0.7692	0.2381	0.5714	0.3429	0.1966	0.3289	0.2252
auth-qa-5	0.7692	0.1905	0.5238	0.3032	0.1644	0.2623	0.1781
auth-qa-3	0.7692	0.2381	0.5238	0.3270	0.1389	0.3474	0.1834
limsi-reader-UMLS-r1	0.7692	0.2381	0.2857	0.2619	0.1111	0.1667	0.1270
MQ-1	0.7692	-	-	-	-	-	-
MQ-2	0.7692	-	-	-	-	-	-
MQ-3	0.7692	-	-	-	-	-	-
MQ-5	0.7692	-	-	-	-	-	-
MQ-4	0.7692	-	-	-	-	-	-
Oaqa5b-tfidf	-	-	-	-	-	-	-
Oaqa5b	-	-	-	-	-	-	-
Oaqa 5b	-	-	-	-	-	-	-
Oaqa-5b	-	-	-	-	-	-	-
Lab Zhu ,Fdan Univer	0.7692	0.1905	0.3810	0.2619	0.0637	0.2789	0.0967
LabZhu-FDU	0.7692	-	-	-	-	-	-
Lab Zhu,Fudan Univer	0.7692	0.1905	0.3810	0.2619	0.1107	0.2743	0.1498
OAQA based system	0.6923	0.2857	0.2857	0.2857	0.2086	0.2843	0.2109
LabZhu,FDU	0.7692	0.3333	0.5714	0.4325	0.2044	0.2761	0.2279
YODAQA based system	0.7692	0.0952	0.1905	0.1429	0.1944	0.0917	0.1168
BioASQ_Baseline	0.3846	0.1429	0.2857	0.1841	0.1810	0.2689	0.2107
Zero-shot BioBERT	-	0.3810	0.6667	0.5040	0.0667	0.1074	0.0788

	Automatic scores
auth-qa-1	-	-
UNCC System 1	0.6090	0.3051	0.6176	0.2981
auth-qa-2	-	-
auth-qa-4	-	-
auth-qa-5	-	-
auth-qa-3	-	-
limsi-reader-UMLS-r1	-	-
MQ-1	0.4955	0.3246	0.5033	0.3200
MQ-2	0.4882	0.3197	0.4971	0.3147
MQ-3	0.4957	0.3278	0.5107	0.3257
MQ-5	0.4206	0.3134	0.4310	0.3128
MQ-4	0.5289	0.3467	0.5385	0.3397
Oaqa5b-tfidf	0.4842	0.3022	0.4943	0.2982
Oaqa5b	0.5327	0.2656	0.5311	0.2575
Oaqa 5b	0.5704	0.2984	0.5792	0.2929
Oaqa-5b	0.5526	0.2910	0.5581	0.2842
Lab Zhu ,Fdan Univer	0.3103	0.2925	0.3202	0.2895
LabZhu-FDU	0.3103	0.2925	0.3202	0.2895
Lab Zhu,Fudan Univer	0.3103	0.2925	0.3202	0.2895
OAQA based system	0.1257	0.1313	0.1272	0.1314
LabZhu,FDU	0.3103	0.2925	0.3202	0.2895
YODAQA based system	0.0273	0.0340	0.0245	0.0294
BioASQ_Baseline	-	-
Zero-shot BioBERT	-	-

+ Task 6b, Test batch 3

+ Task 6b, Test batch 4

+ Task 6b, Test batch 5

+ Task 6b, Test batch 6

+ Task 6b, Test batch 7

+ Task 6b, Test batch 8

+ Task 6b, Test batch 9

+ Task 6b, Test batch 10

+ Task 6b, Test batch 11

+ Task 6b, Test batch 12

+ Task 6b, Test batch 13

+ Task 6b, Test batch 14

+ Task 6b, Test batch 15

	Yes/No	Factoid			List
System Name	Accuracy	Strict Acc.	Lenient Acc.	MRR	Mean precision	Recall	F-Measure
Wishart-S1	0.9200	0.2222	0.2778	0.2778	0.3186	0.2147	0.2290
Wishart-S2	0.9200	0.2222	0.2778	0.2778	0.3186	0.2147	0.2290
Wishart-S3	0.9200	0.2222	0.3333	0.3056	0.3067	0.2082	0.2207
main system	0.3200	-	-	-	0.0037	0.0394	0.0066
BioASQ_Baseline	0.4400	-	-	-	0.0153	0.0402	0.0204
BioASQ Baseline FS	0.4800	-	-	-	0.0153	0.0402	0.0204
HPI-S2	-	-	-	-	-	-	-
UNCC System 1	0.8400	-	-	-	0.0115	0.1499	0.0209

	Automatic scores
System Name	Rouge-2	Rouge-2 - F1	Rouge-SU4	Rouge-SU4 - F1
Wishart-S1	0.2059	0.1463	0.2202	0.1522
Wishart-S2	0.2059	0.1463	0.2202	0.1522
Wishart-S3	0.2059	0.1463	0.2202	0.1522
main system	0.2165	0.1231	0.2396	0.1309
BioASQ_Baseline	0.2266	0.0735	0.2636	0.0843
BioASQ Baseline FS	0.1935	0.0628	0.2305	0.0745
HPI-S2	0.0872	0.1093	0.0915	0.1155
UNCC System 1	0.3032	0.1266	0.3276	0.1329

BioASQ Participants Area

Oracle: Results for task B-Phase B

+ Task 1b, Test batch 1

Exact Answers

Ideal Answers

+ Task 1b, Test batch 2

Exact Answers

Ideal Answers

+ Task 1b, Test batch 3

Exact Answers

Ideal Answers

+ Task 2b, Test batch 1

Exact Answers

Ideal Answers

+ Task 2b, Test batch 2

Exact Answers

Ideal Answers

+ Task 2b, Test batch 3

Exact Answers

Ideal Answers

+ Task 2b, Test batch 4

Exact Answers

Ideal Answers

+ Task 2b, Test batch 5

Exact Answers

Ideal Answers

+ Task 3b, Test batch 1

Exact Answers

Ideal Answers

+ Task 3b, Test batch 2

Exact Answers

Ideal Answers

+ Task 3b, Test batch 3

Exact Answers

Ideal Answers

+ Task 3b, Test batch 4

Exact Answers

Ideal Answers

+ Task 3b, Test batch 5

Exact Answers

Ideal Answers

+ Task 4b, Test batch 1

Exact Answers

Ideal Answers

+ Task 4b, Test batch 2

Exact Answers

Ideal Answers

+ Task 4b, Test batch 3

Exact Answers

Ideal Answers

+ Task 4b, Test batch 4

Exact Answers

Ideal Answers

+ Task 4b, Test batch 5

Exact Answers

Ideal Answers

+ Task 5b, Test batch 1

Exact Answers

Ideal Answers

+ Task 5b, Test batch 2

Exact Answers

Ideal Answers

+ Task 5b, Test batch 3

Exact Answers

Ideal Answers

+ Task 5b, Test batch 4

Exact Answers

Ideal Answers

+ Task 5b, Test batch 5

Exact Answers

Ideal Answers

+ Task 6b, Test batch 1

Exact Answers

Ideal Answers

+ Task 6b, Test batch 2

Exact Answers

Ideal Answers

+ Task 6b, Test batch 3

Exact Answers

Ideal Answers