Results

BioASQ Participants Area

Oracle: Results for task B-Phase B

The test results are presented in seperate tables for each type of annotation. The "System Description" of each system is used.
The evaluation measures that are used in Task B are presented here .

+ Task 1b, Test batch 1

	Yes/No	Factoid	List
Wishart-S1	0.9200	0.2222	0.2778	0.2778	0.3186	0.2147	0.2290
Wishart-S2	0.9200	0.2222	0.2778	0.2778	0.3186	0.2147	0.2290
Wishart-S3	0.9200	0.2222	0.3333	0.3056	0.3067	0.2082	0.2207
main system	0.3200	-	-	-	0.0037	0.0394	0.0066
BioASQ_Baseline	0.4400	-	-	-	0.0153	0.0402	0.0204
BioASQ Baseline 2	0.4800	-	-	-	0.0153	0.0402	0.0204
HPI-S2	-	-	-	-	-	-	-
UNCC System 1	0.8400	-	-	-	0.0115	0.1499	0.0209

	Automatic scores
Wishart-S1	0.2059	0.2202
Wishart-S2	0.2059	0.2202
Wishart-S3	0.2059	0.2202
main system	0.2165	0.2396
BioASQ_Baseline	0.2266	0.2636
BioASQ Baseline 2	0.1935	0.2305
HPI-S2	0.0872	0.0915
UNCC System 1	0.3032	0.3276

+ Task 1b, Test batch 2

	Yes/No	Factoid	List
main system	0.4231	-	-	-	0.0603	0.1040	0.0680
Wishart-S1	0.9615	0.2500	0.3000	0.3000	0.4060	0.3127	0.3336
system 2	0.4231	-	-	-	0.0437	0.0445	0.0414
system 3	0.4231	-	-	-	0.0644	0.0440	0.0488
system 4	0.4231	-	-	-	0.0644	0.0440	0.0488
BioASQ_Baseline	0.2692	-	-	-	0.0612	0.2062	0.0789
BioASQ Baseline 2	0.5000	-	-	-	0.0612	0.2062	0.0789
UNCC System 1	0.8077	-	-	-	0.0065	0.1243	0.0120

	Automatic scores
main system	0.2122	0.2596
Wishart-S1	0.2106	0.2387
system 2	0.2204	0.2659
system 3	0.2152	0.2592
system 4	0.2152	0.2592
BioASQ_Baseline	0.2074	0.2533
BioASQ Baseline 2	0.2052	0.2577
UNCC System 1	0.3319	0.3596

+ Task 1b, Test batch 3

	Yes/No	Factoid	List
main system	0.5769	-	-	-	0.0671	0.1013	0.0727
system 2	0.5769	-	-	-	0.0642	0.0580	0.0575
system 3	0.5769	-	-	-	0.0594	0.0399	0.0450
BioASQ_Baseline	0.6538	-	-	-	0.0209	0.0635	0.0278
BioASQ Baseline 2	0.6154	-	-	-	0.0209	0.0635	0.0278

	Automatic scores
main system	0.2563	0.2828
system 2	0.2505	0.2806
system 3	0.2555	0.2835
BioASQ_Baseline	0.2670	0.2982
BioASQ Baseline 2	0.2547	0.2941

+ Task 2b, Test batch 1

	Yes/No	Factoid	List
main system	0.5938	0.0400	0.1600	0.1000	-	-	-
Biomedical Text Ming	0.9375	0.1600	0.1600	0.1600	0.0572	0.0702	0.0614
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
system 2	0.9375	0.0400	0.1600	0.1000	-	-	-
Wishart-S3	0.8438	0.4400	0.4800	0.4600	0.4478	0.3335	0.3456
Wishart-S2	0.8438	0.4400	0.4800	0.4600	0.4774	0.3335	0.3621
system 3	0.9375	0.0400	0.1600	0.1000	-	-	-
BioASQ_Baseline	0.5313	-	-	-	0.0418	0.0766	0.0501
BioASQ Baseline 2	0.5000	-	-	-	0.0418	0.0766	0.0501
HPI Master Project	0.8750	-	-	-	0.0080	0.0136	0.0084
UNCC System 1	0.9375	-	-	-	0.0073	0.0681	0.0130

	Automatic scores
main system	0.4387	0.4538
Biomedical Text Ming	0.1724	0.1823
SNUMedinfo1	0.4065	0.4100
SNUMedinfo2	0.3778	0.3793
SNUMedinfo3	0.4971	0.4971
SNUMedinfo4	0.3529	0.3542
SNUMedinfo5	0.4602	0.4679
system 2	0.4400	0.4544
Wishart-S3	0.4802	0.4814
Wishart-S2	0.4802	0.4814
system 3	0.4395	0.4535
BioASQ_Baseline	0.3741	0.3943
BioASQ Baseline 2	0.3622	0.3970
HPI Master Project	0.0222	0.0294
UNCC System 1	0.5313	0.5326

+ Task 2b, Test batch 2

	Yes/No	Factoid	List
Biomedical Text Ming	0.8214	-	-	-	0.1596	0.2057	0.1618
main system	0.8214	0.0435	0.1739	0.0942	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
system 2	0.8214	0.0435	0.1739	0.0942	-	-	-
system 3	0.8214	0.0435	0.1739	0.0942	-	-	-
system 4	0.7500	0.0435	0.1739	0.0942	-	-	-
Wishart-S1	0.9286	0.1304	0.1304	0.1304	0.4396	0.4739	0.4122
Wishart-S2	0.9286	0.1304	0.1304	0.1304	0.5120	0.4399	0.4261
system 5	0.7143	0.0435	0.1739	0.0942	-	-	-
BioASQ_Baseline	0.5000	-	-	-	0.1083	0.0962	0.0951
BioASQ Baseline 2	0.3929	-	-	-	0.1083	0.0962	0.0951
UNCC System 1	0.8214	-	-	-	0.0118	0.1974	0.0219

	Automatic scores
Biomedical Text Ming	0.1846	0.1948
main system	0.3280	0.3411
SNUMedinfo2	0.3157	0.3198
SNUMedinfo1	0.3169	0.3225
SNUMedinfo3	0.3116	0.3174
SNUMedinfo4	0.2910	0.2973
SNUMedinfo5	0.2894	0.2982
system 2	0.3247	0.3392
system 3	0.3352	0.3493
system 4	0.3282	0.3419
Wishart-S1	0.3914	0.4089
Wishart-S2	0.3914	0.4089
system 5	0.3231	0.3385
BioASQ_Baseline	0.3183	0.3577
BioASQ Baseline 2	0.3121	0.3359
UNCC System 1	0.4075	0.4258

+ Task 2b, Test batch 3

	Yes/No	Factoid	List
Biomedical Text Ming	0.8333	0.0417	0.1250	0.0833	0.1195	0.1780	0.1373
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
Wishart-S1	0.8889	0.0417	0.0833	0.0556	0.4584	0.3763	0.3909
main system	0.8333	-	-	-	-	-	-
Asclepius	0.8333	0.0417	0.0417	0.0417	-	-	-
BioASQ_Baseline	0.7222	-	-	-	0.1010	0.2340	0.1114
BioASQ Baseline 2	0.6111	-	-	-	0.1010	0.2340	0.1114
Lab Zhu ,Fdan Univer	0.8333	0.0417	0.2083	0.0931	0.0947	0.3322	0.1403
UNCC System 1	0.8333	-	-	-	0.0154	0.1522	0.0269

	Automatic scores
Biomedical Text Ming	0.2134	0.2190
SNUMedinfo1	0.3382	0.3446
SNUMedinfo2	0.3560	0.3605
SNUMedinfo3	0.3321	0.3385
SNUMedinfo4	0.3307	0.3369
SNUMedinfo5	0.3343	0.3407
Wishart-S1	0.4331	0.4427
main system	0.4282	0.4386
Asclepius	-	-
BioASQ_Baseline	0.3319	0.3564
BioASQ Baseline 2	0.3219	0.3589
Lab Zhu ,Fdan Univer	0.2046	0.2092
UNCC System 1	0.4731	0.4754

+ Task 2b, Test batch 4

	Yes/No	Factoid	List
Hippocrates	0.8750	0.0625	0.1875	0.1120	-	-	-
Asclepius	0.8750	0.0625	0.2188	0.1354	-	-	-
Biomedical Text Ming	0.8750	0.0938	0.1250	0.1042	-	-	-
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
Wishart-S1	0.9375	0.2500	0.2813	0.2813	0.2659	0.4029	0.2963
BioASQ_Baseline	0.5000	-	-	-	0.1233	0.1365	0.1062
BioASQ Baseline 2	0.3438	-	-	-	0.1233	0.1365	0.1062
UNCC System 1	0.8750	-	-	-	0.0180	0.0863	0.0286

	Automatic scores
Hippocrates	-	-
Asclepius	-	-
Biomedical Text Ming	0.1796	0.1938
SNUMedinfo1	0.2963	0.3158
SNUMedinfo2	0.2858	0.3087
SNUMedinfo3	0.2927	0.3130
SNUMedinfo4	0.2756	0.2968
SNUMedinfo5	0.3164	0.3384
Wishart-S1	0.4072	0.4295
BioASQ_Baseline	0.3273	0.3677
BioASQ Baseline 2	0.3075	0.3569
UNCC System 1	0.4201	0.4458

+ Task 2b, Test batch 5

	Yes/No	Factoid	List
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
Biomedical Text Ming	1.0000	0.1379	0.1724	0.1466	-	-	-
Asclepius	0.8333	0.0345	0.0690	0.0460	-	-	-
BioASQ_Baseline	0.3750	-	-	-	0.1548	0.1665	0.1319
BioASQ Baseline 2	0.4583	-	-	-	0.1548	0.1665	0.1319
UNCC System 1	1.0000	-	-	-	0.0098	0.1183	0.0177

	Automatic scores
SNUMedinfo1	0.2929	0.3178
SNUMedinfo2	0.2945	0.3185
SNUMedinfo3	0.2895	0.3146
SNUMedinfo4	0.2765	0.2984
SNUMedinfo5	0.2919	0.3163
Biomedical Text Ming	0.1685	0.1817
Asclepius	-	-
BioASQ_Baseline	0.3297	0.3599
BioASQ Baseline 2	0.3366	0.3639
UNCC System 1	0.3967	0.4180

+ Task 3b, Test batch 1

	Yes/No	Factoid	List
HPI-S2	0.6667	-	-	-	0.0327	0.0830	0.0424
auth-qa-1	0.8485	0.1154	0.1154	0.1154	-	-	-
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
ilsp.aueb.1	-	-	-	-	-	-	-
ilsp.aueb.2	-	-	-	-	-	-	-
fdu	0.8485	0.1154	0.2692	0.1744	0.0958	0.4312	0.1520
fdu2	0.8485	0.1154	0.2692	0.1744	0.0958	0.4312	0.1520
fdu3	0.8485	0.1154	0.2692	0.1744	0.0931	0.4085	0.1472
fdu4	0.8485	0.1538	0.3077	0.2128	0.0681	0.4998	0.1166
main system	0.8485	0.1923	0.3846	0.2641	0.1841	0.2597	0.1987
BioASQ_Baseline	0.4545	-	-	-	-	-	-
BioASQ Baseline 2	0.5455	-	-	-	-	-	-
Lab Zhu ,Fdan Univer	0.8485	0.2308	0.3077	0.2481	0.1255	0.5791	0.1823
Question Summary	-	-	-	-	-	-	-
test json format	0.8485	-	-	-	0.0265	0.0149	0.0170
test oracle format	0.8485	-	-	-	0.1179	0.1944	0.1408
UNCC System 1	0.8485	0.0769	0.1154	0.0897	0.0122	0.2364	0.0228

	Automatic scores
HPI-S2	0.1897	0.2015
auth-qa-1	-	-
SNUMedinfo1	0.3413	0.3550
SNUMedinfo2	0.3459	0.3585
SNUMedinfo3	0.3386	0.3524
SNUMedinfo4	0.2942	0.3076
SNUMedinfo5	0.3139	0.3270
ilsp.aueb.1	0.3894	0.4144
ilsp.aueb.2	0.4183	0.4387
fdu	0.2801	0.2811
fdu2	0.2932	0.3045
fdu3	0.2881	0.3076
fdu4	0.2881	0.3076
main system	0.3076	0.3209
BioASQ_Baseline	0.4053	0.4267
BioASQ Baseline 2	0.3789	0.3985
Lab Zhu ,Fdan Univer	0.2490	0.2614
Question Summary	0.0635	0.0663
test json format	0.0645	0.0620
test oracle format	0.0674	0.0653
UNCC System 1	0.5240	0.5368

+ Task 3b, Test batch 2

	Yes/No	Factoid	List
main system	0.8125	0.1250	0.1875	0.1510	0.1149	0.1798	0.1356
system 2	0.8125	0.0938	0.1875	0.1260	0.1149	0.1798	0.1356
system 3	0.8125	0.0625	0.2500	0.1391	0.1149	0.1798	0.1356
auth-qa-1	0.8125	0.0313	0.0313	0.0313	0.0357	0.0089	0.0143
ilsp.aueb.1	-	-	-	-	-	-	-
ilsp.aueb.2	-	-	-	-	-	-	-
HPI-S2	0.5625	-	-	-	0.0714	0.0161	0.0262
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
fdu4	0.8125	0.0313	0.1563	0.0859	0.0828	0.3772	0.1280
fdu2	0.8125	0.0625	0.1875	0.1172	0.0828	0.3772	0.1280
fdu	0.8125	0.0625	0.1875	0.1172	0.0828	0.3772	0.1280
fdu3	0.8125	0.0625	0.1875	0.1172	0.0829	0.3772	0.1281
fdu5	0.7500	0.0313	0.0313	0.0313	0.0007	0.0083	0.0013
qaiiit system 1	-	-	-	-	-	-	-
BioASQ_Baseline	0.3125	-	-	-	0.0357	0.0089	0.0143
BioASQ Baseline 2	0.4375	-	-	-	0.0357	0.0089	0.0143
UNCC System 1	-	-	-	-	-	-	-

	Automatic scores
main system	0.2968	0.3055
system 2	0.2984	0.3069
system 3	0.2983	0.3080
auth-qa-1	-	-
ilsp.aueb.1	0.3852	0.4160
ilsp.aueb.2	0.3989	0.4368
HPI-S2	0.2063	0.2243
SNUMedinfo1	0.3953	0.4114
SNUMedinfo2	0.3897	0.4073
SNUMedinfo3	0.3918	0.4087
SNUMedinfo4	0.3509	0.3708
SNUMedinfo5	0.3641	0.3848
fdu4	0.2604	0.2859
fdu2	0.2590	0.2853
fdu	0.2590	0.2853
fdu3	0.2604	0.2859
fdu5	-	-
qaiiit system 1	0.3081	0.3353
BioASQ_Baseline	0.4570	0.4772
BioASQ Baseline 2	0.4105	0.4388
UNCC System 1	0.5451	0.5674

+ Task 3b, Test batch 3

	Yes/No	Factoid	List
HPI-S2	0.6207	-	-	-	-	-	-
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
main system	0.9655	0.1923	0.2692	0.2308	0.1529	0.1765	0.1587
system 2	0.9655	0.0385	0.1538	0.0897	0.1529	0.1765	0.1587
system 3	0.9655	0.1538	0.2692	0.1987	0.1529	0.1765	0.1587
auth-qa-1	0.9655	0.0385	0.0769	0.0577	-	-	-
ilsp.aueb.1	-	-	-	-	-	-	-
ilsp.aueb.2	-	-	-	-	-	-	-
ilsp.aueb.3	-	-	-	-	-	-	-
fdu4	0.9655	0.0769	0.1154	0.0962	0.0175	0.2735	0.0324
oaqa-3b-3	0.0345	0.1538	0.3462	0.2321	0.0520	0.7383	0.0940
oaqa-3b-3-e	0.0345	0.1538	0.3462	0.2321	0.0594	0.8130	0.1072
fdu2	0.6207	0.1154	0.1923	0.1359	0.0851	0.3964	0.1353
fdu3	0.6207	0.1154	0.1923	0.1359	0.0851	0.3964	0.1353
fdu5	0.9655	0.0385	0.0385	0.0385	0.0722	0.1775	0.0390
fdu	0.6207	0.1154	0.1923	0.1359	0.1008	0.4993	0.1608
BioASQ_Baseline	0.3448	-	-	-	-	-	-
BioASQ Baseline 2	0.4828	-	-	-	-	-	-
LabZhu,FDU	0.9655	0.3077	0.3077	0.3077	0.1135	0.5679	0.1740
UNCC System 1	0.9655	0.0385	0.1538	0.0865	0.0191	0.2969	0.0341

	Automatic scores
HPI-S2	0.2131	0.2360
SNUMedinfo1	0.4379	0.4468
SNUMedinfo2	0.4363	0.4448
SNUMedinfo3	0.4320	0.4407
SNUMedinfo4	0.4016	0.4128
SNUMedinfo5	0.4121	0.4238
main system	0.3158	0.3389
system 2	0.3154	0.3396
system 3	0.3100	0.3341
auth-qa-1	-	-
ilsp.aueb.1	0.4573	0.4863
ilsp.aueb.2	0.5165	0.5459
ilsp.aueb.3	0.4755	0.5072
fdu4	-	-
oaqa-3b-3	-	-
oaqa-3b-3-e	-	-
fdu2	0.3276	0.3467
fdu3	0.3276	0.3467
fdu5	-	-
fdu	0.3679	0.3933
BioASQ_Baseline	0.4518	0.4775
BioASQ Baseline 2	0.4772	0.5005
LabZhu,FDU	0.2820	0.2868
UNCC System 1	0.5994	0.6128

+ Task 3b, Test batch 4

	Yes/No	Factoid	List
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
HPI-S2	0.5600	0.0345	0.0345	0.0345	0.1522	0.0473	0.0689
main system	0.9600	0.2414	0.4828	0.3374	0.1391	0.1453	0.1335
system 2	0.9600	0.2069	0.4483	0.3029	0.1391	0.1453	0.1335
system 3	0.9600	0.2414	0.3793	0.2897	0.1391	0.1453	0.1335
ilsp.aueb.1	-	-	-	-	-	-	-
ilsp.aueb.2	-	-	-	-	-	-	-
ilsp.aueb.3	-	-	-	-	-	-	-
oaqa-3b-4	0.9600	0.4138	0.6552	0.5098	0.3836	0.3450	0.3155
fdu4	0.8800	0.1724	0.3448	0.2471	0.1446	0.5475	0.2189
fdu	0.8800	0.1724	0.3448	0.2471	0.1446	0.5475	0.2189
fdu2	0.9600	0.1724	0.3448	0.2471	0.1446	0.5475	0.2189
fdu3	0.9600	0.1724	0.3448	0.2471	0.1446	0.5475	0.2189
auth-qa-1	0.9600	0.0690	0.2069	0.1236	-	-	-
BioASQ_Baseline	0.3600	-	-	-	-	-	-
BioASQ Baseline 2	0.4000	-	-	-	-	-	-
Lab Zhu ,Fdan Univer	0.9600	0.2414	0.4138	0.3115	0.1232	0.4525	0.1827
LabZhu,FDU	0.9600	0.2414	0.4138	0.3115	0.1348	0.4303	0.1937
LabZhu_FDU	0.9600	0.2414	0.4138	0.3115	0.1467	0.4092	0.2039
LabZhu-FDU	0.9600	0.2414	0.3793	0.2943	0.1630	0.4470	0.2251
UNCC System 1	0.9600	0.0345	0.1379	0.0805	0.0139	0.1570	0.0251

	Automatic scores
SNUMedinfo1	0.4018	0.4107
SNUMedinfo2	0.4250	0.4323
SNUMedinfo3	0.3969	0.4036
SNUMedinfo4	0.3747	0.3816
SNUMedinfo5	0.3879	0.3948
HPI-S2	0.2672	0.2872
main system	0.3430	0.3545
system 2	0.3387	0.3509
system 3	0.3380	0.3490
ilsp.aueb.1	0.4416	0.4631
ilsp.aueb.2	0.4672	0.4927
ilsp.aueb.3	0.4441	0.4699
oaqa-3b-4	-	-
fdu4	0.3260	0.3338
fdu	0.2490	0.2588
fdu2	0.2490	0.2588
fdu3	0.3260	0.3338
auth-qa-1	-	-
BioASQ_Baseline	0.4672	0.4891
BioASQ Baseline 2	0.4322	0.4495
Lab Zhu ,Fdan Univer	0.2455	0.2635
LabZhu,FDU	0.2455	0.2635
LabZhu_FDU	0.2455	0.2635
LabZhu-FDU	0.2455	0.2635
UNCC System 1	0.5848	0.5950

+ Task 3b, Test batch 5

	Yes/No	Factoid	List
auth-qa-1	0.6786	0.1364	0.1818	0.1455	-	-	-
main system	0.6786	0.0455	0.1364	0.0720	0.1139	0.1757	0.1293
system 2	0.6786	0.0455	0.2727	0.1303	0.1139	0.1757	0.1293
system 3	0.6786	0.0909	0.1364	0.1061	0.1139	0.1757	0.1293
ilsp.aueb.1	-	-	-	-	-	-	-
ilsp.aueb.2	-	-	-	-	-	-	-
ilsp.aueb.3	-	-	-	-	-	-	-
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
fdu	0.7143	0.2273	0.2727	0.2500	0.0914	0.4146	0.1376
fdu2	0.6786	0.2273	0.2727	0.2500	0.0935	0.4146	0.1404
fdu3	0.6786	0.2273	0.2727	0.2500	0.0914	0.4146	0.1376
fdu4	0.7143	0.2273	0.2727	0.2500	0.0914	0.4146	0.1376
HPI-S2	0.3571	0.0909	0.0909	0.0909	0.0625	0.0292	0.0397
oaqa-3b-4	0.6786	0.2273	0.3182	0.2727	0.1704	0.1139	0.1296
oaqa-3b-5	0.6786	0.2273	0.3182	0.2727	0.1643	0.2538	0.1860
YodaQA_base	0.6786	0.1818	0.2273	0.2045	0.1514	0.2132	0.1580
BioASQ_Baseline	0.7143	0.0455	0.0455	0.0455	-	-	-
BioASQ Baseline 2	0.6429	0.0455	0.0455	0.0455	-	-	-
Lab Zhu ,Fdan Univer	0.6786	0.2273	0.2727	0.2500	0.0510	0.1486	0.0720
UNCC System 1	0.6786	0.0909	0.1364	0.1023	0.0016	0.0365	0.0031

	Automatic scores
auth-qa-1	-	-
main system	0.3880	0.4000
system 2	0.3914	0.4032
system 3	0.3901	0.3980
ilsp.aueb.1	0.3959	0.4256
ilsp.aueb.2	0.3959	0.4256
ilsp.aueb.3	0.3705	0.4032
SNUMedinfo1	0.3825	0.3899
SNUMedinfo2	0.3971	0.4033
SNUMedinfo3	0.3780	0.3841
SNUMedinfo4	0.3488	0.3559
SNUMedinfo5	0.3567	0.3639
fdu	0.2261	0.2309
fdu2	0.2261	0.2309
fdu3	0.3172	0.3316
fdu4	0.3172	0.3316
HPI-S2	0.1629	0.1711
oaqa-3b-4	-	-
oaqa-3b-5	-	-
YodaQA_base	-	-
BioASQ_Baseline	0.4038	0.4313
BioASQ Baseline 2	0.3540	0.3862
Lab Zhu ,Fdan Univer	0.3300	0.3336
UNCC System 1	0.5651	0.5672

+ Task 4b, Test batch 1

	Yes/No	Factoid	List
auth-qa-1	0.9643	0.1026	0.1538	0.1218	0.1364	0.2636	0.1677
WS4A	0.1071	0.0256	0.0256	0.0256	0.0844	0.1591	0.1090
HPI-S2	0.2500	-	-	-	-	-	-
UNCC System 1	0.9643	0.0256	0.1026	0.0521	0.0051	0.0909	0.0096
auth-qa-3	0.9643	0.0513	0.2308	0.1128	0.1545	0.6045	0.2394
auth-qa-4	0.9643	0.1026	0.2308	0.1496	0.2364	0.4879	0.3064
auth-qa-2	0.9643	0.1026	0.2308	0.1496	0.1965	0.5818	0.2784

	Automatic scores
auth-qa-1	-	-
WS4A	0.0535	0.0526
HPI-S2	0.2354	0.2544
UNCC System 1	0.6918	0.7024
auth-qa-3	-	-
auth-qa-4	-	-
auth-qa-2	-	-

+ Task 4b, Test batch 2

	Yes/No	Factoid	List
WS4A	0.0938	-	-	-	0.0985	0.1425	0.1023
auth-qa-1	0.9063	0.0645	0.1613	0.1075	0.1429	0.1155	0.1213
Lab Zhu,Fudan Univer	0.9063	0.1935	0.2258	0.2097	0.1106	0.3492	0.1550
LabZhu,FDU	0.9063	0.1935	0.2258	0.2097	0.1031	0.3492	0.1444
HPI-S2	-	-	-	-	-	-	-
LabZhu_FDU	0.0938	0.1935	0.2258	0.2097	0.1031	0.3492	0.1444
Lab Zhu ,Fdan Univer	0.9063	0.1935	0.2258	0.2097	0.1052	0.3492	0.1474
LabZhu-FDU	0.9063	0.1935	0.2581	0.2258	0.1038	0.3492	0.1454
UNCC System 1	0.9063	0.0323	0.0645	0.0403	0.0311	0.2525	0.0509
auth-qa-2	0.9063	0.0968	0.3226	0.1909	0.1524	0.3055	0.1926
auth-qa-4	0.9063	0.0968	0.3226	0.1935	0.1524	0.1506	0.1433

	Automatic scores
WS4A	0.0322	0.0300
auth-qa-1	-	-
Lab Zhu,Fudan Univer	0.3354	0.3384
LabZhu,FDU	0.3354	0.3384
HPI-S2	0.2583	0.2910
LabZhu_FDU	0.3354	0.3384
Lab Zhu ,Fdan Univer	0.3354	0.3384
LabZhu-FDU	0.3354	0.3384
UNCC System 1	0.6777	0.6897
auth-qa-2	-	-
auth-qa-4	-	-

+ Task 4b, Test batch 3

	Yes/No	Factoid	List
auth-qa-1	0.9600	0.1154	0.1923	0.1442	0.2500	0.2873	0.2580
Lab Zhu ,Fdan Univer	0.9600	0.1923	0.2692	0.2192	0.1450	0.5929	0.2181
LabZhu,FDU	0.9600	0.1923	0.2692	0.2192	0.1444	0.6214	0.2176
oaqa-3b-3	0.5200	0.2308	0.2692	0.2436	0.5396	0.5008	0.4828
LabZhu_FDU	0.9600	0.1923	0.2692	0.2192	0.1420	0.5929	0.2132
LabZhu-FDU	0.0400	0.1923	0.2692	0.2192	0.1420	0.5929	0.2132
Lab Zhu,Fudan Univer	0.9600	0.1923	0.2692	0.2192	0.1455	0.5770	0.2185
HPI-S2	-	-	-	-	-	-	-
WS4A	0.2400	0.0385	0.0385	0.0385	0.1172	0.2817	0.1609
UNCC System 1	0.9600	-	-	-	0.0417	0.3667	0.0729
auth-qa-2	0.9600	0.1923	0.3462	0.2596	0.2048	0.6135	0.3001

	Automatic scores
auth-qa-1	-	-
Lab Zhu ,Fdan Univer	0.3312	0.3420
LabZhu,FDU	0.3312	0.3420
oaqa-3b-3	-	-
LabZhu_FDU	0.3312	0.3420
LabZhu-FDU	0.3312	0.3420
Lab Zhu,Fudan Univer	0.3312	0.3420
HPI-S2	0.2903	0.3146
WS4A	0.0874	0.0857
UNCC System 1	0.6364	0.6527
auth-qa-2	-	-

+ Task 4b, Test batch 4

	Yes/No	Factoid	List
Lab Zhu ,Fdan Univer	0.9524	0.0968	0.1935	0.1371	0.1970	0.2258	0.1711
Lab Zhu,Fudan Univer	0.9524	0.0968	0.1935	0.1371	0.2169	0.2925	0.1986
HPI-S2	-	-	-	-	-	-	-
oaqa-3b-4	0.6667	0.2903	0.3871	0.3253	0.2478	0.5494	0.3115
LabZhu,FDU	0.9524	0.0968	0.1935	0.1371	0.2095	0.2925	0.1908
auth-qa-1	0.9524	0.0323	0.1935	0.0806	0.0333	0.0444	0.0381
Oaqa5b-tfidf	-	-	-	-	-	-	-
UNCC System 1	0.9524	0.0323	0.0323	0.0323	0.0162	0.2717	0.0293
auth-qa-2	0.9524	0.2903	0.4194	0.3414	0.2067	0.5887	0.2868

	Automatic scores
Lab Zhu ,Fdan Univer	0.3363	0.3308
Lab Zhu,Fudan Univer	0.3363	0.3308
HPI-S2	0.2525	0.2701
oaqa-3b-4	-	-
LabZhu,FDU	0.3363	0.3308
auth-qa-1	-	-
Oaqa5b-tfidf	0.6658	0.6606
UNCC System 1	0.7196	0.7177
auth-qa-2	-	-

+ Task 4b, Test batch 5

	Yes/No	Factoid	List
auth-qa-1	1.0000	0.0606	0.1212	0.0833	0.0875	0.0830	0.0835
Lab Zhu ,Fdan Univer	1.0000	0.1818	0.3333	0.2475	0.0938	0.3479	0.1417
Lab Zhu,Fudan Univer	1.0000	0.2121	0.3030	0.2475	0.1596	0.2188	0.1493
HPI-S2	-	-	-	-	-	-	-
oaqa-3b-5	0.7407	0.2121	0.3939	0.2854	0.2662	0.4170	0.2897
oaqa-3b-5-e	1.0000	0.2121	0.3939	0.2854	0.2165	0.3754	0.2597
LabZhu,FDU	1.0000	0.2121	0.3030	0.2475	0.1636	0.2111	0.1507
LabZhu_FDU	1.0000	0.1818	0.3333	0.2475	0.1036	0.3302	0.1502
LabZhu-FDU	1.0000	0.1818	0.3333	0.2475	0.0854	0.3579	0.1328
WS4A	0.2593	-	-	-	0.0589	0.0698	0.0560
test oracle format	1.0000	-	-	-	0.1715	0.2175	0.1795
UNCC System 1	1.0000	0.0606	0.0909	0.0707	0.0321	0.2164	0.0545
auth-qa-2	1.0000	0.1515	0.3636	0.2273	0.1750	0.4065	0.2304
summary	-	-	-	-	-	-	-

	Automatic scores
auth-qa-1	-	-
Lab Zhu ,Fdan Univer	0.4762	0.4711
Lab Zhu,Fudan Univer	0.4762	0.4711
HPI-S2	0.3541	0.3799
oaqa-3b-5	-	-
oaqa-3b-5-e	-	-
LabZhu,FDU	0.4762	0.4711
LabZhu_FDU	0.4762	0.4711
LabZhu-FDU	0.4762	0.4711
WS4A	0.0625	0.0583
test oracle format	0.0192	0.0183
UNCC System 1	0.7266	0.7250
auth-qa-2	-	-
summary	0.5011	0.4882

+ Task 5b, Test batch 1

	Yes/No	Factoid	List
MQ-1	0.8824	-	-	-	-	-	-
MQ-2	0.8824	-	-	-	-	-	-
Deep QA (single)	-	0.5200	0.6000	0.5600	0.3269	0.4393	0.3365
Deep QA (ensemble)	-	0.5600	0.6800	0.6033	0.3106	0.4164	0.3341
auth-qa-1	0.8824	0.1200	0.1200	0.1200	-	-	-
sarrouti	0.7647	0.1200	0.2800	0.1833	0.1909	0.2539	0.2073
Olelo-GS	0.7647	0.0400	0.0400	0.0400	0.0402	0.1061	0.0477
Olelo	0.8235	0.0400	0.0400	0.0400	0.0193	0.0492	0.0240
HPI_SRL	0.8824	-	-	-	0.0045	0.0027	0.0034
limsi-reader-UMLS-r1	0.6471	0.0800	0.2000	0.1267	0.0523	0.0508	0.0500
MQ-3	0.8824	-	-	-	-	-	-
MQ-4	0.8824	-	-	-	-	-	-
Lab Zhu ,Fdan Univer	0.8824	0.4000	0.4400	0.4200	0.1489	0.4619	0.2068
SemanticRoleLabeling	0.8824	-	-	-	0.1119	0.1301	0.1158
Lab Zhu,Fudan Univer	0.8824	0.4000	0.4400	0.4200	0.1467	0.3782	0.1965
BioASQ_Baseline	0.3529	0.2800	0.4000	0.3333	0.2658	0.4715	0.3103
auth-qa-2	0.8824	0.3600	0.5200	0.4200	0.1682	0.4869	0.2399
auth-qa-3	0.8824	0.3600	0.4800	0.4133	0.2337	0.4749	0.3004
UNCC System 2	0.8824	0.1200	0.1600	0.1333	0.0241	0.3252	0.0441

	Automatic scores
MQ-1	0.5470	0.5599
MQ-2	0.5131	0.5221
Deep QA (single)	-	-
Deep QA (ensemble)	-	-
auth-qa-1	-	-
sarrouti	0.5087	0.5247
Olelo-GS	0.3081	0.3362
Olelo	0.2536	0.3004
HPI_SRL	0.0608	0.0653
limsi-reader-UMLS-r1	-	-
MQ-3	0.5194	0.5334
MQ-4	0.4136	0.4333
Lab Zhu ,Fdan Univer	0.3328	0.3401
SemanticRoleLabeling	0.0933	0.0974
Lab Zhu,Fudan Univer	0.3328	0.3401
BioASQ_Baseline	-	-
auth-qa-2	-	-
auth-qa-3	-	-
UNCC System 2	0.6716	0.6712

+ Task 5b, Test batch 2

	Yes/No	Factoid	List
auth-qa-1	0.9630	0.1290	0.1935	0.1559	0.1133	0.3989	0.1731
Olelo	0.7037	0.0323	0.0645	0.0430	0.0217	0.0522	0.0287
Olelo-GS	0.9630	0.0323	0.0323	0.0323	0.0222	0.0389	0.0281
Lab Zhu ,Fdan Univer	0.9630	0.3226	0.4194	0.3710	0.3828	0.6478	0.4597
sarrouti	0.7778	0.0323	0.1935	0.0887	0.2400	0.3922	0.2920
Lab Zhu,Fudan Univer	0.9630	0.4516	0.5161	0.4839	0.4178	0.6700	0.5001
LabZhu,FDU	0.9630	0.2903	0.4839	0.3570	0.2555	0.5144	0.3249
Deep QA (single)	-	0.3226	0.5161	0.4086	0.2571	0.3756	0.2895
Deep QA (ensemble)	-	0.3871	0.5161	0.4419	0.2530	0.2978	0.2617
MQ-1	0.9630	-	-	-	-	-	-
MQ-2	0.9630	-	-	-	-	-	-
MQ-3	0.9630	-	-	-	-	-	-
MQ-4	0.9630	-	-	-	-	-	-
Oaqa5b-tfidf	-	-	-	-	-	-	-
Oaqa5b	-	-	-	-	-	-	-
SemanticRoleLabeling	0.9630	-	-	-	0.0952	0.1422	0.1123
LabZhu_FDU	0.9630	0.3226	0.4839	0.3839	0.3561	0.6344	0.4396
limsi-reader-UMLS-r1	0.5556	0.0968	0.1290	0.1075	0.0307	0.1133	0.0462
Oaqa 5b	-	-	-	-	-	-	-
LabZhu-FDU	0.9630	0.2258	0.3226	0.2688	0.2572	0.4789	0.3211
limsi-reader-UMLS-r2	0.5556	0.0323	0.1290	0.0656	0.0329	0.0933	0.0455
BioASQ_Baseline	0.3704	0.1613	0.3548	0.2215	0.2704	0.4433	0.2931
auth-qa-3	0.9630	0.1935	0.3871	0.2796	0.3161	0.6078	0.3949
auth-qa-2	0.8519	-	-	-	-	-	-
UNCC System 2	0.9630	0.0323	0.1290	0.0575	0.0353	0.2700	0.0600

	Automatic scores
auth-qa-1	0.2600	0.2736
Olelo	0.2807	0.3036
Olelo-GS	0.2151	0.2590
Lab Zhu ,Fdan Univer	0.3364	0.3372
sarrouti	0.4823	0.4828
Lab Zhu,Fudan Univer	0.3379	0.3393
LabZhu,FDU	0.3354	0.3349
Deep QA (single)	-	-
Deep QA (ensemble)	-	-
MQ-1	0.5117	0.5167
MQ-2	0.5351	0.5384
MQ-3	0.4859	0.4993
MQ-4	0.3895	0.4074
Oaqa5b-tfidf	0.1332	0.1352
Oaqa5b	0.1939	0.1928
SemanticRoleLabeling	0.0506	0.0499
LabZhu_FDU	0.3438	0.3453
limsi-reader-UMLS-r1	-	-
Oaqa 5b	0.1923	0.1924
LabZhu-FDU	0.3362	0.3356
limsi-reader-UMLS-r2	-	-
BioASQ_Baseline	-	-
auth-qa-3	-	-
auth-qa-2	-	-
UNCC System 2	0.6918	0.6903

+ Task 5b, Test batch 3

	Yes/No	Factoid			List
System Name	Accuracy	Strict Acc.	Lenient Acc.	MRR	Mean precision	Recall	F-Measure
Olelo	0.6774	-	-	-	0.0410	0.1044	0.0548
Olelo-GS	0.7742	-	-	-	0.0281	0.1178	0.0423
auth-qa-1	0.8065	0.1538	0.3077	0.2147	0.1000	0.3435	0.1479
MQ-1	0.8065	-	-	-	-	-	-
MQ-2	0.8065	-	-	-	-	-	-
limsi-reader-UMLS-r2	0.5161	0.0385	0.0769	0.0481	0.0310	0.2222	0.0530
limsi-reader-UMLS-r1	0.5161	-	-	-	0.0067	0.0667	0.0121

	Automatic scores
System Name	Rouge-2	Rouge-SU4
Wishart-S1	0.2059	0.2202
Wishart-S2	0.2059	0.2202
Wishart-S3	0.2059	0.2202
main system	0.2165	0.2396
BioASQ_Baseline	0.2266	0.2636
BioASQ Baseline 2	0.1935	0.2305
HPI-S2	0.0872	0.0915
UNCC System 1	0.3032	0.3276

BioASQ Participants Area

Oracle: Results for task B-Phase B

+ Task 1b, Test batch 1

Exact Answers

Ideal Answers

+ Task 1b, Test batch 2

Exact Answers

Ideal Answers

+ Task 1b, Test batch 3

Exact Answers

Ideal Answers

+ Task 2b, Test batch 1

Exact Answers

Ideal Answers

+ Task 2b, Test batch 2

Exact Answers

Ideal Answers

+ Task 2b, Test batch 3

Exact Answers

Ideal Answers

+ Task 2b, Test batch 4

Exact Answers

Ideal Answers

+ Task 2b, Test batch 5

Exact Answers

Ideal Answers

+ Task 3b, Test batch 1

Exact Answers

Ideal Answers

+ Task 3b, Test batch 2

Exact Answers

Ideal Answers

+ Task 3b, Test batch 3

Exact Answers

Ideal Answers

+ Task 3b, Test batch 4

Exact Answers

Ideal Answers

+ Task 3b, Test batch 5

Exact Answers

Ideal Answers

+ Task 4b, Test batch 1

Exact Answers

Ideal Answers

+ Task 4b, Test batch 2

Exact Answers

Ideal Answers

+ Task 4b, Test batch 3

Exact Answers

Ideal Answers

+ Task 4b, Test batch 4

Exact Answers

Ideal Answers

+ Task 4b, Test batch 5

Exact Answers

Ideal Answers

+ Task 5b, Test batch 1

Exact Answers

Ideal Answers

+ Task 5b, Test batch 2

Exact Answers

Ideal Answers

+ Task 5b, Test batch 3

Exact Answers