Results

BioASQ Participants Area

Oracle: Results for task B-Phase B

The test results are presented in seperate tables for each type of annotation. The "System Description" of each system is used.
The evaluation measures that are used in Task B are presented here .

	Yes/No	Factoid	List
Wishart-S1	0.9200	0.2222	0.2778	0.2778	0.3186	0.2147	0.2290
Wishart-S2	0.9200	0.2222	0.2778	0.2778	0.3186	0.2147	0.2290
Wishart-S3	0.9200	0.2222	0.3333	0.3056	0.3067	0.2082	0.2207
main system	0.3200	-	-	-	0.0037	0.0394	0.0066
BioASQ_Baseline	0.4400	-	-	-	0.0153	0.0402	0.0204
BioASQ Baseline 2	0.4800	-	-	-	0.0153	0.0402	0.0204
HPI-S2	-	-	-	-	-	-	-

	Automatic scores
Wishart-S1	0.2059	0.2202
Wishart-S2	0.2059	0.2202
Wishart-S3	0.2059	0.2202
main system	0.2165	0.2396
BioASQ_Baseline	0.2266	0.2636
BioASQ Baseline 2	0.1935	0.2305
HPI-S2	0.0872	0.0915

	Yes/No	Factoid	List
main system	0.4231	-	-	-	0.0603	0.1040	0.0680
Wishart-S1	0.9615	0.2500	0.3000	0.3000	0.4060	0.3127	0.3336
system 2	0.4231	-	-	-	0.0437	0.0445	0.0414
system 3	0.4231	-	-	-	0.0644	0.0440	0.0488
system 4	0.4231	-	-	-	0.0644	0.0440	0.0488
BioASQ_Baseline	0.2692	-	-	-	0.0612	0.2062	0.0789
BioASQ Baseline 2	0.5000	-	-	-	0.0612	0.2062	0.0789

	Automatic scores
main system	0.2122	0.2596
Wishart-S1	0.2106	0.2387
system 2	0.2204	0.2659
system 3	0.2152	0.2592
system 4	0.2152	0.2592
BioASQ_Baseline	0.2074	0.2533
BioASQ Baseline 2	0.2052	0.2577

	Yes/No	Factoid	List
main system	0.5769	-	-	-	0.0671	0.1013	0.0727
system 2	0.5769	-	-	-	0.0642	0.0580	0.0575
system 3	0.5769	-	-	-	0.0594	0.0399	0.0450
BioASQ_Baseline	0.6538	-	-	-	0.0209	0.0635	0.0278
BioASQ Baseline 2	0.6154	-	-	-	0.0209	0.0635	0.0278

	Automatic scores
main system	0.2563	0.2828
system 2	0.2505	0.2806
system 3	0.2555	0.2835
BioASQ_Baseline	0.2670	0.2982
BioASQ Baseline 2	0.2547	0.2941

	Yes/No	Factoid	List
main system	0.5938	0.0400	0.1600	0.1000	-	-	-
Biomedical Text Ming	0.9375	0.1600	0.1600	0.1600	0.0572	0.0702	0.0614
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
system 2	0.9375	0.0400	0.1600	0.1000	-	-	-
Wishart-S3	0.8438	0.4400	0.4800	0.4600	0.4478	0.3335	0.3456
Wishart-S2	0.8438	0.4400	0.4800	0.4600	0.4774	0.3335	0.3621
system 3	0.9375	0.0400	0.1600	0.1000	-	-	-
BioASQ_Baseline	0.5313	-	-	-	0.0418	0.0766	0.0501
BioASQ Baseline 2	0.5000	-	-	-	0.0418	0.0766	0.0501
HPI Master Project	0.8750	-	-	-	0.0080	0.0136	0.0084

	Automatic scores
main system	0.4387	0.4538
Biomedical Text Ming	0.1724	0.1823
SNUMedinfo1	0.4065	0.4100
SNUMedinfo2	0.3778	0.3793
SNUMedinfo3	0.4971	0.4971
SNUMedinfo4	0.3529	0.3542
SNUMedinfo5	0.4602	0.4679
system 2	0.4400	0.4544
Wishart-S3	0.4802	0.4814
Wishart-S2	0.4802	0.4814
system 3	0.4395	0.4535
BioASQ_Baseline	0.3741	0.3943
BioASQ Baseline 2	0.3622	0.3970
HPI Master Project	0.0222	0.0294

	Yes/No	Factoid	List
Biomedical Text Ming	0.8214	-	-	-	0.1596	0.2057	0.1618
main system	0.8214	0.0435	0.1739	0.0942	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
system 2	0.8214	0.0435	0.1739	0.0942	-	-	-
system 3	0.8214	0.0435	0.1739	0.0942	-	-	-
system 4	0.7500	0.0435	0.1739	0.0942	-	-	-
Wishart-S1	0.9286	0.1304	0.1304	0.1304	0.4396	0.4739	0.4122
Wishart-S2	0.9286	0.1304	0.1304	0.1304	0.5120	0.4399	0.4261
system 5	0.7143	0.0435	0.1739	0.0942	-	-	-
BioASQ_Baseline	0.5000	-	-	-	0.1083	0.0962	0.0951
BioASQ Baseline 2	0.3929	-	-	-	0.1083	0.0962	0.0951

	Automatic scores
Biomedical Text Ming	0.1846	0.1948
main system	0.3280	0.3411
SNUMedinfo2	0.3157	0.3198
SNUMedinfo1	0.3169	0.3225
SNUMedinfo3	0.3116	0.3174
SNUMedinfo4	0.2910	0.2973
SNUMedinfo5	0.2894	0.2982
system 2	0.3247	0.3392
system 3	0.3352	0.3493
system 4	0.3282	0.3419
Wishart-S1	0.3914	0.4089
Wishart-S2	0.3914	0.4089
system 5	0.3231	0.3385
BioASQ_Baseline	0.3183	0.3577
BioASQ Baseline 2	0.3121	0.3359

	Yes/No	Factoid	List
Biomedical Text Ming	0.8333	0.0417	0.1250	0.0833	0.1195	0.1780	0.1373
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
Wishart-S1	0.8889	0.0417	0.0833	0.0556	0.4584	0.3763	0.3909
main system	0.8333	-	-	-	-	-	-
Asclepius	0.8333	0.0417	0.0417	0.0417	-	-	-
BioASQ_Baseline	0.7222	-	-	-	0.1010	0.2340	0.1114
BioASQ Baseline 2	0.6111	-	-	-	0.1010	0.2340	0.1114
Lab Zhu ,Fdan Univer	0.8333	0.0417	0.2083	0.0931	0.0947	0.3322	0.1403

	Automatic scores
Biomedical Text Ming	0.2134	0.2190
SNUMedinfo1	0.3382	0.3446
SNUMedinfo2	0.3560	0.3605
SNUMedinfo3	0.3321	0.3385
SNUMedinfo4	0.3307	0.3369
SNUMedinfo5	0.3343	0.3407
Wishart-S1	0.4331	0.4427
main system	0.4282	0.4386
Asclepius	-	-
BioASQ_Baseline	0.3319	0.3564
BioASQ Baseline 2	0.3219	0.3589
Lab Zhu ,Fdan Univer	0.2046	0.2092

	Yes/No	Factoid	List
Hippocrates	0.8750	0.0625	0.1875	0.1120	-	-	-
Asclepius	0.8750	0.0625	0.2188	0.1354	-	-	-
Biomedical Text Ming	0.8750	0.0938	0.1250	0.1042	-	-	-
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
Wishart-S1	0.9375	0.2500	0.2813	0.2813	0.2659	0.4029	0.2963
BioASQ_Baseline	0.5000	-	-	-	0.1233	0.1365	0.1062
BioASQ Baseline 2	0.3438	-	-	-	0.1233	0.1365	0.1062

	Automatic scores
Hippocrates	-	-
Asclepius	-	-
Biomedical Text Ming	0.1796	0.1938
SNUMedinfo1	0.2963	0.3158
SNUMedinfo2	0.2858	0.3087
SNUMedinfo3	0.2927	0.3130
SNUMedinfo4	0.2756	0.2968
SNUMedinfo5	0.3164	0.3384
Wishart-S1	0.4072	0.4295
BioASQ_Baseline	0.3273	0.3677
BioASQ Baseline 2	0.3075	0.3569

	Yes/No	Factoid	List
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
Biomedical Text Ming	1.0000	0.1379	0.1724	0.1466	-	-	-
Asclepius	0.8333	0.0345	0.0690	0.0460	-	-	-
BioASQ_Baseline	0.3750	-	-	-	0.1548	0.1665	0.1319
BioASQ Baseline 2	0.4583	-	-	-	0.1548	0.1665	0.1319

	Automatic scores
SNUMedinfo1	0.2929	0.3178
SNUMedinfo2	0.2945	0.3185
SNUMedinfo3	0.2895	0.3146
SNUMedinfo4	0.2765	0.2984
SNUMedinfo5	0.2919	0.3163
Biomedical Text Ming	0.1685	0.1817
Asclepius	-	-
BioASQ_Baseline	0.3297	0.3599
BioASQ Baseline 2	0.3366	0.3639

	Yes/No	Factoid	List
HPI-S2	0.6667	-	-	-	0.0327	0.0830	0.0424
fa1	0.8485	0.1154	0.1154	0.1154	-	-	-
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
ilsp.aueb.1	-	-	-	-	-	-	-
ilsp.aueb.2	-	-	-	-	-	-	-
fdu	0.8485	0.1154	0.2692	0.1744	0.0958	0.4312	0.1520
fdu2	0.8485	0.1154	0.2692	0.1744	0.0958	0.4312	0.1520
fdu3	0.8485	0.1154	0.2692	0.1744	0.0931	0.4085	0.1472
fdu4	0.8485	0.1538	0.3077	0.2128	0.0681	0.4998	0.1166
main system	0.8485	0.1923	0.3846	0.2641	0.1841	0.2597	0.1987
BioASQ_Baseline	0.4545	-	-	-	-	-	-
BioASQ Baseline 2	0.5455	-	-	-	-	-	-
Lab Zhu ,Fdan Univer	0.8485	0.2308	0.3077	0.2481	0.1255	0.5791	0.1823
Question Summary	-	-	-	-	-	-	-
test json format	0.8485	-	-	-	0.0265	0.0149	0.0170
test oracle format	0.8485	-	-	-	0.1179	0.1944	0.1408

	Automatic scores
HPI-S2	0.1897	0.2015
fa1	-	-
SNUMedinfo1	0.3413	0.3550
SNUMedinfo2	0.3459	0.3585
SNUMedinfo3	0.3386	0.3524
SNUMedinfo4	0.2942	0.3076
SNUMedinfo5	0.3139	0.3270
ilsp.aueb.1	0.3894	0.4144
ilsp.aueb.2	0.4183	0.4387
fdu	0.2801	0.2811
fdu2	0.2932	0.3045
fdu3	0.2881	0.3076
fdu4	0.2881	0.3076
main system	0.3076	0.3209
BioASQ_Baseline	0.4053	0.4267
BioASQ Baseline 2	0.3789	0.3985
Lab Zhu ,Fdan Univer	0.2490	0.2614
Question Summary	0.0635	0.0663
test json format	0.0645	0.0620
test oracle format	0.0674	0.0653

	Yes/No	Factoid	List
main system	0.8125	0.1250	0.1875	0.1510	0.1149	0.1798	0.1356
system 2	0.8125	0.0938	0.1875	0.1260	0.1149	0.1798	0.1356
system 3	0.8125	0.0625	0.2500	0.1391	0.1149	0.1798	0.1356
fa1	0.8125	0.0313	0.0313	0.0313	0.0357	0.0089	0.0143
ilsp.aueb.1	-	-	-	-	-	-	-
ilsp.aueb.2	-	-	-	-	-	-	-
HPI-S2	0.5625	-	-	-	0.0714	0.0161	0.0262
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
fdu4	0.8125	0.0313	0.1563	0.0859	0.0828	0.3772	0.1280
fdu2	0.8125	0.0625	0.1875	0.1172	0.0828	0.3772	0.1280
fdu	0.8125	0.0625	0.1875	0.1172	0.0828	0.3772	0.1280
fdu3	0.8125	0.0625	0.1875	0.1172	0.0829	0.3772	0.1281
fdu5	0.7500	0.0313	0.0313	0.0313	0.0007	0.0083	0.0013
qaiiit system 1	-	-	-	-	-	-	-
BioASQ_Baseline	0.3125	-	-	-	0.0357	0.0089	0.0143
BioASQ Baseline 2	0.4375	-	-	-	0.0357	0.0089	0.0143

	Automatic scores
main system	0.2968	0.3055
system 2	0.2984	0.3069
system 3	0.2983	0.3080
fa1	-	-
ilsp.aueb.1	0.3852	0.4160
ilsp.aueb.2	0.3989	0.4368
HPI-S2	0.2063	0.2243
SNUMedinfo1	0.3953	0.4114
SNUMedinfo2	0.3897	0.4073
SNUMedinfo3	0.3918	0.4087
SNUMedinfo4	0.3509	0.3708
SNUMedinfo5	0.3641	0.3848
fdu4	0.2604	0.2859
fdu2	0.2590	0.2853
fdu	0.2590	0.2853
fdu3	0.2604	0.2859
fdu5	-	-
qaiiit system 1	0.3081	0.3353
BioASQ_Baseline	0.4570	0.4772
BioASQ Baseline 2	0.4105	0.4388

	Yes/No	Factoid	List
HPI-S2	0.6207	-	-	-	-	-	-
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
main system	0.9655	0.1923	0.2692	0.2308	0.1529	0.1765	0.1587
system 2	0.9655	0.0385	0.1538	0.0897	0.1529	0.1765	0.1587
system 3	0.9655	0.1538	0.2692	0.1987	0.1529	0.1765	0.1587
fa1	0.9655	0.0385	0.0769	0.0577	-	-	-
ilsp.aueb.1	-	-	-	-	-	-	-
ilsp.aueb.2	-	-	-	-	-	-	-
ilsp.aueb.3	-	-	-	-	-	-	-
fdu4	0.9655	0.0769	0.1154	0.0962	0.0175	0.2735	0.0324
oaqa-3b-3	0.0345	0.1538	0.3462	0.2321	0.0520	0.7383	0.0940
oaqa-3b-3-e	0.0345	0.1538	0.3462	0.2321	0.0594	0.8130	0.1072
fdu2	0.6207	0.1154	0.1923	0.1359	0.0851	0.3964	0.1353
fdu3	0.6207	0.1154	0.1923	0.1359	0.0851	0.3964	0.1353
fdu5	0.9655	0.0385	0.0385	0.0385	0.0722	0.1775	0.0390
fdu	0.6207	0.1154	0.1923	0.1359	0.1008	0.4993	0.1608
BioASQ_Baseline	0.3448	-	-	-	-	-	-
BioASQ Baseline 2	0.4828	-	-	-	-	-	-
LabZhu,FDU	0.9655	0.3077	0.3077	0.3077	0.1135	0.5679	0.1740

	Automatic scores
HPI-S2	0.2131	0.2360
SNUMedinfo1	0.4379	0.4468
SNUMedinfo2	0.4363	0.4448
SNUMedinfo3	0.4320	0.4407
SNUMedinfo4	0.4016	0.4128
SNUMedinfo5	0.4121	0.4238
main system	0.3158	0.3389
system 2	0.3154	0.3396
system 3	0.3100	0.3341
fa1	-	-
ilsp.aueb.1	0.4573	0.4863
ilsp.aueb.2	0.5165	0.5459
ilsp.aueb.3	0.4755	0.5072
fdu4	-	-
oaqa-3b-3	-	-
oaqa-3b-3-e	-	-
fdu2	0.3276	0.3467
fdu3	0.3276	0.3467
fdu5	-	-
fdu	0.3679	0.3933
BioASQ_Baseline	0.4518	0.4775
BioASQ Baseline 2	0.4772	0.5005
LabZhu,FDU	0.2820	0.2868

	Yes/No	Factoid	List
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
HPI-S2	0.5600	0.0345	0.0345	0.0345	0.1522	0.0473	0.0689
main system	0.9600	0.2414	0.4828	0.3374	0.1391	0.1453	0.1335
system 2	0.9600	0.2069	0.4483	0.3029	0.1391	0.1453	0.1335
system 3	0.9600	0.2414	0.3793	0.2897	0.1391	0.1453	0.1335
ilsp.aueb.1	-	-	-	-	-	-	-
ilsp.aueb.2	-	-	-	-	-	-	-
ilsp.aueb.3	-	-	-	-	-	-	-
oaqa-3b-4	0.9600	0.4138	0.6552	0.5098	0.3836	0.3450	0.3155
fdu4	0.8800	0.1724	0.3448	0.2471	0.1446	0.5475	0.2189
fdu	0.8800	0.1724	0.3448	0.2471	0.1446	0.5475	0.2189
fdu2	0.9600	0.1724	0.3448	0.2471	0.1446	0.5475	0.2189
fdu3	0.9600	0.1724	0.3448	0.2471	0.1446	0.5475	0.2189
fa1	0.9600	0.0690	0.2069	0.1236	-	-	-
BioASQ_Baseline	0.3600	-	-	-	-	-	-
BioASQ Baseline 2	0.4000	-	-	-	-	-	-
Lab Zhu ,Fdan Univer	0.9600	0.2414	0.4138	0.3115	0.1232	0.4525	0.1827
LabZhu,FDU	0.9600	0.2414	0.4138	0.3115	0.1348	0.4303	0.1937
LabZhu_FDU	0.9600	0.2414	0.4138	0.3115	0.1467	0.4092	0.2039
LabZhu-FDU	0.9600	0.2414	0.3793	0.2943	0.1630	0.4470	0.2251

	Automatic scores
SNUMedinfo1	0.4018	0.4107
SNUMedinfo2	0.4250	0.4323
SNUMedinfo3	0.3969	0.4036
SNUMedinfo4	0.3747	0.3816
SNUMedinfo5	0.3879	0.3948
HPI-S2	0.2672	0.2872
main system	0.3430	0.3545
system 2	0.3387	0.3509
system 3	0.3380	0.3490
ilsp.aueb.1	0.4416	0.4631
ilsp.aueb.2	0.4672	0.4927
ilsp.aueb.3	0.4441	0.4699
oaqa-3b-4	-	-
fdu4	0.3260	0.3338
fdu	0.2490	0.2588
fdu2	0.2490	0.2588
fdu3	0.3260	0.3338
fa1	-	-
BioASQ_Baseline	0.4672	0.4891
BioASQ Baseline 2	0.4322	0.4495
Lab Zhu ,Fdan Univer	0.2455	0.2635
LabZhu,FDU	0.2455	0.2635
LabZhu_FDU	0.2455	0.2635
LabZhu-FDU	0.2455	0.2635

	Yes/No	Factoid	List
fa1	0.6786	0.1364	0.1818	0.1455	-	-	-
main system	0.6786	0.0455	0.1364	0.0720	0.1139	0.1757	0.1293
system 2	0.6786	0.0455	0.2727	0.1303	0.1139	0.1757	0.1293
system 3	0.6786	0.0909	0.1364	0.1061	0.1139	0.1757	0.1293
ilsp.aueb.1	-	-	-	-	-	-	-
ilsp.aueb.2	-	-	-	-	-	-	-
ilsp.aueb.3	-	-	-	-	-	-	-
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
fdu	0.7143	0.2273	0.2727	0.2500	0.0914	0.4146	0.1376
fdu2	0.6786	0.2273	0.2727	0.2500	0.0935	0.4146	0.1404
fdu3	0.6786	0.2273	0.2727	0.2500	0.0914	0.4146	0.1376
fdu4	0.7143	0.2273	0.2727	0.2500	0.0914	0.4146	0.1376
HPI-S2	0.3571	0.0909	0.0909	0.0909	0.0625	0.0292	0.0397
oaqa-3b-4	0.6786	0.2273	0.3182	0.2727	0.1704	0.1139	0.1296
oaqa-3b-5	0.6786	0.2273	0.3182	0.2727	0.1643	0.2538	0.1860
YodaQA_base	0.6786	0.1818	0.2273	0.2045	0.1514	0.2132	0.1580
BioASQ_Baseline	0.7143	0.0455	0.0455	0.0455	-	-	-
BioASQ Baseline 2	0.6429	0.0455	0.0455	0.0455	-	-	-
Lab Zhu ,Fdan Univer	0.6786	0.2273	0.2727	0.2500	0.0510	0.1486	0.0720

	Automatic scores
fa1	-	-
main system	0.3880	0.4000
system 2	0.3914	0.4032
system 3	0.3901	0.3980
ilsp.aueb.1	0.3959	0.4256
ilsp.aueb.2	0.3959	0.4256
ilsp.aueb.3	0.3705	0.4032
SNUMedinfo1	0.3825	0.3899
SNUMedinfo2	0.3971	0.4033
SNUMedinfo3	0.3780	0.3841
SNUMedinfo4	0.3488	0.3559
SNUMedinfo5	0.3567	0.3639
fdu	0.2261	0.2309
fdu2	0.2261	0.2309
fdu3	0.3172	0.3316
fdu4	0.3172	0.3316
HPI-S2	0.1629	0.1711
oaqa-3b-4	-	-
oaqa-3b-5	-	-
YodaQA_base	-	-
BioASQ_Baseline	0.4038	0.4313
BioASQ Baseline 2	0.3540	0.3862
Lab Zhu ,Fdan Univer	0.3300	0.3336

	Yes/No	Factoid	List
fa1	0.9643	0.1026	0.1538	0.1218	0.1364	0.2636	0.1677
WS4A	0.1071	0.0256	0.0256	0.0256	0.0844	0.1591	0.1090
HPI-S2	0.2500	-	-	-	-	-	-

	Automatic scores
fa1	-	-
WS4A	0.0535	0.0526
HPI-S2	0.2354	0.2544

	Yes/No	Factoid	List
WS4A	0.0938	-	-	-	0.0985	0.1425	0.1023
fa1	0.9063	0.0645	0.1613	0.1075	0.1429	0.1155	0.1213
Lab Zhu,Fudan Univer	0.9063	0.1935	0.2258	0.2097	0.1106	0.3492	0.1550
LabZhu,FDU	0.9063	0.1935	0.2258	0.2097	0.1031	0.3492	0.1444
HPI-S2	-	-	-	-	-	-	-
LabZhu_FDU	0.0938	0.1935	0.2258	0.2097	0.1031	0.3492	0.1444
Lab Zhu ,Fdan Univer	0.9063	0.1935	0.2258	0.2097	0.1052	0.3492	0.1474
LabZhu-FDU	0.9063	0.1935	0.2581	0.2258	0.1038	0.3492	0.1454

	Automatic scores
WS4A	0.0322	0.0300
fa1	-	-
Lab Zhu,Fudan Univer	0.3354	0.3384
LabZhu,FDU	0.3354	0.3384
HPI-S2	0.2583	0.2910
LabZhu_FDU	0.3354	0.3384
Lab Zhu ,Fdan Univer	0.3354	0.3384
LabZhu-FDU	0.3354	0.3384

	Yes/No	Factoid	List
fa1	0.9600	0.1154	0.1923	0.1442	0.2500	0.2873	0.2580
Lab Zhu ,Fdan Univer	0.9600	0.1923	0.2692	0.2192	0.1450	0.5929	0.2181
LabZhu,FDU	0.9600	0.1923	0.2692	0.2192	0.1444	0.6214	0.2176
oaqa-3b-3	0.5200	0.2308	0.2692	0.2436	0.5396	0.5008	0.4828
LabZhu_FDU	0.9600	0.1923	0.2692	0.2192	0.1420	0.5929	0.2132
LabZhu-FDU	0.0400	0.1923	0.2692	0.2192	0.1420	0.5929	0.2132
Lab Zhu,Fudan Univer	0.9600	0.1923	0.2692	0.2192	0.1455	0.5770	0.2185
HPI-S2	-	-	-	-	-	-	-
WS4A	0.2400	0.0385	0.0385	0.0385	0.1172	0.2817	0.1609

	Automatic scores
fa1	-	-
Lab Zhu ,Fdan Univer	0.3312	0.3420
LabZhu,FDU	0.3312	0.3420
oaqa-3b-3	-	-
LabZhu_FDU	0.3312	0.3420
LabZhu-FDU	0.3312	0.3420
Lab Zhu,Fudan Univer	0.3312	0.3420
HPI-S2	0.2903	0.3146
WS4A	0.0874	0.0857

	Yes/No	Factoid	List
Lab Zhu ,Fdan Univer	0.9524	0.0968	0.1935	0.1371	0.1970	0.2258	0.1711
Lab Zhu,Fudan Univer	0.9524	0.0968	0.1935	0.1371	0.2169	0.2925	0.1986
HPI-S2	-	-	-	-	-	-	-
oaqa-3b-4	0.6667	0.2903	0.3871	0.3253	0.2478	0.5494	0.3115
LabZhu,FDU	0.9524	0.0968	0.1935	0.1371	0.2095	0.2925	0.1908
fa1	0.9524	0.0323	0.1935	0.0806	0.0333	0.0444	0.0381

	Automatic scores
Lab Zhu ,Fdan Univer	0.3363	0.3308
Lab Zhu,Fudan Univer	0.3363	0.3308
HPI-S2	0.2525	0.2701
oaqa-3b-4	-	-
LabZhu,FDU	0.3363	0.3308
fa1	-	-

	Yes/No	Factoid	List
fa1	1.0000	0.0606	0.1212	0.0833	0.0875	0.0830	0.0835
Lab Zhu ,Fdan Univer	1.0000	0.1818	0.3333	0.2475	0.0938	0.3479	0.1417
Lab Zhu,Fudan Univer	1.0000	0.2121	0.3030	0.2475	0.1596	0.2188	0.1493
HPI-S2	-	-	-	-	-	-	-
oaqa-3b-5	0.7407	0.2121	0.3939	0.2854	0.2662	0.4170	0.2897
oaqa-3b-5-e	1.0000	0.2121	0.3939	0.2854	0.2165	0.3754	0.2597
LabZhu,FDU	1.0000	0.2121	0.3030	0.2475	0.1636	0.2111	0.1507
LabZhu_FDU	1.0000	0.1818	0.3333	0.2475	0.1036	0.3302	0.1502
LabZhu-FDU	1.0000	0.1818	0.3333	0.2475	0.0854	0.3579	0.1328
WS4A	0.2593	-	-	-	0.0589	0.0698	0.0560
test oracle format	1.0000	-	-	-	0.1715	0.2175	0.1795

	Automatic scores
fa1	-	-
Lab Zhu ,Fdan Univer	0.4762	0.4711
Lab Zhu,Fudan Univer	0.4762	0.4711
HPI-S2	0.3541	0.3799
oaqa-3b-5	-	-
oaqa-3b-5-e	-	-
LabZhu,FDU	0.4762	0.4711
LabZhu_FDU	0.4762	0.4711
LabZhu-FDU	0.4762	0.4711
WS4A	0.0625	0.0583
test oracle format	0.0192	0.0183

The research leading to these results has received funding from the European Commission's Seventh Framework Programme (FP7/2007-2013, ICT-2011.4.4(d), Intelligent Information Management, Targeted Competition Framework) under grant agreement n° 318652.

BioASQ is supported by the National Library of Medicine of the National Institutes of Health under award number R13LM012214. The content is solely the responsibility of the authors and does not necessarily represent the official views of the National Institutes of Health.

Google+

	Yes/No	Factoid			List
System Name	Accuracy	Strict Acc.	Lenient Acc.	MRR	Mean precision	Recall	F-Measure
Wishart-S1	0.9200	0.2222	0.2778	0.2778	0.3186	0.2147	0.2290
Wishart-S2	0.9200	0.2222	0.2778	0.2778	0.3186	0.2147	0.2290
Wishart-S3	0.9200	0.2222	0.3333	0.3056	0.3067	0.2082	0.2207
main system	0.3200	-	-	-	0.0037	0.0394	0.0066
BioASQ_Baseline	0.4400	-	-	-	0.0153	0.0402	0.0204
BioASQ Baseline 2	0.4800	-	-	-	0.0153	0.0402	0.0204
HPI-S2	-	-	-	-	-	-	-

	Automatic scores
System Name	Rouge-2	Rouge-SU4
Wishart-S1	0.2059	0.2202
Wishart-S2	0.2059	0.2202
Wishart-S3	0.2059	0.2202
main system	0.2165	0.2396
BioASQ_Baseline	0.2266	0.2636
BioASQ Baseline 2	0.1935	0.2305
HPI-S2	0.0872	0.0915

BioASQ Participants Area

Oracle: Results for task B-Phase B

+ Task 1b, Test batch 1

Exact Answers

Ideal Answers

+ Task 1b, Test batch 2

Exact Answers

Ideal Answers

+ Task 1b, Test batch 3

Exact Answers

Ideal Answers

+ Task 2b, Test batch 1

Exact Answers

Ideal Answers

+ Task 2b, Test batch 2

Exact Answers

Ideal Answers

+ Task 2b, Test batch 3

Exact Answers

Ideal Answers

+ Task 2b, Test batch 4

Exact Answers

Ideal Answers

+ Task 2b, Test batch 5

Exact Answers

Ideal Answers

+ Task 3b, Test batch 1

Exact Answers

Ideal Answers

+ Task 3b, Test batch 2

Exact Answers

Ideal Answers

+ Task 3b, Test batch 3

Exact Answers

Ideal Answers

+ Task 3b, Test batch 4

Exact Answers

Ideal Answers

+ Task 3b, Test batch 5

Exact Answers

Ideal Answers

+ Task 4b, Test batch 1

Exact Answers

Ideal Answers

+ Task 4b, Test batch 2

Exact Answers

Ideal Answers

+ Task 4b, Test batch 3

Exact Answers

Ideal Answers

+ Task 4b, Test batch 4

Exact Answers

Ideal Answers

+ Task 4b, Test batch 5

Exact Answers

Ideal Answers