BioASQ Participants Area

Oracle: Results for task B-Phase B

The test results are presented in seperate tables for each type of annotation. The "System Description" of each system is used.
The evaluation measures that are used in Task B are presented here .

+ Task 1b, Test batch 1

	Yes/No	Factoid	List
Wishart-S1	0.9200	0.2222	0.2778	0.2778	0.3186	0.2147	0.2290
Wishart-S2	0.9200	0.2222	0.2778	0.2778	0.3186	0.2147	0.2290
Wishart-S3	0.9200	0.2222	0.3333	0.3056	0.3067	0.2082	0.2207
main system	0.3200	-	-	-	0.0037	0.0394	0.0066
BioASQ_Baseline	0.4400	-	-	-	0.0153	0.0402	0.0204
BioASQ Baseline 2	0.4800	-	-	-	0.0153	0.0402	0.0204
HPI-S2	-	-	-	-	-	-	-
UNCC System 1	0.8400	-	-	-	0.0115	0.1499	0.0209

	Automatic scores
Wishart-S1	0.2059	0.2202
Wishart-S2	0.2059	0.2202
Wishart-S3	0.2059	0.2202
main system	0.2165	0.2396
BioASQ_Baseline	0.2266	0.2636
BioASQ Baseline 2	0.1935	0.2305
HPI-S2	0.0872	0.0915
UNCC System 1	0.3032	0.3276

+ Task 1b, Test batch 2

	Yes/No	Factoid	List
main system	0.4231	-	-	-	0.0603	0.1040	0.0680
Wishart-S1	0.9615	0.2500	0.3000	0.3000	0.4060	0.3127	0.3336
system 2	0.4231	-	-	-	0.0437	0.0445	0.0414
system 3	0.4231	-	-	-	0.0644	0.0440	0.0488
system 4	0.4231	-	-	-	0.0644	0.0440	0.0488
BioASQ_Baseline	0.2692	-	-	-	0.0612	0.2062	0.0789
BioASQ Baseline 2	0.5000	-	-	-	0.0612	0.2062	0.0789
UNCC System 1	0.8077	-	-	-	0.0065	0.1243	0.0120
lalala	-	-	-	-	-	-	-

	Automatic scores
main system	0.2122	0.2596
Wishart-S1	0.2106	0.2387
system 2	0.2204	0.2659
system 3	0.2152	0.2592
system 4	0.2152	0.2592
BioASQ_Baseline	0.2074	0.2533
BioASQ Baseline 2	0.2052	0.2577
UNCC System 1	0.3319	0.3596
lalala	-	-

+ Task 1b, Test batch 3

	Yes/No	Factoid	List
main system	0.5769	-	-	-	0.0671	0.1013	0.0727
system 2	0.5769	-	-	-	0.0642	0.0580	0.0575
system 3	0.5769	-	-	-	0.0594	0.0399	0.0450
BioASQ_Baseline	0.6538	-	-	-	0.0209	0.0635	0.0278
BioASQ Baseline 2	0.6154	-	-	-	0.0209	0.0635	0.0278

	Automatic scores
main system	0.2563	0.2828
system 2	0.2505	0.2806
system 3	0.2555	0.2835
BioASQ_Baseline	0.2670	0.2982
BioASQ Baseline 2	0.2547	0.2941

+ Task 2b, Test batch 1

	Yes/No	Factoid	List
main system	0.5938	0.0400	0.1600	0.1000	-	-	-
Biomedical Text Ming	0.9375	0.1600	0.1600	0.1600	0.0572	0.0702	0.0614
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
system 2	0.9375	0.0400	0.1600	0.1000	-	-	-
Wishart-S3	0.8438	0.4400	0.4800	0.4600	0.4478	0.3335	0.3456
Wishart-S2	0.8438	0.4400	0.4800	0.4600	0.4774	0.3335	0.3621
system 3	0.9375	0.0400	0.1600	0.1000	-	-	-
BioASQ_Baseline	0.5313	-	-	-	0.0418	0.0766	0.0501
BioASQ Baseline 2	0.5000	-	-	-	0.0418	0.0766	0.0501
HPI Master Project	0.8750	-	-	-	0.0080	0.0136	0.0084
UNCC System 1	0.9375	-	-	-	0.0073	0.0681	0.0130

	Automatic scores
main system	0.4387	0.4538
Biomedical Text Ming	0.1724	0.1823
SNUMedinfo1	0.4065	0.4100
SNUMedinfo2	0.3778	0.3793
SNUMedinfo3	0.4971	0.4971
SNUMedinfo4	0.3529	0.3542
SNUMedinfo5	0.4602	0.4679
system 2	0.4400	0.4544
Wishart-S3	0.4802	0.4814
Wishart-S2	0.4802	0.4814
system 3	0.4395	0.4535
BioASQ_Baseline	0.3741	0.3943
BioASQ Baseline 2	0.3622	0.3970
HPI Master Project	0.0222	0.0294
UNCC System 1	0.5313	0.5326

+ Task 2b, Test batch 2

	Yes/No	Factoid	List
Biomedical Text Ming	0.8214	-	-	-	0.1596	0.2057	0.1618
main system	0.8214	0.0435	0.1739	0.0942	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
system 2	0.8214	0.0435	0.1739	0.0942	-	-	-
system 3	0.8214	0.0435	0.1739	0.0942	-	-	-
system 4	0.7500	0.0435	0.1739	0.0942	-	-	-
Wishart-S1	0.9286	0.1304	0.1304	0.1304	0.4396	0.4739	0.4122
Wishart-S2	0.9286	0.1304	0.1304	0.1304	0.5120	0.4399	0.4261
system 5	0.7143	0.0435	0.1739	0.0942	-	-	-
BioASQ_Baseline	0.5000	-	-	-	0.1083	0.0962	0.0951
BioASQ Baseline 2	0.3929	-	-	-	0.1083	0.0962	0.0951
UNCC System 1	0.8214	-	-	-	0.0118	0.1974	0.0219

	Automatic scores
Biomedical Text Ming	0.1846	0.1948
main system	0.3280	0.3411
SNUMedinfo2	0.3157	0.3198
SNUMedinfo1	0.3169	0.3225
SNUMedinfo3	0.3116	0.3174
SNUMedinfo4	0.2910	0.2973
SNUMedinfo5	0.2894	0.2982
system 2	0.3247	0.3392
system 3	0.3352	0.3493
system 4	0.3282	0.3419
Wishart-S1	0.3914	0.4089
Wishart-S2	0.3914	0.4089
system 5	0.3231	0.3385
BioASQ_Baseline	0.3183	0.3577
BioASQ Baseline 2	0.3121	0.3359
UNCC System 1	0.4075	0.4258

+ Task 2b, Test batch 3

	Yes/No	Factoid	List
Biomedical Text Ming	0.8333	0.0417	0.1250	0.0833	0.1195	0.1780	0.1373
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
Wishart-S1	0.8889	0.0417	0.0833	0.0556	0.4584	0.3763	0.3909
main system	0.8333	-	-	-	-	-	-
Asclepius	0.8333	0.0417	0.0417	0.0417	-	-	-
BioASQ_Baseline	0.7222	-	-	-	0.1010	0.2340	0.1114
BioASQ Baseline 2	0.6111	-	-	-	0.1010	0.2340	0.1114
Lab Zhu ,Fdan Univer	0.8333	0.0417	0.2083	0.0931	0.0947	0.3322	0.1403
UNCC System 1	0.8333	-	-	-	0.0154	0.1522	0.0269

	Automatic scores
Biomedical Text Ming	0.2134	0.2190
SNUMedinfo1	0.3382	0.3446
SNUMedinfo2	0.3560	0.3605
SNUMedinfo3	0.3321	0.3385
SNUMedinfo4	0.3307	0.3369
SNUMedinfo5	0.3343	0.3407
Wishart-S1	0.4331	0.4427
main system	0.4282	0.4386
Asclepius	-	-
BioASQ_Baseline	0.3319	0.3564
BioASQ Baseline 2	0.3219	0.3589
Lab Zhu ,Fdan Univer	0.2046	0.2092
UNCC System 1	0.4731	0.4754

+ Task 2b, Test batch 4

	Yes/No	Factoid	List
Hippocrates	0.8750	0.0625	0.1875	0.1120	-	-	-
Asclepius	0.8750	0.0625	0.2188	0.1354	-	-	-
Biomedical Text Ming	0.8750	0.0938	0.1250	0.1042	-	-	-
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
Wishart-S1	0.9375	0.2500	0.2813	0.2813	0.2659	0.4029	0.2963
BioASQ_Baseline	0.5000	-	-	-	0.1233	0.1365	0.1062
BioASQ Baseline 2	0.3438	-	-	-	0.1233	0.1365	0.1062
UNCC System 1	0.8750	-	-	-	0.0180	0.0863	0.0286

	Automatic scores
Hippocrates	-	-
Asclepius	-	-
Biomedical Text Ming	0.1796	0.1938
SNUMedinfo1	0.2963	0.3158
SNUMedinfo2	0.2858	0.3087
SNUMedinfo3	0.2927	0.3130
SNUMedinfo4	0.2756	0.2968
SNUMedinfo5	0.3164	0.3384
Wishart-S1	0.4072	0.4295
BioASQ_Baseline	0.3273	0.3677
BioASQ Baseline 2	0.3075	0.3569
UNCC System 1	0.4201	0.4458

+ Task 2b, Test batch 5

	Yes/No	Factoid	List
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
Biomedical Text Ming	1.0000	0.1379	0.1724	0.1466	-	-	-
Asclepius	0.8333	0.0345	0.0690	0.0460	-	-	-
BioASQ_Baseline	0.3750	-	-	-	0.1548	0.1665	0.1319
BioASQ Baseline 2	0.4583	-	-	-	0.1548	0.1665	0.1319
UNCC System 1	1.0000	-	-	-	0.0098	0.1183	0.0177

	Automatic scores
SNUMedinfo1	0.2929	0.3178
SNUMedinfo2	0.2945	0.3185
SNUMedinfo3	0.2895	0.3146
SNUMedinfo4	0.2765	0.2984
SNUMedinfo5	0.2919	0.3163
Biomedical Text Ming	0.1685	0.1817
Asclepius	-	-
BioASQ_Baseline	0.3297	0.3599
BioASQ Baseline 2	0.3366	0.3639
UNCC System 1	0.3967	0.4180

+ Task 3b, Test batch 1

	Yes/No	Factoid	List
HPI-S2	0.6667	-	-	-	0.0327	0.0830	0.0424
auth-qa-1	0.8485	0.1154	0.1154	0.1154	-	-	-
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
ilsp.aueb.1	-	-	-	-	-	-	-
ilsp.aueb.2	-	-	-	-	-	-	-
fdu	0.8485	0.1154	0.2692	0.1744	0.0958	0.4312	0.1520
fdu2	0.8485	0.1154	0.2692	0.1744	0.0958	0.4312	0.1520
fdu3	0.8485	0.1154	0.2692	0.1744	0.0931	0.4085	0.1472
fdu4	0.8485	0.1538	0.3077	0.2128	0.0681	0.4998	0.1166
main system	0.8485	0.1923	0.3846	0.2641	0.1841	0.2597	0.1987
BioASQ_Baseline	0.4545	-	-	-	-	-	-
BioASQ Baseline 2	0.5455	-	-	-	-	-	-
Lab Zhu ,Fdan Univer	0.8485	0.2308	0.3077	0.2481	0.1255	0.5791	0.1823
Question Summary	-	-	-	-	-	-	-
test json format	0.8485	-	-	-	0.0265	0.0149	0.0170
test oracle format	0.8485	-	-	-	0.1179	0.1944	0.1408
UNCC System 1	0.8485	0.0769	0.1154	0.0897	0.0122	0.2364	0.0228

	Automatic scores
HPI-S2	0.1897	0.2015
auth-qa-1	-	-
SNUMedinfo1	0.3413	0.3550
SNUMedinfo2	0.3459	0.3585
SNUMedinfo3	0.3386	0.3524
SNUMedinfo4	0.2942	0.3076
SNUMedinfo5	0.3139	0.3270
ilsp.aueb.1	0.3894	0.4144
ilsp.aueb.2	0.4183	0.4387
fdu	0.2801	0.2811
fdu2	0.2932	0.3045
fdu3	0.2881	0.3076
fdu4	0.2881	0.3076
main system	0.3076	0.3209
BioASQ_Baseline	0.4053	0.4267
BioASQ Baseline 2	0.3789	0.3985
Lab Zhu ,Fdan Univer	0.2490	0.2614
Question Summary	0.0635	0.0663
test json format	0.0645	0.0620
test oracle format	0.0674	0.0653
UNCC System 1	0.5240	0.5368

+ Task 3b, Test batch 2

	Yes/No	Factoid	List
main system	0.8125	0.1250	0.1875	0.1510	0.1149	0.1798	0.1356
system 2	0.8125	0.0938	0.1875	0.1260	0.1149	0.1798	0.1356
system 3	0.8125	0.0625	0.2500	0.1391	0.1149	0.1798	0.1356
auth-qa-1	0.8125	0.0313	0.0313	0.0313	0.0357	0.0089	0.0143
ilsp.aueb.1	-	-	-	-	-	-	-
ilsp.aueb.2	-	-	-	-	-	-	-
HPI-S2	0.5625	-	-	-	0.0714	0.0161	0.0262
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
fdu4	0.8125	0.0313	0.1563	0.0859	0.0828	0.3772	0.1280
fdu2	0.8125	0.0625	0.1875	0.1172	0.0828	0.3772	0.1280
fdu	0.8125	0.0625	0.1875	0.1172	0.0828	0.3772	0.1280
fdu3	0.8125	0.0625	0.1875	0.1172	0.0829	0.3772	0.1281
fdu5	0.7500	0.0313	0.0313	0.0313	0.0007	0.0083	0.0013
qaiiit system 1	-	-	-	-	-	-	-
BioASQ_Baseline	0.3125	-	-	-	0.0357	0.0089	0.0143
BioASQ Baseline 2	0.4375	-	-	-	0.0357	0.0089	0.0143
UNCC System 1	-	-	-	-	-	-	-

	Automatic scores
main system	0.2968	0.3055
system 2	0.2984	0.3069
system 3	0.2983	0.3080
auth-qa-1	-	-
ilsp.aueb.1	0.3852	0.4160
ilsp.aueb.2	0.3989	0.4368
HPI-S2	0.2063	0.2243
SNUMedinfo1	0.3953	0.4114
SNUMedinfo2	0.3897	0.4073
SNUMedinfo3	0.3918	0.4087
SNUMedinfo4	0.3509	0.3708
SNUMedinfo5	0.3641	0.3848
fdu4	0.2604	0.2859
fdu2	0.2590	0.2853
fdu	0.2590	0.2853
fdu3	0.2604	0.2859
fdu5	-	-
qaiiit system 1	0.3081	0.3353
BioASQ_Baseline	0.4570	0.4772
BioASQ Baseline 2	0.4105	0.4388
UNCC System 1	0.5451	0.5674

+ Task 3b, Test batch 3

	Yes/No	Factoid	List
HPI-S2	0.6207	-	-	-	-	-	-
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
main system	0.9655	0.1923	0.2692	0.2308	0.1529	0.1765	0.1587
system 2	0.9655	0.0385	0.1538	0.0897	0.1529	0.1765	0.1587
system 3	0.9655	0.1538	0.2692	0.1987	0.1529	0.1765	0.1587
auth-qa-1	0.9655	0.0385	0.0769	0.0577	-	-	-
ilsp.aueb.1	-	-	-	-	-	-	-
ilsp.aueb.2	-	-	-	-	-	-	-
ilsp.aueb.3	-	-	-	-	-	-	-
fdu4	0.9655	0.0769	0.1154	0.0962	0.0175	0.2735	0.0324
oaqa-3b-3	0.0345	0.1538	0.3462	0.2321	0.0520	0.7383	0.0940
oaqa-3b-3-e	0.0345	0.1538	0.3462	0.2321	0.0594	0.8130	0.1072
fdu2	0.6207	0.1154	0.1923	0.1359	0.0851	0.3964	0.1353
fdu3	0.6207	0.1154	0.1923	0.1359	0.0851	0.3964	0.1353
fdu5	0.9655	0.0385	0.0385	0.0385	0.0722	0.1775	0.0390
fdu	0.6207	0.1154	0.1923	0.1359	0.1008	0.4993	0.1608
BioASQ_Baseline	0.3448	-	-	-	-	-	-
BioASQ Baseline 2	0.4828	-	-	-	-	-	-
LabZhu,FDU	0.9655	0.3077	0.3077	0.3077	0.1135	0.5679	0.1740
UNCC System 1	0.9655	0.0385	0.1538	0.0865	0.0191	0.2969	0.0341

	Automatic scores
HPI-S2	0.2131	0.2360
SNUMedinfo1	0.4379	0.4468
SNUMedinfo2	0.4363	0.4448
SNUMedinfo3	0.4320	0.4407
SNUMedinfo4	0.4016	0.4128
SNUMedinfo5	0.4121	0.4238
main system	0.3158	0.3389
system 2	0.3154	0.3396
system 3	0.3100	0.3341
auth-qa-1	-	-
ilsp.aueb.1	0.4573	0.4863
ilsp.aueb.2	0.5165	0.5459
ilsp.aueb.3	0.4755	0.5072
fdu4	-	-
oaqa-3b-3	-	-
oaqa-3b-3-e	-	-
fdu2	0.3276	0.3467
fdu3	0.3276	0.3467
fdu5	-	-
fdu	0.3679	0.3933
BioASQ_Baseline	0.4518	0.4775
BioASQ Baseline 2	0.4772	0.5005
LabZhu,FDU	0.2820	0.2868
UNCC System 1	0.5994	0.6128

+ Task 3b, Test batch 4

	Yes/No	Factoid			List
System Name	Accuracy	Strict Acc.	Lenient Acc.	MRR	Mean precision	Recall	F-Measure
SNUMedinfo1	-	-	-	-	-	-	-
SNUMedinfo2	-	-	-	-	-	-	-
SNUMedinfo3	-	-	-	-	-	-	-
SNUMedinfo4	-	-	-	-	-	-	-
SNUMedinfo5	-	-	-	-	-	-	-
HPI-S2	0.5600	0.0345	0.0345	0.0345	0.1522	0.0473	0.0689
main system	0.9600	0.2414	0.4828	0.3374	0.1391	0.1453	0.1335
system 2	0.9600	0.2069	0.4483	0.3029	0.1391	0.1453	0.1335
system 3	0.9600	0.2414	0.3793	0.2897	0.1391	0.1453	0.1335
ilsp.aueb.1	-	-	-	-	-	-	-
ilsp.aueb.2	-	-	-	-	-	-	-
ilsp.aueb.3	-	-	-	-	-	-	-
oaqa-3b-4	0.9600	0.4138	0.6552	0.5098	0.3836	0.3450	0.3155
fdu4	0.8800	0.1724	0.3448	0.2471	0.1446	0.5475	0.2189
fdu	0.8800	0.1724	0.3448	0.2471	0.1446	0.5475	0.2189
fdu2	0.9600	0.1724	0.3448	0.2471	0.1446	0.5475	0.2189
fdu3	0.9600	0.1724	0.3448	0.2471	0.1446	0.5475	0.2189
auth-qa-1	0.9600	0.0690	0.2069	0.1236	-	-	-
BioASQ_Baseline	0.3600	-	-	-	-	-	-
BioASQ Baseline 2	0.4000	-	-	-	-	-	-
Lab Zhu ,Fdan Univer	0.9600	0.2414	0.4138	0.3115	0.1232	0.4525	0.1827
LabZhu,FDU	0.9600	0.2414	0.4138	0.3115	0.1348	0.4303	0.1937
LabZhu_FDU	0.9600	0.2414	0.4138	0.3115	0.1467	0.4092	0.2039
LabZhu-FDU	0.9600	0.2414	0.3793	0.2943	0.1630	0.4470	0.2251
UNCC System 1	0.9600	0.0345	0.1379	0.0805	0.0139	0.1570	0.0251

	Automatic scores
System Name	Rouge-2	Rouge-SU4
SNUMedinfo1	0.4018	0.4107

BioASQ Participants Area

Oracle: Results for task B-Phase B

+ Task 1b, Test batch 1

Exact Answers

Ideal Answers

+ Task 1b, Test batch 2

Exact Answers

Ideal Answers

+ Task 1b, Test batch 3

Exact Answers

Ideal Answers

+ Task 2b, Test batch 1

Exact Answers

Ideal Answers

+ Task 2b, Test batch 2

Exact Answers

Ideal Answers

+ Task 2b, Test batch 3

Exact Answers

Ideal Answers

+ Task 2b, Test batch 4

Exact Answers

Ideal Answers

+ Task 2b, Test batch 5

Exact Answers

Ideal Answers

+ Task 3b, Test batch 1

Exact Answers

Ideal Answers

+ Task 3b, Test batch 2

Exact Answers

Ideal Answers

+ Task 3b, Test batch 3

Exact Answers

Ideal Answers

+ Task 3b, Test batch 4

Exact Answers

Ideal Answers