BioASQ Participants Area

Oracle: Results for task B-Phase A

Below you can find the results of the official challenge and the results of the oracle highlighted purple. In addition, you can find your results as part of the results of the oracle even if you selected "not visible" during their submission (in this case they are visible only to you).

+ Task 1b, Test batch 1

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
MCTeamMM	0.2266	0.1481	0.1249	0.0892	0.0005
MCTeamMM10	0.0326	0.1481	0.0436	0.0892	0.0005
Top 50 Baseline	0.2470	0.2591	0.1920	0.1503	0.0024
Top 100 Baseline	0.2460	0.2845	0.1999	0.1606	0.0028
Wishart-S1	0.0465	0.0484	0.0350	0.0237	0.0001
fdu_5b	0.1865	0.2228	0.1791	0.1300	0.0084
Multiclass system	0.4000	0.2222	0.2857	0.1238	0.1238
PersonalHealthRecord	0.1600	0.1148	0.1274	0.1515	0.0002

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
Top 50 Baseline	0.1276	0.0816	0.0688	0.0512	0.0004
Top 100 Baseline	0.1264	0.0953	0.0748	0.0578	0.0004

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
Top 50 Baseline	0.1208	0.7588	0.1721	0.4575	0.2034
Top 100 Baseline	0.0799	0.8583	0.1234	0.4718	0.2753
Wishart-S1	0.4643	0.4290	0.3662	0.3422	0.0632

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
MCTeamMM	0.1866	0.5137	0.1831	0.1886	0.0101
MCTeamMM10	0.1866	0.5137	0.1831	0.1886	0.0101
Top 50 Baseline	0.1653	0.3676	0.1506	0.1483	0.0028
Top 100 Baseline	0.1500	0.5081	0.1718	0.2051	0.0056
Wishart-S1	0.2667	0.0423	0.0613	0.0417	0.0002

+ Task 1b, Test batch 2

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
MCTeamMM	0.1121	0.1375	0.0867	0.0522	0.0002
MCTeamMM10	0.0275	0.1375	0.0433	0.0522	0.0002
Wishart-S1	0.0819	0.1118	0.0772	0.0382	0.0002
Top 100 Baseline	0.1578	0.2867	0.1569	0.1090	0.0018
Top 50 Baseline	0.1577	0.2307	0.1482	0.0968	0.0015
Wishart-S2	0.0819	0.1118	0.0772	0.0382	0.0002

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
Wishart-S1	0.0564	0.0772	0.0491	0.0360	0.0002
Top 100 Baseline	0.0871	0.0858	0.0605	0.0337	0.0003
Top 50 Baseline	0.0855	0.0640	0.0515	0.0272	0.0002
Wishart-S2	0.0564	0.0772	0.0491	0.0360	0.0002

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
Wishart-S1	0.4023	0.4663	0.3742	0.4108	0.0937
Top 100 Baseline	0.0561	0.7833	0.0939	0.4634	0.2148
Top 50 Baseline	0.0974	0.7399	0.1455	0.4555	0.1989
Wishart-S2	0.3966	0.4794	0.3788	0.3653	0.0979

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
MCTeamMM	0.0222	0.4403	0.0413	0.0763	0.0033
MCTeamMM10	0.0222	0.4403	0.0413	0.0763	0.0033
Top 100 Baseline	0.0167	0.3404	0.0309	0.0844	0.0013
Top 50 Baseline	0.0311	0.3265	0.0540	0.0841	0.0013

+ Task 1b, Test batch 3

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
Top 50 Baseline	0.2773	0.3185	0.2451	0.1771	0.0055
Top 100 Baseline	0.2731	0.3580	0.2449	0.1834	0.0065
main system	1.0000	0.8986	0.9453	12.7258	9.7605

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
Top 50 Baseline	0.1040	0.0857	0.0802	0.0527	0.0006
Top 100 Baseline	0.1035	0.0909	0.0816	0.0537	0.0007
main system	0.0030	0.1358	0.0058	0.0031	0.0001

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
Top 50 Baseline	0.0821	0.6977	0.1284	0.3937	0.1200
Top 100 Baseline	0.0537	0.7611	0.0853	0.4002	0.1253
main system	0.1255	0.1599	0.1117	0.0581	0.0005

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
Top 50 Baseline	0.0339	0.2833	0.0571	0.0487	0.0005
Top 100 Baseline	0.0178	0.3136	0.0326	0.0492	0.0009
MCTeamMM	0.0139	0.1938	0.0253	0.0333	0.0005
MCTeamMM10	0.0139	0.1938	0.0253	0.0333	0.0005
main system	0.0000	0.0000	0.0000	0.0000	0.0000

+ Task 2b, Test batch 1

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
Biomedical Text Ming	0.2595	0.1919	0.1678	0.1040	0.0017
Wishart-S1	0.1447	0.1082	0.0858	0.0543	0.0002
SNUMedinfo1	0.0658	0.6114	0.1131	0.2794	0.0773
SNUMedinfo3	0.0661	0.6155	0.1136	0.2762	0.0744
SNUMedinfo4	0.0663	0.6154	0.1139	0.2675	0.0694
SNUMedinfo5	0.0667	0.6161	0.1146	0.2596	0.0662
SNUMedinfo2	0.0655	0.6030	0.1125	0.2727	0.0686
All-Figdoc	0.0260	0.0528	0.0319	0.0082	0.0001
UMass-irSDM	0.0275	0.0558	0.0339	0.0271	0.0002
Doc-Figdoc-UMLS	0.0275	0.0558	0.0339	0.0081	0.0002
All-Figdoc-UMLS	0.0275	0.0558	0.0339	0.0087	0.0002
Wishart-S2	0.1223	0.1248	0.0837	0.0601	0.0002
main system	0.0447	0.2453	0.0713	0.1108	0.0018
Top 50 Baseline	0.2495	0.3671	0.2275	0.1735	0.0062
Top 100 Baseline	0.2477	0.3994	0.2269	0.1766	0.0076
BioASQ Baseline ZS	0.1121	0.1077	0.0806	0.0535	0.0002

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
Biomedical Text Ming	0.0603	0.0389	0.0358	0.0296	0.0002
Wishart-S1	0.0745	0.0583	0.0453	0.0314	0.0001
Wishart-S2	0.0631	0.0645	0.0435	0.0364	0.0001
main system	0.0046	0.1910	0.0088	0.0095	0.0003
Top 50 Baseline	0.0800	0.0867	0.0629	0.0601	0.0009
Top 100 Baseline	0.0798	0.0977	0.0631	0.0608	0.0011
BioASQ Baseline ZS	0.0745	0.0590	0.0456	0.0328	0.0001

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
Biomedical Text Ming	0.1368	0.0941	0.0986	0.0365	0.0003
Wishart-S1	0.5231	0.5412	0.4683	0.6857	0.2577
Wishart-S2	0.5231	0.5412	0.4683	0.6857	0.2577
main system	0.4247	0.5441	0.4074	0.3872	0.1199
Top 50 Baseline	0.0974	0.8271	0.1629	0.5346	0.3743
Top 100 Baseline	0.0584	0.8819	0.1038	0.5403	0.4151
BioASQ Baseline ZS	0.4759	0.5421	0.4495	0.6752	0.1863

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
Wishart-S1	0.0688	0.0023	0.0044	0.0017	0.0000
Wishart-S2	0.0688	0.0023	0.0044	0.0017	0.0000
Top 50 Baseline	0.1208	0.1669	0.1038	0.0557	0.0007
Top 100 Baseline	0.0950	0.2496	0.1133	0.0658	0.0015
BioASQ Baseline ZS	0.0688	0.0023	0.0044	0.0017	0.0000

+ Task 2b, Test batch 2

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
SNUMedinfo1	0.0918	0.5880	0.1487	0.3013	0.1337
SNUMedinfo2	0.0918	0.5891	0.1489	0.2995	0.1312
SNUMedinfo3	0.0911	0.5859	0.1478	0.3016	0.1339
SNUMedinfo4	0.0916	0.5894	0.1487	0.3015	0.1321
All-Abstract-UMLS	0.0215	0.0223	0.0210	0.0087	0.0000
All-Figdoc	0.0190	0.0225	0.0200	0.0063	0.0000
All-Figdoc-UMLS	0.0205	0.0228	0.0207	0.0068	0.0000
Doc-Figdoc-UMLS	0.0160	0.0197	0.0167	0.0051	0.0000
UMass-irSDM	0.0485	0.0683	0.0511	0.0393	0.0006
SNUMedinfo5	0.0914	0.5875	0.1483	0.3007	0.1323
main system	0.0593	0.2340	0.0885	0.0797	0.0019
Wishart-S1	0.1004	0.0840	0.0652	0.0411	0.0001
Wishart-S2	0.1443	0.0982	0.0804	0.0483	0.0002
Wishart-S3	0.1237	0.1037	0.0796	0.0465	0.0002
fdu_biokdd	0.3144	0.4948	0.2902	0.2508	0.0564
HPI-S1	0.0300	0.1292	0.0446	0.0709	0.0008
Top 50 Baseline	0.2775	0.2416	0.1808	0.1134	0.0034
Top 100 Baseline	0.2756	0.2708	0.1811	0.1167	0.0043

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
main system	0.0058	0.2072	0.0110	0.0062	0.0003
Wishart-S1	0.0426	0.0495	0.0329	0.0330	0.0001
Wishart-S2	0.0702	0.0606	0.0423	0.0379	0.0001
Wishart-S3	0.0475	0.0592	0.0379	0.0367	0.0001
HPI-S1	0.0097	0.0746	0.0163	0.0482	0.0004
Top 50 Baseline	0.0752	0.0612	0.0463	0.0313	0.0002
Top 100 Baseline	0.0748	0.0769	0.0461	0.0319	0.0003

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
main system	0.4047	0.5489	0.4109	0.3822	0.1151
Wishart-S1	0.3956	0.5415	0.4157	0.4960	0.1667
Wishart-S2	0.3956	0.5415	0.4157	0.4960	0.1667
Wishart-S3	0.3956	0.5415	0.4157	0.4960	0.1667
fdu_biokdd	0.0184	0.0785	0.0171	0.0551	0.0001
Top 50 Baseline	0.0793	0.8479	0.1405	0.5458	0.3406
Top 100 Baseline	0.0441	0.8947	0.0819	0.5488	0.3711

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
Wishart-S1	0.0341	0.0106	0.0153	0.0038	0.0000
Wishart-S2	0.0341	0.0106	0.0153	0.0038	0.0000
Wishart-S3	0.0341	0.0106	0.0153	0.0038	0.0000
Top 50 Baseline	0.0727	0.2380	0.0590	0.0917	0.0003
Top 100 Baseline	0.0523	0.2512	0.0471	0.0926	0.0006

+ Task 2b, Test batch 3

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
HPI-S2	0.0246	0.1664	0.0382	0.0900	0.0009
BTMG2	0.2770	0.1715	0.1553	0.1022	0.0018
Biomedical Text Ming	0.2770	0.1715	0.1553	0.1009	0.0018
SNUMedinfo1	0.0715	0.5795	0.1194	0.2875	0.0537
SNUMedinfo2	0.0705	0.5739	0.1178	0.2918	0.0536
SNUMedinfo3	0.0716	0.5788	0.1195	0.2852	0.0528
SNUMedinfo4	0.0700	0.5696	0.1169	0.2875	0.0527
SNUMedinfo5	0.0722	0.5833	0.1206	0.2874	0.0540
UMass-irSDM	0.0395	0.0696	0.0417	0.0456	0.0002
Doc-Figdoc-UMLS	0.0070	0.0078	0.0065	0.0011	0.0000
All-Figdoc	0.0135	0.0144	0.0127	0.0019	0.0000
All-Abstract-UMLS	0.0135	0.0257	0.0141	0.0051	0.0000
Wishart-S1	0.1002	0.1325	0.0902	0.0550	0.0003
Wishart-S2	0.1002	0.1325	0.0902	0.0550	0.0003
Wishart-S3	0.0931	0.1389	0.0958	0.0566	0.0003
Wishart-S4	0.0931	0.1389	0.0958	0.0566	0.0003
fdu_biokdd	0.2730	0.5128	0.2766	0.2773	0.0538
Top 50 Baseline	0.2506	0.3243	0.2163	0.1707	0.0038
Top 100 Baseline	0.2471	0.3513	0.2131	0.1728	0.0044

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
HPI-S2	0.0107	0.0857	0.0172	0.0517	0.0002
BTMG2	0.0746	0.0492	0.0443	0.0225	0.0002
Biomedical Text Ming	0.0746	0.0492	0.0443	0.0215	0.0002
Wishart-S1	0.0501	0.1264	0.0516	0.0522	0.0002
Wishart-S2	0.0501	0.1264	0.0516	0.0522	0.0002
Wishart-S3	0.0417	0.1268	0.0522	0.0574	0.0002
Wishart-S4	0.0417	0.1268	0.0522	0.0574	0.0002
Top 50 Baseline	0.0686	0.0777	0.0596	0.0480	0.0002
Top 100 Baseline	0.0668	0.0789	0.0577	0.0486	0.0002

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
HPI-S2	0.1244	0.1244	0.1044	0.0530	0.0006
BTMG2	0.1477	0.1288	0.1174	0.0437	0.0005
Biomedical Text Ming	0.1477	0.1288	0.1174	0.0437	0.0005
Wishart-S1	0.3982	0.4718	0.3861	0.4002	0.1053
Wishart-S2	0.3982	0.4718	0.3861	0.4002	0.1053
Wishart-S3	0.3982	0.4718	0.3861	0.4002	0.1053
Wishart-S4	0.3982	0.4718	0.3861	0.4002	0.1053
fdu_biokdd	0.0240	0.1005	0.0288	0.0540	0.0001
Top 50 Baseline	0.0790	0.7430	0.1326	0.4289	0.2101
Top 100 Baseline	0.0459	0.7982	0.0815	0.4339	0.2174

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
BTMG2	0.0556	0.0026	0.0051	0.0027	0.0000
Biomedical Text Ming	0.0556	0.0026	0.0051	0.0027	0.0000
Wishart-S1	0.1389	0.0039	0.0075	0.0030	0.0001
Wishart-S2	0.1389	0.0039	0.0075	0.0030	0.0001
Wishart-S3	0.1389	0.0039	0.0075	0.0030	0.0001
Wishart-S4	0.1389	0.0039	0.0075	0.0030	0.0001
Top 50 Baseline	0.1567	0.0888	0.0866	0.0374	0.0004
Top 100 Baseline	0.1239	0.1330	0.0878	0.0451	0.0006

+ Task 2b, Test batch 4

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
Biomedical Text Ming	0.1929	0.1497	0.1420	0.0881	0.0009
BTMG2	0.1929	0.1497	0.1420	0.0898	0.0009
All-Abstract-UMLS	0.0275	0.0317	0.0276	0.0068	0.0001
All-Figdoc	0.0260	0.0332	0.0271	0.0085	0.0001
All-Figdoc-UMLS	0.0295	0.0359	0.0302	0.0085	0.0001
Doc-Figdoc-UMLS	0.0245	0.0283	0.0248	0.0075	0.0001
UMass-irSDM	0.0490	0.0754	0.0512	0.0438	0.0003
Wishart-S1	0.0965	0.1283	0.0882	0.0476	0.0003
Wishart-S2	0.0933	0.1223	0.0847	0.0473	0.0003
Wishart-S3	0.0965	0.1283	0.0882	0.0476	0.0003
SNUMedinfo1	0.0707	0.5469	0.1157	0.2663	0.0715
SNUMedinfo2	0.0696	0.5435	0.1142	0.2650	0.0705
SNUMedinfo3	0.0695	0.5441	0.1143	0.2713	0.0678
SNUMedinfo4	0.0685	0.5415	0.1129	0.2696	0.0670
SNUMedinfo5	0.0697	0.5478	0.1146	0.2615	0.0712
HPI-S2	0.0177	0.1362	0.0294	0.0554	0.0003
Top 50 Baseline	0.2293	0.3208	0.2147	0.1532	0.0066
Top 100 Baseline	0.2249	0.3596	0.2115	0.1574	0.0072

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
Biomedical Text Ming	0.0535	0.0444	0.0380	0.0240	0.0002
BTMG2	0.0535	0.0444	0.0380	0.0240	0.0001
Wishart-S1	0.0461	0.1099	0.0443	0.0503	0.0002
Wishart-S2	0.0467	0.1134	0.0450	0.0485	0.0002
Wishart-S3	0.0461	0.1099	0.0443	0.0503	0.0002
HPI-S2	0.0071	0.0882	0.0125	0.0300	0.0001
Top 50 Baseline	0.0923	0.1076	0.0737	0.0539	0.0008
Top 100 Baseline	0.0907	0.1213	0.0721	0.0549	0.0010

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
Biomedical Text Ming	0.5116	0.3529	0.3869	0.2837	0.0511
BTMG2	0.5116	0.3529	0.3869	0.2837	0.0511
Wishart-S1	0.4713	0.4102	0.3956	0.3671	0.0956
Wishart-S2	0.4713	0.4102	0.3956	0.3671	0.0956
Wishart-S3	0.4713	0.4102	0.3956	0.3671	0.0956
HPI-S2	0.1420	0.1185	0.1178	0.0554	0.0006
Top 50 Baseline	0.0979	0.7763	0.1584	0.4859	0.3615
Top 100 Baseline	0.0601	0.8316	0.0996	0.4915	0.3693

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
Wishart-S1	0.1014	0.0112	0.0188	0.0112	0.0000
Wishart-S2	0.1014	0.0112	0.0188	0.0112	0.0000
Wishart-S3	0.1014	0.0112	0.0188	0.0112	0.0000
Top 50 Baseline	0.0643	0.2589	0.0698	0.0839	0.0010
Top 100 Baseline	0.0370	0.2686	0.0468	0.0847	0.0011

+ Task 2b, Test batch 5

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
Biomedical Text Ming	0.2223	0.1446	0.1396	0.0883	0.0008
BTMG2	0.2223	0.1446	0.1396	0.0889	0.0008
SNUMedinfo1	0.0580	0.5178	0.0995	0.2647	0.0476
SNUMedinfo2	0.0577	0.5127	0.0988	0.2612	0.0458
SNUMedinfo3	0.0581	0.5188	0.0997	0.2637	0.0469
SNUMedinfo4	0.0588	0.5199	0.1007	0.2661	0.0450
SNUMedinfo5	0.0605	0.5333	0.1037	0.2657	0.0589
All-Abstract-UMLS	0.0290	0.0499	0.0346	0.0165	0.0001
All-Figdoc	0.0240	0.0401	0.0279	0.0080	0.0001
All-Figdoc-UMLS	0.0235	0.0411	0.0275	0.0086	0.0001
Doc-Figdoc-UMLS	0.0165	0.0312	0.0202	0.0062	0.0001
UMass-irSDM	0.0380	0.0639	0.0432	0.0349	0.0004
Wishart-S1	0.1195	0.1901	0.1184	0.0620	0.0015
Wishart-S2	0.1195	0.1901	0.1184	0.0620	0.0015
Top 50 Baseline	0.2823	0.2424	0.2027	0.1531	0.0028
Top 100 Baseline	0.2816	0.2683	0.2032	0.1558	0.0032

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
Biomedical Text Ming	0.0598	0.0375	0.0387	0.0195	0.0001
BTMG2	0.0598	0.0375	0.0387	0.0196	0.0001
Wishart-S1	0.0464	0.1091	0.0453	0.0476	0.0006
Wishart-S2	0.0464	0.1091	0.0453	0.0476	0.0006
Top 50 Baseline	0.1104	0.0701	0.0665	0.0539	0.0004
Top 100 Baseline	0.1102	0.0733	0.0667	0.0544	0.0004

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
Biomedical Text Ming	0.5029	0.3932	0.4051	0.2994	0.0852
BTMG2	0.5029	0.3932	0.4051	0.2994	0.0852
Wishart-S1	0.4510	0.4129	0.3833	0.3835	0.0985
Wishart-S2	0.4510	0.4129	0.3833	0.3835	0.0985
Top 50 Baseline	0.0763	0.7413	0.1339	0.4711	0.2891
Top 100 Baseline	0.0429	0.8028	0.0799	0.4757	0.3163

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
Biomedical Text Ming	0.0400	0.0010	0.0019	0.0009	0.0000
BTMG2	0.0400	0.0010	0.0019	0.0009	0.0000
Wishart-S1	0.0533	0.0021	0.0036	0.0021	0.0000
Wishart-S2	0.0533	0.0021	0.0036	0.0021	0.0000
Top 50 Baseline	0.0952	0.2263	0.0659	0.0913	0.0008
Top 100 Baseline	0.0540	0.2472	0.0477	0.0929	0.0009

+ Task 3b, Test batch 1

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
auth-qa-1	0.1625	0.0858	0.0981	0.0609	0.0002
SNUMedinfo1	0.2890	0.3188	0.2468	0.2173	0.0231
SNUMedinfo2	0.2890	0.3195	0.2471	0.2172	0.0227
SNUMedinfo3	0.2770	0.3008	0.2335	0.2106	0.0148
SNUMedinfo4	0.2870	0.3171	0.2454	0.2158	0.0244
SNUMedinfo5	0.2660	0.2954	0.2261	0.1974	0.0135
fdu	0.2630	0.3103	0.2278	0.2014	0.0131
fdu2	0.2680	0.3258	0.2362	0.2055	0.0154
fdu3	0.2710	0.3291	0.2394	0.2071	0.0165
fdu4	0.2730	0.3331	0.2423	0.2066	0.0158
ilsp.aueb.1	0.1424	0.1036	0.0932	0.0545	0.0001
HPI-S2	0.1808	0.1761	0.1418	0.0930	0.0026
fdu5	0.0420	0.0349	0.0309	0.0163	0.0000
ustb_prir3	0.2910	0.3242	0.2503	0.2104	0.0243
ustb_prir1	0.2850	0.3200	0.2455	0.2088	0.0257
testtext	0.2890	0.3189	0.2484	0.2094	0.0245
ustb_prir4	0.2880	0.3227	0.2484	0.2069	0.0226
qaiiit system 1	0.2380	0.1871	0.1782	0.1405	0.0015

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
HPI-S2	0.1354	0.1262	0.1139	0.0971	0.0018
ustb_prir3	0.1207	0.1133	0.1013	0.0797	0.0009
ustb_prir1	0.1180	0.1139	0.1003	0.0775	0.0009
testtext	0.1230	0.1112	0.1019	0.0752	0.0009
ustb_prir4	0.1112	0.1056	0.0927	0.0741	0.0009
qaiiit system 1	0.0918	0.0826	0.0697	0.0789	0.0006

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
auth-qa-1	0.0190	0.0512	0.0254	0.0053	0.0000
HPI-S2	0.2850	0.4260	0.2912	0.0777	0.0046
ustb_prir3	0.2194	0.2498	0.1902	0.0529	0.0033
ustb_prir1	0.2226	0.2584	0.1944	0.0543	0.0041
testtext	0.2173	0.2238	0.1861	0.0531	0.0026
ustb_prir4	0.2233	0.2584	0.1949	0.0543	0.0041

+ Task 3b, Test batch 2

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
auth-qa-1	0.1598	0.1208	0.1107	0.0703	0.0002
HPI-S2	0.1592	0.1625	0.1382	0.0915	0.0024
SNUMedinfo1	0.3380	0.3504	0.2931	0.2620	0.0268
SNUMedinfo2	0.3360	0.3502	0.2925	0.2594	0.0242
SNUMedinfo3	0.3370	0.3515	0.2933	0.2560	0.0266
SNUMedinfo4	0.3350	0.3469	0.2899	0.2614	0.0264
SNUMedinfo5	0.3240	0.3402	0.2822	0.2485	0.0277
qaiiit system 1	0.2907	0.2449	0.2250	0.1530	0.0039
ustb_prir1	0.3200	0.3251	0.2728	0.2452	0.0249
ustb_prir2	0.3240	0.3308	0.2770	0.2435	0.0280
ustb_prir3	0.3230	0.3293	0.2758	0.2454	0.0268
ustb_prir4	0.3230	0.3293	0.2758	0.2453	0.0267
testtext	0.3200	0.3281	0.2743	0.2432	0.0266
ilsp.aueb.1	0.1156	0.1109	0.0967	0.0714	0.0003
ilsp.aueb.2	0.1230	0.1190	0.1040	0.0736	0.0005
fdu	0.3460	0.3695	0.3006	0.2831	0.0302
fdu2	0.3450	0.3720	0.3013	0.2818	0.0265
fdu3	0.3400	0.3665	0.2964	0.2760	0.0259
fdu4	0.3470	0.3747	0.3025	0.2715	0.0255
fdu5	0.3100	0.3180	0.2608	0.2548	0.0108

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
HPI-S2	0.1116	0.0807	0.0819	0.0719	0.0012
qaiiit system 1	0.1266	0.1112	0.1011	0.1159	0.0011
ustb_prir1	0.1071	0.0889	0.0852	0.0740	0.0012
ustb_prir2	0.1164	0.0995	0.0947	0.0720	0.0016
ustb_prir3	0.1108	0.0915	0.0886	0.0769	0.0013
ustb_prir4	0.1258	0.1035	0.0988	0.0776	0.0017
testtext	0.1293	0.1052	0.1019	0.0817	0.0020

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
auth-qa-1	0.0035	0.0125	0.0054	0.0025	0.0000
HPI-S2	0.3591	0.5680	0.3994	0.1080	0.0085
ustb_prir1	0.0604	0.3135	0.0960	0.0220	0.0003
ustb_prir2	0.0624	0.3299	0.0997	0.0223	0.0003
ustb_prir3	0.0480	0.2692	0.0785	0.0160	0.0002
ustb_prir4	0.0480	0.2692	0.0785	0.0160	0.0002
testtext	0.0480	0.2692	0.0785	0.0160	0.0002

+ Task 3b, Test batch 3

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
HPI-S2	0.2110	0.1651	0.1665	0.1383	0.0045
auth-qa-1	0.1543	0.0842	0.0948	0.0621	0.0002
ilsp.aueb.1	0.1669	0.1384	0.1347	0.0984	0.0011
ilsp.aueb.2	0.1389	0.1193	0.1112	0.0730	0.0006
oaqa-3b-3	0.3240	0.3052	0.2809	0.2424	0.0387
fdu2	0.3330	0.3114	0.2917	0.2576	0.0305
fdu3	0.3400	0.3401	0.3006	0.2606	0.0425
fdu4	0.3430	0.3420	0.3021	0.2636	0.0495
fdu5	0.3410	0.3425	0.3016	0.2636	0.0432
fdu	0.3420	0.3388	0.3006	0.2622	0.0456
ustb_prir1	0.3550	0.3408	0.3133	0.2621	0.0629
ustb_prir2	0.3780	0.3784	0.3401	0.2844	0.0794
ustb_prir3	0.3890	0.3953	0.3505	0.2904	0.1018
ustb_prir4	0.3870	0.3998	0.3508	0.2863	0.1087
SNUMedinfo1	0.3640	0.3654	0.3286	0.2700	0.0711
SNUMedinfo2	0.3600	0.3608	0.3247	0.2671	0.0684
SNUMedinfo3	0.3800	0.3873	0.3430	0.2850	0.0753
testtext	0.3780	0.3818	0.3406	0.2814	0.0727
qaiiit system 1	0.2001	0.1325	0.1425	0.0809	0.0006
SNUMedinfo4	0.3560	0.3526	0.3193	0.2673	0.0785

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
HPI-S2	0.1546	0.0934	0.1058	0.1269	0.0015
oaqa-3b-3	0.2309	0.1315	0.1467	0.1969	0.0065
fdu	0.2642	0.0862	0.1117	0.1166	0.0018
ustb_prir1	0.2115	0.1367	0.1435	0.1720	0.0138
ustb_prir2	0.2278	0.1469	0.1558	0.1780	0.0114
ustb_prir3	0.2323	0.1532	0.1605	0.1840	0.0131
ustb_prir4	0.1870	0.1344	0.1334	0.1185	0.0056
testtext	0.1751	0.1292	0.1266	0.1128	0.0041

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
HPI-S2	0.1803	0.2574	0.1889	0.0528	0.0006
oaqa-3b-3	0.3909	0.7341	0.4722	0.1890	0.0991
ustb_prir1	0.0351	0.1173	0.0514	0.0096	0.0001
ustb_prir2	0.0351	0.1173	0.0514	0.0096	0.0001
ustb_prir3	0.0245	0.0867	0.0357	0.0073	0.0000
ustb_prir4	0.0246	0.0867	0.0359	0.0073	0.0000
testtext	0.0245	0.0867	0.0357	0.0073	0.0000

+ Task 3b, Test batch 4

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
ilsp.aueb.1	0.1474	0.1155	0.1176	0.0817	0.0007
auth-qa-1	0.1229	0.0654	0.0741	0.0483	0.0002
ilsp.aueb.2	0.1335	0.1038	0.1053	0.0712	0.0006
oaqa-3b-4	0.3258	0.3118	0.2811	0.2466	0.0289
qaiiit system 1	0.2817	0.2203	0.2204	0.1602	0.0029
ustb_prir1	0.3464	0.3498	0.3081	0.2612	0.0412
ustb_prir2	0.3485	0.3514	0.3057	0.2824	0.0546
ustb_prir3	0.3567	0.3606	0.3142	0.2891	0.0444
ustb_prir4	0.3464	0.3498	0.3081	0.2666	0.0424
testtext	0.3608	0.3618	0.3164	0.2851	0.0571
SNUMedinfo1	0.3443	0.3429	0.3038	0.2624	0.0360
SNUMedinfo2	0.3371	0.3360	0.2972	0.2594	0.0306
SNUMedinfo3	0.3577	0.3569	0.3159	0.2796	0.0341
SNUMedinfo4	0.3443	0.3432	0.3040	0.2620	0.0359
SNUMedinfo5	0.3526	0.3471	0.3084	0.2757	0.0422
HPI-S2	0.2483	0.2003	0.1876	0.1601	0.0075
fdu	0.3402	0.3320	0.2975	0.2671	0.0354
fdu3	0.3443	0.3350	0.3004	0.2695	0.0413
fdu2	0.3433	0.3344	0.2996	0.2706	0.0382
fdu5	0.2969	0.2934	0.2586	0.2308	0.0202
fdu4	0.3423	0.3337	0.2987	0.2669	0.0412

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
oaqa-3b-4	0.2622	0.1429	0.1629	0.2092	0.0186
qaiiit system 1	0.1514	0.0888	0.1038	0.1415	0.0013
ustb_prir1	0.2483	0.1556	0.1676	0.1933	0.0150
ustb_prir2	0.2504	0.1605	0.1689	0.1944	0.0175
ustb_prir3	0.2537	0.1634	0.1722	0.2003	0.0190
ustb_prir4	0.2618	0.1623	0.1732	0.2005	0.0212
testtext	0.2638	0.1673	0.1776	0.2070	0.0217
HPI-S2	0.2069	0.1334	0.1432	0.1627	0.0053
fdu	0.3016	0.1590	0.1827	0.2363	0.0158
fdu3	0.3403	0.1657	0.1935	0.2474	0.0168
fdu2	0.3462	0.1657	0.1935	0.2480	0.0169
fdu4	0.3362	0.1680	0.1952	0.2462	0.0170

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
oaqa-3b-4	0.3636	0.6081	0.4133	0.1884	0.0475
ustb_prir1	0.0533	0.1429	0.0714	0.0150	0.0001
ustb_prir2	0.0533	0.1429	0.0714	0.0150	0.0001
ustb_prir3	0.0402	0.1108	0.0538	0.0109	0.0001
ustb_prir4	0.0533	0.1429	0.0714	0.0150	0.0001
testtext	0.0402	0.1108	0.0538	0.0109	0.0001
HPI-S2	0.2127	0.2073	0.1881	0.0668	0.0006

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
oaqa-3b-4	0.0167	0.0208	0.0185	0.0017	0.0000

+ Task 3b, Test batch 5

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
ilsp.aueb.1	0.1696	0.1473	0.1375	0.1062	0.0011
HPI-S2	0.2486	0.2639	0.2073	0.1370	0.0168
ilsp.aueb.2	0.1696	0.1473	0.1375	0.1062	0.0011
ilsp.aueb.3	0.1291	0.0937	0.0855	0.0583	0.0005
SNUMedinfo1	0.4057	0.4899	0.3807	0.3257	0.1261
SNUMedinfo2	0.4097	0.4946	0.3844	0.3284	0.1259
SNUMedinfo3	0.4047	0.4902	0.3805	0.3214	0.1235
SNUMedinfo4	0.4037	0.4879	0.3786	0.3264	0.1247
SNUMedinfo5	0.4167	0.5067	0.3930	0.3333	0.1220
oaqa-3b-4	0.3850	0.4416	0.3490	0.3115	0.1331
ustb_prir1	0.4147	0.4836	0.3852	0.3235	0.1179
ustb_prir2	0.4217	0.5066	0.3953	0.3345	0.1314
ustb_prir3	0.4217	0.5089	0.3962	0.3362	0.1647
ustb_prir4	0.4227	0.5071	0.3959	0.3301	0.1621
fdu	0.4350	0.5096	0.4035	0.3593	0.1424
fdu2	0.4310	0.5080	0.4015	0.3557	0.1087
fdu5	0.4340	0.5101	0.4030	0.3577	0.1390
fdu4	0.4380	0.4885	0.4013	0.3583	0.1088
fdu3	0.4340	0.4843	0.3962	0.3600	0.1072

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
HPI-S2	0.1800	0.1582	0.1522	0.1341	0.0060
oaqa-3b-4	0.2882	0.2152	0.2191	0.2191	0.0359
ustb_prir1	0.2950	0.2433	0.2403	0.2196	0.0487
ustb_prir2	0.3118	0.2556	0.2545	0.2410	0.0610
ustb_prir3	0.3134	0.2573	0.2559	0.2383	0.0611
ustb_prir4	0.3129	0.2532	0.2530	0.2386	0.0612
fdu	0.3364	0.2260	0.2452	0.2417	0.0302
fdu2	0.3285	0.2245	0.2415	0.2424	0.0278
fdu4	0.3333	0.2197	0.2395	0.2378	0.0254
fdu3	0.3321	0.2183	0.2393	0.2423	0.0213

+ Task 4b, Test batch 1

+ Task 4b, Test batch 2

+ Task 4b, Test batch 3

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
KNU-SG Team_Korea	0.1960	0.2647	0.1875	0.1435	0.0078
ustb_prir1	0.3040	0.4795	0.3091	0.2113	0.0388
ustb_prir2	0.3050	0.5012	0.3108	0.2269	0.0527
ustb_prir3	0.3090	0.4884	0.3145	0.2139	0.0456
HPI-S2	0.0150	0.0146	0.0137	0.0076	0.0000
ustb_prir4	0.3110	0.4956	0.3153	0.2267	0.0477
testtext	0.3180	0.5018	0.3225	0.2279	0.0482
fdu	0.3040	0.4955	0.3095	0.2155	0.0470
fdu2	0.2920	0.4851	0.2981	0.2102	0.0404
fdu3	0.3000	0.4904	0.3042	0.2085	0.0401
fdu4	0.2880	0.4794	0.2941	0.2039	0.0383
fdu5	0.2800	0.4624	0.2849	0.1939	0.0395
HPI-S1	0.2579	0.3380	0.2357	0.1511	0.0088
Auth001	0.1310	0.1712	0.1234	0.0837	0.0011
WS4A	0.0242	0.0187	0.0191	0.0103	0.0000
Deep ML methods for	0.2580	0.4199	0.2632	0.1791	0.0287
auth-qa-2	0.1570	0.2805	0.1597	0.0992	0.0058

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
HPI-S2	0.2230	0.2884	0.2206	0.0545	0.0016
oaqa-3b-4	0.3929	0.8250	0.4957	0.1986	0.1021
ustb_prir1	0.0303	0.0875	0.0436	0.0068	0.0001
ustb_prir2	0.0303	0.0875	0.0436	0.0068	0.0001
ustb_prir3	0.0207	0.0375	0.0251	0.0040	0.0000
ustb_prir4	0.0207	0.0375	0.0251	0.0040	0.0000

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
ustb_prir1	0.1588	0.4576	0.2160	0.1094	0.0130
ustb_prir2	0.1566	0.4052	0.2011	0.1086	0.0076
ustb_prir3	0.0159	0.0418	0.0209	0.0122	0.0000
ustb_prir4	0.1162	0.3548	0.1605	0.0791	0.0032
auth	0.3307	0.5251	0.3691	0.1433	0.0170
testtext	0.1293	0.3762	0.1739	0.0761	0.0029
HPI-S1	0.4296	0.2481	0.2818	0.0860	0.0021
auth-qa-2	0.0000	0.0000	0.0000	0.0000	0.0000

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
WS4A	0.1000	0.4167	0.1540	0.0462	0.0004
auth-qa-2	0.0000	0.0000	0.0000	0.0000	0.0000

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
KNU-SG Team_Korea	0.3005	0.4360	0.3070	0.2089	0.0506
KNU-SG Team_Korea2	0.3005	0.4353	0.3067	0.2081	0.0461
KNU-SG Team_Korea3	0.2270	0.2853	0.2178	0.1555	0.0134
KNU-SG Team_Korea4	0.2260	0.2836	0.2165	0.1543	0.0123
fdu	0.3320	0.5025	0.3433	0.2503	0.0353
fdu2	0.3290	0.4836	0.3396	0.2529	0.0291
fdu3	0.3510	0.5126	0.3622	0.2578	0.0503
fdu4	0.3590	0.5075	0.3672	0.2602	0.0514
fdu5	0.3530	0.4955	0.3606	0.2583	0.0460
ustb_prir2	0.3560	0.5561	0.3750	0.2725	0.0606
ustb_prir1	0.3580	0.5427	0.3762	0.2654	0.0621
ustb_prir3	0.3570	0.5467	0.3767	0.2676	0.0588
KNU-SG Team_Korea5	0.3005	0.4360	0.3070	0.2089	0.0506
ustb_prir4	0.3540	0.5525	0.3724	0.2694	0.0593
testtext	0.3570	0.5484	0.3774	0.2695	0.0558

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
KNU-SG Team_Korea	0.2451	0.2082	0.1975	0.1573	0.0189
KNU-SG Team_Korea2	0.2496	0.2104	0.2004	0.1590	0.0172
KNU-SG Team_Korea3	0.1764	0.1402	0.1348	0.1287	0.0054
KNU-SG Team_Korea4	0.1767	0.1391	0.1339	0.1283	0.0049
fdu3	0.2484	0.1793	0.1875	0.1775	0.0138
fdu4	0.2542	0.1679	0.1852	0.1870	0.0099
fdu5	0.2496	0.1631	0.1779	0.1670	0.0107
ustb_prir2	0.1777	0.1922	0.1647	0.0879	0.0035
ustb_prir1	0.1771	0.1919	0.1637	0.0884	0.0033
ustb_prir3	0.1712	0.1946	0.1613	0.0843	0.0033
KNU-SG Team_Korea5	0.2451	0.2082	0.1975	0.1573	0.0189
ustb_prir4	0.1714	0.1960	0.1622	0.0830	0.0032
testtext	0.1683	0.2038	0.1677	0.0774	0.0043
WS4A	0.0032	0.0021	0.0025	0.0022	0.0000

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
ustb_prir2	0.1274	0.4968	0.1906	0.0814	0.0035
ustb_prir1	0.1541	0.5854	0.2164	0.1124	0.0142
ustb_prir3	0.1295	0.5084	0.1858	0.0888	0.0065
ustb_prir4	0.1098	0.4587	0.1617	0.0655	0.0041
testtext	0.0869	0.3609	0.1262	0.0514	0.0011
auth	0.1115	0.4417	0.1589	0.0814	0.0037

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
HPI-S1	0.3155	0.3453	0.2880	0.1531	0.0105
HPI-S2	0.0060	0.0054	0.0053	0.0029	0.0000
KNU-SG Team_Korea	0.2640	0.4149	0.2664	0.2019	0.0340
KNU-SG Team_Korea2	0.2640	0.4149	0.2664	0.2019	0.0340
KNU-SG Team_Korea3	0.2630	0.4143	0.2657	0.2007	0.0336
KNU-SG Team_Korea4	0.2630	0.4143	0.2657	0.2007	0.0336
KNU-SG Team_Korea5	0.2747	0.4076	0.2717	0.2020	0.0311
fdu	0.3254	0.5012	0.3344	0.2311	0.0766
ustb_prir1	0.3410	0.5114	0.3461	0.2488	0.0683
ustb_prir2	0.3230	0.4944	0.3269	0.2380	0.0596
ustb_prir3	0.3440	0.5159	0.3493	0.2508	0.0691
ustb_prir4	0.3450	0.5193	0.3483	0.2553	0.0706
testtext	0.3420	0.5162	0.3456	0.2512	0.0688
fdu2	0.3394	0.5073	0.3440	0.2526	0.0704
fdu3	0.0860	0.1553	0.0885	0.0490	0.0004
fdu4	0.3844	0.5019	0.3716	0.3025	0.0435
fdu5	0.3514	0.4656	0.3417	0.2658	0.0377
oaqa-3b-3	0.2370	0.3638	0.2360	0.1798	0.0127

System Name	Mean precision	Recall	F-Measure	MAP	GMAP
HPI-S1	0.2359	0.2145	0.1918	0.1696	0.0058
KNU-SG Team_Korea	0.2048	0.1489	0.1507	0.1693	0.0075
KNU-SG Team_Korea2	0.2206	0.1965	0.1765	0.1684	0.0086
KNU-SG Team_Korea3	0.2047	0.1488	0.1507	0.1681	0.0075
KNU-SG Team_Korea4	0.2192	0.1953	0.1751	0.1669	0.0085
KNU-SG Team_Korea5	0.2016	0.1409	0.1442	0.1678	0.0084
ustb_prir1	0.2092	0.2379	0.1956	0.1127	0.0046
ustb_prir2	0.2020	0.2308	0.1899	0.1002	0.0044
ustb_prir3	0.2073	0.2376	0.1946	0.1064	0.0050
ustb_prir4	0.1986	0.2309	0.1876	0.0999	0.0047
testtext	0.2029	0.2336	0.1905	0.1069	0.0052
fdu4	0.2884	0.1659	0.1892	0.2105	0.0105
fdu5	0.2825	0.1699	0.1926	0.2214	0.0118
oaqa-3b-3	0.0326	0.0228	0.0255	0.0197	0.0000

BioASQ Participants Area

Oracle: Results for task B-Phase A

+ Task 1b, Test batch 1

Documents

Snippets

Concepts

RDF triples

+ Task 1b, Test batch 2

Documents

Snippets

Concepts

RDF triples

+ Task 1b, Test batch 3

Documents

Snippets

Concepts

RDF triples

+ Task 2b, Test batch 1

Documents

Snippets

Concepts

RDF triples

+ Task 2b, Test batch 2

Documents

Snippets

Concepts

RDF triples

+ Task 2b, Test batch 3

Documents

Snippets

Concepts

RDF triples

+ Task 2b, Test batch 4

Documents

Snippets

Concepts

RDF triples

+ Task 2b, Test batch 5

Documents

Snippets

Concepts

RDF triples

+ Task 3b, Test batch 1

Documents

Snippets

Concepts

RDF triples

+ Task 3b, Test batch 2

Documents

Snippets

Concepts

RDF triples

+ Task 3b, Test batch 3

Documents

Snippets

Concepts

RDF triples

+ Task 3b, Test batch 4

Documents

Snippets

Concepts

RDF triples

+ Task 3b, Test batch 5

Documents

Snippets

Concepts

RDF triples

+ Task 4b, Test batch 1

Documents

Snippets

Concepts

RDF triples

+ Task 4b, Test batch 2

Documents

Snippets

Concepts

RDF triples

+ Task 4b, Test batch 3

Documents

Snippets