BioASQ Participants Area

Task 12b: Test Results of Phase A

* The "-" replace the scores of systems that didn't submit the corresponding annotations. *
The test results are presented in separate tables for each type of annotation. They are sorted based on the scores of MAP. The "System Description" of each system is used.
The evaluation measures that are used are presented here .

Test batch 1

Documents

System	Mean precision	Recall	F-Measure	MAP	GMAP
first batch	0.1800	0.1055	0.1184	0.1015	0.0046
IR1	0.1506	0.0769	0.0883	0.1130	0.0025
mibi_rag_snippet	0.2774	0.1325	0.1535	0.1952	0.0036
mibi_rag_abstract	0.2774	0.1325	0.1535	0.1952	0.0036
2	0.2960	0.1143	0.1497	0.1767	0.0068
UR-IW-5	0.3855	0.1639	0.1944	0.2651	0.0173
UR-IW-4	0.3065	0.1236	0.1583	0.2361	0.0018
UR-IW-2	0.4154	0.1822	0.2265	0.3174	0.0212
UR-IW-3	0.3933	0.1762	0.2149	0.2847	0.0210
UR-IW-1	0.5067	0.2620	0.2997	0.3729	0.0607
bioinfo-0	0.4346	0.2952	0.3069	0.3637	0.1164
bioinfo-1	0.4603	0.3172	0.3288	0.4014	0.1495
bioinfo-2	0.4737	0.3354	0.3443	0.4142	0.1907
bioinfo-3	0.4221	0.3039	0.3032	0.3955	0.1259
bioinfo-4	0.4333	0.3180	0.3140	0.4063	0.1690
Fleming-1	0.3775	0.2718	0.2551	0.3026	0.0670
qa	0.0569	0.0185	0.0197	0.0225	0.0000
Gatech competition	0.1661	0.1023	0.1119	0.0908	0.0011
GTBioASQsys2	0.1533	0.0969	0.1050	0.0903	0.0006
GTBioASQsys3	0.2103	0.1128	0.1261	0.1129	0.0014
dmiip2024	0.4859	0.3434	0.3334	0.4833	0.2328
dmiip2024_1	0.5071	0.3481	0.3487	0.4906	0.2728
dmiip2024_2	0.4965	0.3437	0.3412	0.4828	0.2948
dmiip2024_4	0.5094	0.3433	0.3450	0.4965	0.3042
dmiip2024_3	0.5094	0.3432	0.3453	0.5051	0.2753
IRIS_1	0.3635	0.2537	0.2502	0.3016	0.0545
IRIS_2	0.3365	0.2493	0.2330	0.2806	0.0642
IRIS_4	0.3718	0.2642	0.2541	0.3241	0.0979
simple truncation	0.2165	0.1122	0.1320	0.1221	0.0083
IRIS_5	0.3388	0.2589	0.2389	0.2829	0.0491
IRIS_3	0.3635	0.2633	0.2516	0.3217	0.0705
HU-WBI-1	0.3565	0.2104	0.2330	0.2965	0.0536
4	0.3266	0.1398	0.1806	0.2400	0.0189
ashley2	0.3294	0.1893	0.2121	0.2697	0.0318
ashley3	0.2894	0.1653	0.1827	0.2390	0.0199
3	0.3439	0.0919	0.1333	0.1553	0.0086
CPS	0.3564	0.0878	0.1177	0.1150	0.0037
Fleming-2	0.3730	0.2630	0.2525	0.2836	0.0401
Fleming-3	0.3615	0.2584	0.2457	0.2701	0.0509
Fleming-4	0.3775	0.2718	0.2551	0.3026	0.0670

Snippets

System	Mean precision	Recall	F-Measure	MAP	GMAP
first batch	0.0647	0.0002	0.0003	0.0276	0.0003
IR1	-	-	-	-	-
mibi_rag_snippet	0.1047	0.0278	0.0399	0.0923	0.0004
mibi_rag_abstract	0.1047	0.0278	0.0399	0.0923	0.0004
2	-	-	-	-	-
UR-IW-5	0.3303	0.1002	0.1355	0.2413	0.0102
UR-IW-4	0.4059	0.1435	0.1923	0.3007	0.0199
UR-IW-2	0.3987	0.2348	0.2673	0.2771	0.0187
UR-IW-3	0.3400	0.1101	0.1490	0.2488	0.0146
UR-IW-1	0.4265	0.1765	0.2233	0.3295	0.0376
bioinfo-0	-	-	-	-	-
bioinfo-1	-	-	-	-	-
bioinfo-2	-	-	-	-	-
bioinfo-3	-	-	-	-	-
bioinfo-4	-	-	-	-	-
Fleming-1	0.0018	0.0014	0.0016	0.0002	0.0000
qa	-	-	-	-	-
Gatech competition	0.1154	0.0353	0.0496	0.0515	0.0005
GTBioASQsys2	0.0883	0.0136	0.0218	0.0231	0.0001
GTBioASQsys3	0.1536	0.0259	0.0407	0.0453	0.0003
dmiip2024	0.4527	0.2613	0.2721	0.5010	0.1391
dmiip2024_1	0.4421	0.2560	0.2730	0.4884	0.1280
dmiip2024_2	0.4491	0.2507	0.2696	0.5131	0.1678
dmiip2024_4	0.4479	0.2528	0.2651	0.5027	0.1807
dmiip2024_3	0.4491	0.2594	0.2711	0.5110	0.1620
IRIS_1	-	-	-	-	-
IRIS_2	-	-	-	-	-
IRIS_4	-	-	-	-	-
simple truncation	-	-	-	-	-
IRIS_5	-	-	-	-	-
IRIS_3	-	-	-	-	-
HU-WBI-1	-	-	-	-	-
4	-	-	-	-	-
ashley2	-	-	-	-	-
ashley3	-	-	-	-	-
3	-	-	-	-	-
CPS	-	-	-	-	-
Fleming-2	0.0021	0.0007	0.0011	0.0005	0.0000
Fleming-3	0.2549	0.0939	0.1220	0.1954	0.0106
Fleming-4	0.0018	0.0014	0.0016	0.0002	0.0000

Concepts

System	Mean precision	Recall	F-Measure	MAP	GMAP
first batch	-	-	-	-	-
IR1	-	-	-	-	-
mibi_rag_snippet	-	-	-	-	-
mibi_rag_abstract	-	-	-	-	-
2	-	-	-	-	-
UR-IW-5	-	-	-	-	-
UR-IW-4	-	-	-	-	-
UR-IW-2	-	-	-	-	-
UR-IW-3	-	-	-	-	-
UR-IW-1	-	-	-	-	-
bioinfo-0	-	-	-	-	-
bioinfo-1	-	-	-	-	-
bioinfo-2	-	-	-	-	-
bioinfo-3	-	-	-	-	-
bioinfo-4	-	-	-	-	-
Fleming-1	-	-	-	-	-
qa	-	-	-	-	-
Gatech competition	-	-	-	-	-
GTBioASQsys2	-	-	-	-	-
GTBioASQsys3	-	-	-	-	-
dmiip2024	-	-	-	-	-
dmiip2024_1	-	-	-	-	-
dmiip2024_2	-	-	-	-	-
dmiip2024_4	-	-	-	-	-
dmiip2024_3	-	-	-	-	-
IRIS_1	-	-	-	-	-
IRIS_2	-	-	-	-	-
IRIS_4	-	-	-	-	-
simple truncation	-	-	-	-	-
IRIS_5	-	-	-	-	-
IRIS_3	-	-	-	-	-
HU-WBI-1	-	-	-	-	-
4	-	-	-	-	-
ashley2	-	-	-	-	-
ashley3	-	-	-	-	-
3	-	-	-	-	-
CPS	-	-	-	-	-
Fleming-2	-	-	-	-	-
Fleming-3	-	-	-	-	-
Fleming-4	-	-	-	-	-

RDF Triples

System	Mean precision	Recall	F-Measure	MAP	GMAP
first batch	-	-	-	-	-
IR1	-	-	-	-	-
mibi_rag_snippet	-	-	-	-	-
mibi_rag_abstract	-	-	-	-	-
2	-	-	-	-	-
UR-IW-5	-	-	-	-	-
UR-IW-4	-	-	-	-	-
UR-IW-2	-	-	-	-	-
UR-IW-3	-	-	-	-	-
UR-IW-1	-	-	-	-	-
bioinfo-0	-	-	-	-	-
bioinfo-1	-	-	-	-	-
bioinfo-2	-	-	-	-	-
bioinfo-3	-	-	-	-	-
bioinfo-4	-	-	-	-	-
Fleming-1	-	-	-	-	-
qa	-	-	-	-	-
Gatech competition	-	-	-	-	-
GTBioASQsys2	-	-	-	-	-
GTBioASQsys3	-	-	-	-	-
dmiip2024	-	-	-	-	-
dmiip2024_1	-	-	-	-	-
dmiip2024_2	-	-	-	-	-
dmiip2024_4	-	-	-	-	-
dmiip2024_3	-	-	-	-	-
IRIS_1	-	-	-	-	-
IRIS_2	-	-	-	-	-
IRIS_4	-	-	-	-	-
simple truncation	-	-	-	-	-
IRIS_5	-	-	-	-	-
IRIS_3	-	-	-	-	-
HU-WBI-1	-	-	-	-	-
4	-	-	-	-	-
ashley2	-	-	-	-	-
ashley3	-	-	-	-	-
3	-	-	-	-	-
CPS	-	-	-	-	-
Fleming-2	-	-	-	-	-
Fleming-3	-	-	-	-	-
Fleming-4	-	-	-	-	-

Test batch 2

Documents

System	Mean precision	Recall	F-Measure	MAP	GMAP
IR1	0.1635	0.0809	0.0994	0.1163	0.0020
UR-IW-4	0.2180	0.0807	0.1128	0.1329	0.0004
UR-IW-1	0.3980	0.1943	0.2300	0.2873	0.0096
UR-IW-2	0.3329	0.1558	0.1826	0.2334	0.0034
UR-IW-5	0.3595	0.1604	0.2034	0.2775	0.0058
UR-IW-3	0.3469	0.1659	0.1948	0.2561	0.0048
first batch	0.1847	0.1031	0.1189	0.1080	0.0020
2	0.2561	0.0906	0.1197	0.1532	0.0022
Fleming-2	0.3059	0.2409	0.2121	0.2691	0.0188
mibi_rag_snippet	0.2979	0.2394	0.2127	0.2751	0.0261
mibi_rag_abstract	0.2979	0.2394	0.2127	0.2751	0.0261
bioinfo-0	0.4250	0.3296	0.3069	0.4095	0.0845
bioinfo-1	0.4143	0.3251	0.2971	0.4058	0.0794
bioinfo-2	0.4473	0.3344	0.3180	0.4412	0.0911
bioinfo-3	0.4195	0.3000	0.2866	0.3936	0.0641
bioinfo-4	0.4213	0.3174	0.2954	0.4277	0.0792
run1	0.3694	0.1536	0.1745	0.1954	0.0121
Fleming-3	0.2929	0.2072	0.1957	0.2430	0.0161
GTBioASQsys2	0.1574	0.1118	0.1114	0.0961	0.0004
GTBioASQsys3	0.2078	0.1405	0.1447	0.1321	0.0012
bm25cross	0.0612	0.0257	0.0323	0.0280	0.0001
gpt-bm25	0.2953	0.2498	0.2154	0.2688	0.0301
gpt-bm25-cross	0.3529	0.1518	0.1711	0.1895	0.0115
gpt-bm25-cross2	0.3553	0.1519	0.1716	0.1883	0.0116
Gatech competition	0.2531	0.1296	0.1343	0.1708	0.0018
qa	0.2025	0.1214	0.1230	0.1286	0.0008
3	0.0447	0.0192	0.0264	0.0300	0.0000
4	0.0447	0.0192	0.0264	0.0300	0.0000
Deep ML methods for	0.3480	0.2133	0.2251	0.2443	0.0219
MindLab QA Reloaded	0.3293	0.2191	0.2258	0.2415	0.0215
dmiip2024	0.4212	0.3134	0.2918	0.4364	0.0740
dmiip2024_2	0.3906	0.2997	0.2730	0.4147	0.0690
dmiip2024_1	0.4306	0.3181	0.2976	0.4452	0.0758
dmiip2024_3	0.4118	0.3122	0.2902	0.4183	0.0775
dmiip2024_4	0.4129	0.3214	0.2905	0.4417	0.0798
IRIS_1	0.3318	0.2544	0.2365	0.2981	0.0307
IRIS_2	0.2635	0.2134	0.1923	0.2178	0.0187
IRIS_3	0.3388	0.2597	0.2425	0.3039	0.0393
IRIS_4	0.3318	0.2371	0.2268	0.2995	0.0448
IRIS_5	0.3306	0.2433	0.2304	0.2691	0.0274
simple truncation	0.1722	0.1277	0.1221	0.1082	0.0014
kmeans	0.1722	0.1277	0.1221	0.1082	0.0014
similarity measures	0.1855	0.1360	0.1301	0.1277	0.0027
CPS	0.2896	0.1531	0.1691	0.1864	0.0094
CPS2	0.2754	0.1583	0.1673	0.1900	0.0095
Fleming-1	0.3391	0.2551	0.2345	0.3109	0.0280
HU-WBI-2	0.3388	0.2665	0.2376	0.3087	0.0381
HU-WBI-3	0.3471	0.2616	0.2384	0.3188	0.0379
HU-WBI-4	0.3671	0.2898	0.2586	0.3474	0.0633
HU-WBI-5	0.3612	0.2813	0.2516	0.3455	0.0510
HU-WBI-1	0.3741	0.2968	0.2647	0.3812	0.0608
ashley1	0.0071	0.0016	0.0025	0.0023	0.0000
ashley2	0.0059	0.0011	0.0018	0.0022	0.0000

Snippets

System	Mean precision	Recall	F-Measure	MAP	GMAP
IR1	-	-	-	-	-
UR-IW-4	0.2633	0.0753	0.1095	0.1831	0.0018
UR-IW-1	0.3349	0.1029	0.1481	0.2579	0.0050
UR-IW-2	0.3093	0.1502	0.1824	0.1883	0.0026
UR-IW-5	0.2958	0.0686	0.1054	0.2421	0.0033
UR-IW-3	0.2819	0.0791	0.1058	0.2065	0.0032
first batch	0.0600	0.0001	0.0002	0.0311	0.0001
2	-	-	-	-	-
Fleming-2	0.2540	0.0893	0.1191	0.1835	0.0057
mibi_rag_snippet	0.3677	0.1590	0.1895	0.2051	0.0123
mibi_rag_abstract	0.3677	0.1590	0.1895	0.2051	0.0123
bioinfo-0	-	-	-	-	-
bioinfo-1	-	-	-	-	-
bioinfo-2	-	-	-	-	-
bioinfo-3	-	-	-	-	-
bioinfo-4	-	-	-	-	-
run1	-	-	-	-	-
Fleming-3	0.2031	0.0709	0.0919	0.1656	0.0062
GTBioASQsys2	0.1118	0.0304	0.0360	0.0588	0.0002
GTBioASQsys3	0.1497	0.0350	0.0519	0.0772	0.0004
bm25cross	-	-	-	-	-
gpt-bm25	-	-	-	-	-
gpt-bm25-cross	-	-	-	-	-
gpt-bm25-cross2	-	-	-	-	-
Gatech competition	0.1771	0.0271	0.0420	0.1016	0.0006
qa	-	-	-	-	-
3	-	-	-	-	-
4	-	-	-	-	-
Deep ML methods for	0.2387	0.0768	0.1042	0.1451	0.0057
MindLab QA Reloaded	0.2894	0.0974	0.1310	0.1740	0.0094
dmiip2024	0.3659	0.2200	0.2300	0.4456	0.0393
dmiip2024_2	0.3504	0.2140	0.2178	0.4096	0.0388
dmiip2024_1	0.3601	0.2196	0.2267	0.4354	0.0423
dmiip2024_3	0.3335	0.1964	0.2019	0.3937	0.0292
dmiip2024_4	0.3748	0.2218	0.2324	0.4480	0.0475
IRIS_1	-	-	-	-	-
IRIS_2	-	-	-	-	-
IRIS_3	-	-	-	-	-
IRIS_4	-	-	-	-	-
IRIS_5	-	-	-	-	-
simple truncation	-	-	-	-	-
kmeans	-	-	-	-	-
similarity measures	-	-	-	-	-
CPS	-	-	-	-	-
CPS2	-	-	-	-	-
Fleming-1	-	-	-	-	-
HU-WBI-2	-	-	-	-	-
HU-WBI-3	-	-	-	-	-
HU-WBI-4	-	-	-	-	-
HU-WBI-5	-	-	-	-	-
HU-WBI-1	-	-	-	-	-
ashley1	-	-	-	-	-
ashley2	-	-	-	-	-

Concepts

System	Mean precision	Recall	F-Measure	MAP	GMAP
IR1	-	-	-	-	-
UR-IW-4	-	-	-	-	-
UR-IW-1	-	-	-	-	-
UR-IW-2	-	-	-	-	-
UR-IW-5	-	-	-	-	-
UR-IW-3	-	-	-	-	-
first batch	-	-	-	-	-
2	-	-	-	-	-
Fleming-2	-	-	-	-	-
mibi_rag_snippet	-	-	-	-	-
mibi_rag_abstract	-	-	-	-	-
bioinfo-0	-	-	-	-	-
bioinfo-1	-	-	-	-	-
bioinfo-2	-	-	-	-	-
bioinfo-3	-	-	-	-	-
bioinfo-4	-	-	-	-	-
run1	-	-	-	-	-
Fleming-3	-	-	-	-	-
GTBioASQsys2	-	-	-	-	-
GTBioASQsys3	-	-	-	-	-
bm25cross	-	-	-	-	-
gpt-bm25	-	-	-	-	-
gpt-bm25-cross	-	-	-	-	-
gpt-bm25-cross2	-	-	-	-	-
Gatech competition	-	-	-	-	-
qa	-	-	-	-	-
3	-	-	-	-	-
4	-	-	-	-	-
Deep ML methods for	-	-	-	-	-
MindLab QA Reloaded	-	-	-	-	-
dmiip2024	-	-	-	-	-
dmiip2024_2	-	-	-	-	-
dmiip2024_1	-	-	-	-	-
dmiip2024_3	-	-	-	-	-
dmiip2024_4	-	-	-	-	-
IRIS_1	-	-	-	-	-
IRIS_2	-	-	-	-	-
IRIS_3	-	-	-	-	-
IRIS_4	-	-	-	-	-
IRIS_5	-	-	-	-	-
simple truncation	-	-	-	-	-
kmeans	-	-	-	-	-
similarity measures	-	-	-	-	-
CPS	-	-	-	-	-
CPS2	-	-	-	-	-
Fleming-1	-	-	-	-	-
HU-WBI-2	-	-	-	-	-
HU-WBI-3	-	-	-	-	-
HU-WBI-4	-	-	-	-	-
HU-WBI-5	-	-	-	-	-
HU-WBI-1	-	-	-	-	-
ashley1	-	-	-	-	-
ashley2	-	-	-	-	-

RDF Triples

System	Mean precision	Recall	F-Measure	MAP	GMAP
IR1	-	-	-	-	-
UR-IW-4	-	-	-	-	-
UR-IW-1	-	-	-	-	-
UR-IW-2	-	-	-	-	-
UR-IW-5	-	-	-	-	-
UR-IW-3	-	-	-	-	-
first batch	-	-	-	-	-
2	-	-	-	-	-
Fleming-2	-	-	-	-	-
mibi_rag_snippet	-	-	-	-	-
mibi_rag_abstract	-	-	-	-	-
bioinfo-0	-	-	-	-	-
bioinfo-1	-	-	-	-	-
bioinfo-2	-	-	-	-	-
bioinfo-3	-	-	-	-	-
bioinfo-4	-	-	-	-	-
run1	-	-	-	-	-
Fleming-3	-	-	-	-	-
GTBioASQsys2	-	-	-	-	-
GTBioASQsys3	-	-	-	-	-
bm25cross	-	-	-	-	-
gpt-bm25	-	-	-	-	-
gpt-bm25-cross	-	-	-	-	-
gpt-bm25-cross2	-	-	-	-	-
Gatech competition	-	-	-	-	-
qa	-	-	-	-	-
3	-	-	-	-	-
4	-	-	-	-	-
Deep ML methods for	-	-	-	-	-
MindLab QA Reloaded	-	-	-	-	-
dmiip2024	-	-	-	-	-
dmiip2024_2	-	-	-	-	-
dmiip2024_1	-	-	-	-	-
dmiip2024_3	-	-	-	-	-
dmiip2024_4	-	-	-	-	-
IRIS_1	-	-	-	-	-
IRIS_2	-	-	-	-	-
IRIS_3	-	-	-	-	-
IRIS_4	-	-	-	-	-
IRIS_5	-	-	-	-	-
simple truncation	-	-	-	-	-
kmeans	-	-	-	-	-
similarity measures	-	-	-	-	-
CPS	-	-	-	-	-
CPS2	-	-	-	-	-
Fleming-1	-	-	-	-	-
HU-WBI-2	-	-	-	-	-
HU-WBI-3	-	-	-	-	-
HU-WBI-4	-	-	-	-	-
HU-WBI-5	-	-	-	-	-
HU-WBI-1	-	-	-	-	-
ashley1	-	-	-	-	-
ashley2	-	-	-	-	-

Test batch 3

Documents

System	Mean precision	Recall	F-Measure	MAP	GMAP
IR1	0.2012	0.0806	0.1033	0.1441	0.0042
IR2	0.1965	0.0756	0.0978	0.1435	0.0028
Fleming-3	0.3894	0.2529	0.2167	0.3095	0.0424
Fleming-1	0.3854	0.2501	0.2179	0.2954	0.0589
CPS	0.3039	0.1496	0.1604	0.2196	0.0157
CPS2	0.3039	0.1496	0.1604	0.2196	0.0157
bioinfo-0	0.4780	0.3222	0.2969	0.4885	0.1224
bioinfo-1	0.4768	0.3191	0.2959	0.4902	0.1104
bioinfo-2	0.4659	0.2992	0.2901	0.4583	0.0881
bioinfo-3	0.4438	0.3029	0.2770	0.4250	0.0809
bioinfo-4	0.4733	0.3191	0.2921	0.4765	0.1087
UR-IW-1	0.4746	0.1969	0.2201	0.3905	0.0316
UR-IW-2	0.4294	0.2045	0.2160	0.3746	0.0163
UR-IW-5	0.4550	0.2182	0.2371	0.3904	0.0471
UR-IW-4	0.3318	0.1288	0.1594	0.2570	0.0083
UR-IW-3	0.3534	0.1604	0.1777	0.2734	0.0125
mibi_rag_snippet	0.3388	0.1776	0.1884	0.3164	0.0229
mibi_rag_abstract	0.3918	0.1995	0.2082	0.3727	0.0393
mibi_rag_3	0.3388	0.1776	0.1884	0.3300	0.0251
mibi_rag_4	0.3918	0.1995	0.2082	0.3731	0.0394
mibi_rag_5	0.3388	0.1776	0.1884	0.3162	0.0228
Gatech competition	0.2818	0.1824	0.1594	0.2398	0.0102
GTBioASQsys2	0.1249	0.0918	0.0873	0.0866	0.0003
GTBioASQsys3	0.2005	0.1300	0.1240	0.1383	0.0022
first batch	0.1788	0.1036	0.1020	0.1195	0.0023
IRIS_1	0.3541	0.2332	0.2192	0.3079	0.0435
IRIS_2	0.3059	0.1915	0.1917	0.2409	0.0194
dmiip2024	0.4835	0.3200	0.2930	0.5091	0.1477
IRIS_3	0.3682	0.2531	0.2325	0.3306	0.0584
dmiip2024_1	0.4929	0.3083	0.2976	0.5051	0.1052
IRIS_4	0.3553	0.2424	0.2186	0.3218	0.0485
IRIS_5	0.3541	0.2120	0.2137	0.3141	0.0351
dmiip2024_2	0.4812	0.3251	0.2950	0.5172	0.1518
dmiip2024_3	0.4600	0.2962	0.2777	0.4776	0.0777
dmiip2024_4	0.4824	0.3168	0.2903	0.5151	0.1486
simple truncation	0.2393	0.1338	0.1349	0.1885	0.0061
run1	0.2588	0.1776	0.1628	0.2276	0.0128
2	0.0647	0.0233	0.0304	0.0189	0.0002
kmeans	0.2432	0.1296	0.1356	0.1857	0.0049
similarity measures	0.2774	0.1260	0.1440	0.1828	0.0037
Fleming-5	0.3985	0.2437	0.2328	0.3214	0.0430
3	0.1200	0.0446	0.0603	0.1045	0.0001
4	0.1200	0.0446	0.0603	0.1045	0.0001
bm25cross	0.3624	0.1727	0.1723	0.2488	0.0213
gpt-bm25	0.3459	0.1653	0.1628	0.2388	0.0173
0.6	0.1200	0.0446	0.0603	0.1045	0.0001
gpt-bm25-cross	0.3647	0.1848	0.1768	0.2582	0.0260
Fleming-4	0.3871	0.2448	0.2307	0.3040	0.0330
gpt-bm25-cross2	0.3647	0.1844	0.1763	0.2616	0.0251
HU-WBI-1	0.3612	0.2558	0.2280	0.3489	0.0457
HU-WBI-2	0.4153	0.2711	0.2580	0.4158	0.0560
HU-WBI-3	0.4224	0.2673	0.2579	0.4096	0.0514
HU-WBI-4	0.4329	0.2656	0.2587	0.4061	0.0436
HU-WBI-5	0.4353	0.2700	0.2620	0.4156	0.0521
drums_bm	0.3000	0.1288	0.1579	0.2422	0.0125
drums	0.3000	0.1288	0.1579	0.2422	0.0125
Deep ML methods for	0.3983	0.1262	0.1614	0.2167	0.0054
MindLab QA Reloaded	0.3458	0.1710	0.1887	0.2472	0.0210

Snippets

System	Mean precision	Recall	F-Measure	MAP	GMAP
IR1	-	-	-	-	-
IR2	-	-	-	-	-
Fleming-3	0.2854	0.1299	0.1463	0.2136	0.0110
Fleming-1	0.2820	0.1319	0.1477	0.2119	0.0176
CPS	-	-	-	-	-
CPS2	-	-	-	-	-
bioinfo-0	-	-	-	-	-
bioinfo-1	-	-	-	-	-
bioinfo-2	-	-	-	-	-
bioinfo-3	-	-	-	-	-
bioinfo-4	-	-	-	-	-
UR-IW-1	0.3960	0.1108	0.1435	0.3806	0.0189
UR-IW-2	0.3774	0.1191	0.1326	0.3524	0.0128
UR-IW-5	0.3993	0.1486	0.1742	0.3516	0.0235
UR-IW-4	0.2875	0.0777	0.1023	0.2354	0.0047
UR-IW-3	0.2963	0.0816	0.1024	0.2214	0.0046
mibi_rag_snippet	0.4120	0.1045	0.1408	0.2138	0.0078
mibi_rag_abstract	0.5457	0.1447	0.2016	0.2684	0.0169
mibi_rag_3	0.4521	0.1293	0.1640	0.1945	0.0081
mibi_rag_4	0.5439	0.1448	0.2018	0.2699	0.0170
mibi_rag_5	0.4238	0.1080	0.1460	0.2101	0.0077
Gatech competition	0.2198	0.0400	0.0624	0.1495	0.0029
GTBioASQsys2	0.0889	0.0216	0.0325	0.0500	0.0002
GTBioASQsys3	0.1468	0.0331	0.0506	0.0749	0.0008
first batch	0.0800	0.0001	0.0002	0.0464	0.0002
IRIS_1	-	-	-	-	-
IRIS_2	-	-	-	-	-
dmiip2024	0.4013	0.1954	0.1876	0.4960	0.0755
IRIS_3	-	-	-	-	-
dmiip2024_1	0.4028	0.1848	0.1898	0.4949	0.0535
IRIS_4	-	-	-	-	-
IRIS_5	-	-	-	-	-
dmiip2024_2	0.4174	0.2104	0.2003	0.5162	0.0844
dmiip2024_3	0.3977	0.1953	0.1876	0.4965	0.0516
dmiip2024_4	0.4107	0.2092	0.1988	0.5129	0.0754
simple truncation	-	-	-	-	-
run1	-	-	-	-	-
2	-	-	-	-	-
kmeans	-	-	-	-	-
similarity measures	-	-	-	-	-
Fleming-5	0.2753	0.1310	0.1529	0.2622	0.0184
3	-	-	-	-	-
4	-	-	-	-	-
bm25cross	-	-	-	-	-
gpt-bm25	-	-	-	-	-
0.6	-	-	-	-	-
gpt-bm25-cross	-	-	-	-	-
Fleming-4	-	-	-	-	-
gpt-bm25-cross2	-	-	-	-	-
HU-WBI-1	-	-	-	-	-
HU-WBI-2	-	-	-	-	-
HU-WBI-3	-	-	-	-	-
HU-WBI-4	-	-	-	-	-
HU-WBI-5	-	-	-	-	-
drums_bm	-	-	-	-	-
drums	-	-	-	-	-
Deep ML methods for	0.3133	0.0505	0.0761	0.1880	0.0032
MindLab QA Reloaded	0.3048	0.0864	0.1143	0.2311	0.0110

Concepts

System	Mean precision	Recall	F-Measure	MAP	GMAP
IR1	-	-	-	-	-
IR2	-	-	-	-	-
Fleming-3	-	-	-	-	-
Fleming-1	-	-	-	-	-
CPS	-	-	-	-	-
CPS2	-	-	-	-	-
bioinfo-0	-	-	-	-	-
bioinfo-1	-	-	-	-	-
bioinfo-2	-	-	-	-	-
bioinfo-3	-	-	-	-	-
bioinfo-4	-	-	-	-	-
UR-IW-1	-	-	-	-	-
UR-IW-2	-	-	-	-	-
UR-IW-5	-	-	-	-	-
UR-IW-4	-	-	-	-	-
UR-IW-3	-	-	-	-	-
mibi_rag_snippet	-	-	-	-	-
mibi_rag_abstract	-	-	-	-	-
mibi_rag_3	-	-	-	-	-
mibi_rag_4	-	-	-	-	-
mibi_rag_5	-	-	-	-	-
Gatech competition	-	-	-	-	-
GTBioASQsys2	-	-	-	-	-
GTBioASQsys3	-	-	-	-	-
first batch	-	-	-	-	-
IRIS_1	-	-	-	-	-
IRIS_2	-	-	-	-	-
dmiip2024	-	-	-	-	-
IRIS_3	-	-	-	-	-
dmiip2024_1	-	-	-	-	-
IRIS_4	-	-	-	-	-
IRIS_5	-	-	-	-	-
dmiip2024_2	-	-	-	-	-
dmiip2024_3	-	-	-	-	-
dmiip2024_4	-	-	-	-	-
simple truncation	-	-	-	-	-
run1	-	-	-	-	-
2	-	-	-	-	-
kmeans	-	-	-	-	-
similarity measures	-	-	-	-	-
Fleming-5	-	-	-	-	-
3	-	-	-	-	-
4	-	-	-	-	-
bm25cross	-	-	-	-	-
gpt-bm25	-	-	-	-	-
0.6	-	-	-	-	-
gpt-bm25-cross	-	-	-	-	-
Fleming-4	-	-	-	-	-
gpt-bm25-cross2	-	-	-	-	-
HU-WBI-1	-	-	-	-	-
HU-WBI-2	-	-	-	-	-
HU-WBI-3	-	-	-	-	-
HU-WBI-4	-	-	-	-	-
HU-WBI-5	-	-	-	-	-
drums_bm	-	-	-	-	-
drums	-	-	-	-	-
Deep ML methods for	-	-	-	-	-
MindLab QA Reloaded	-	-	-	-	-

RDF Triples

System	Mean precision	Recall	F-Measure	MAP	GMAP
IR1	-	-	-	-	-
IR2	-	-	-	-	-
Fleming-3	-	-	-	-	-
Fleming-1	-	-	-	-	-
CPS	-	-	-	-	-
CPS2	-	-	-	-	-
bioinfo-0	-	-	-	-	-
bioinfo-1	-	-	-	-	-
bioinfo-2	-	-	-	-	-
bioinfo-3	-	-	-	-	-
bioinfo-4	-	-	-	-	-
UR-IW-1	-	-	-	-	-
UR-IW-2	-	-	-	-	-
UR-IW-5	-	-	-	-	-
UR-IW-4	-	-	-	-	-
UR-IW-3	-	-	-	-	-
mibi_rag_snippet	-	-	-	-	-
mibi_rag_abstract	-	-	-	-	-
mibi_rag_3	-	-	-	-	-
mibi_rag_4	-	-	-	-	-
mibi_rag_5	-	-	-	-	-
Gatech competition	-	-	-	-	-
GTBioASQsys2	-	-	-	-	-
GTBioASQsys3	-	-	-	-	-
first batch	-	-	-	-	-
IRIS_1	-	-	-	-	-
IRIS_2	-	-	-	-	-
dmiip2024	-	-	-	-	-
IRIS_3	-	-	-	-	-
dmiip2024_1	-	-	-	-	-
IRIS_4	-	-	-	-	-
IRIS_5	-	-	-	-	-
dmiip2024_2	-	-	-	-	-
dmiip2024_3	-	-	-	-	-
dmiip2024_4	-	-	-	-	-
simple truncation	-	-	-	-	-
run1	-	-	-	-	-
2	-	-	-	-	-
kmeans	-	-	-	-	-
similarity measures	-	-	-	-	-
Fleming-5	-	-	-	-	-
3	-	-	-	-	-
4	-	-	-	-	-
bm25cross	-	-	-	-	-
gpt-bm25	-	-	-	-	-
0.6	-	-	-	-	-
gpt-bm25-cross	-	-	-	-	-
Fleming-4	-	-	-	-	-
gpt-bm25-cross2	-	-	-	-	-
HU-WBI-1	-	-	-	-	-
HU-WBI-2	-	-	-	-	-
HU-WBI-3	-	-	-	-	-
HU-WBI-4	-	-	-	-	-
HU-WBI-5	-	-	-	-	-
drums_bm	-	-	-	-	-
drums	-	-	-	-	-
Deep ML methods for	-	-	-	-	-
MindLab QA Reloaded	-	-	-	-	-

Test batch 4

Documents

System	Mean precision	Recall	F-Measure	MAP	GMAP
IR1	0.1729	0.0685	0.0912	0.1202	0.0015
IR2	0.1729	0.0710	0.0933	0.1171	0.0014
first batch	0.2094	0.1841	0.1319	0.1927	0.0060
Fleming-1	0.4024	0.3982	0.2632	0.4550	0.0891
Fleming-2	0.4024	0.3982	0.2632	0.4550	0.0891
UR-IW-1	0.3726	0.2508	0.2240	0.3542	0.0175
UR-IW-2	0.4003	0.2942	0.2477	0.3988	0.0236
UR-IW-3	0.2670	0.1740	0.1456	0.2383	0.0033
UR-IW-4	0.2951	0.2244	0.1859	0.2796	0.0080
UR-IW-5	0.3217	0.1917	0.1853	0.2875	0.0065
mibi_rag_snippet	0.2600	0.1770	0.1608	0.2412	0.0077
mibi_rag_abstract	0.2659	0.1757	0.1554	0.2684	0.0065
mibi_rag_3	0.2494	0.1770	0.1512	0.2569	0.0083
bioinfo-0	0.4212	0.4250	0.2996	0.5232	0.1221
bioinfo-1	0.4180	0.4316	0.2990	0.5246	0.1360
mibi_rag_4	0.2659	0.1757	0.1554	0.2684	0.0065
bioinfo-2	0.4082	0.4220	0.2801	0.5282	0.1250
bioinfo-3	0.4024	0.4107	0.2756	0.5291	0.1246
bioinfo-4	0.4129	0.4248	0.2825	0.5398	0.1310
mibi_rag_5	0.2600	0.1770	0.1608	0.2412	0.0077
bm25cross	0.1835	0.1788	0.1173	0.1706	0.0066
gpt-bm25	0.1906	0.1966	0.1274	0.1833	0.0094
gpt-bm25-cross	0.1868	0.2015	0.1205	0.1703	0.0071
2	0.0635	0.0340	0.0329	0.0234	0.0002
GTBioASQsys2	0.1404	0.1672	0.1064	0.1226	0.0003
GTBioASQsys3	0.1927	0.2427	0.1506	0.1890	0.0034
3	0.0200	0.0105	0.0116	0.0208	0.0000
4	0.2576	0.1149	0.1375	0.2381	0.0020
CPS	0.2446	0.2082	0.1512	0.2199	0.0088
CPS2	0.2483	0.2229	0.1567	0.2243	0.0100
dmiip2024	0.3847	0.4161	0.2620	0.4939	0.1102
dmiip2024_2	0.3541	0.4154	0.2464	0.5080	0.1032
dmiip2024_3	0.3694	0.4201	0.2544	0.5174	0.1084
dmiip2024_4	0.3671	0.4320	0.2561	0.5134	0.1304
Fleming-5	0.3824	0.3345	0.2367	0.4489	0.0497
Fleming-4	0.3824	0.3345	0.2367	0.4489	0.0497
gpt-bm25-cross2	0.1971	0.1243	0.0937	0.1238	0.0011
simple truncation	0.2467	0.3254	0.1838	0.3215	0.0556
dmiip2024_1	0.3859	0.4231	0.2611	0.5013	0.1170
HU-WBI-3	0.3459	0.3561	0.2305	0.4429	0.0631
HU-WBI-4	0.3329	0.3432	0.2244	0.4281	0.0545
HU-WBI-5	0.3471	0.3442	0.2287	0.4485	0.0571
HU-WBI-1	0.3365	0.3416	0.2236	0.4225	0.0532
HU-WBI-2	0.3294	0.3420	0.2227	0.4243	0.0534
qa	0.0813	0.0182	0.0280	0.0282	0.0001
mmb	-	-	-	-	-
run1	0.2000	0.2151	0.1322	0.1785	0.0109
drums_bm	0.2224	0.1462	0.1312	0.2024	0.0041
drums	0.0659	0.0385	0.0364	0.0341	0.0002

Snippets

System	Mean precision	Recall	F-Measure	MAP	GMAP
IR1	-	-	-	-	-
IR2	-	-	-	-	-
first batch	0.0906	0.0001	0.0002	0.0601	0.0004
Fleming-1	0.2947	0.1500	0.0992	0.3088	0.0335
Fleming-2	0.3189	0.3387	0.2490	0.3039	0.0192
UR-IW-1	0.3319	0.1167	0.1172	0.3643	0.0123
UR-IW-2	0.3676	0.1122	0.1154	0.3748	0.0145
UR-IW-3	0.2185	0.0498	0.0621	0.1687	0.0011
UR-IW-4	0.2785	0.0705	0.0878	0.2461	0.0033
UR-IW-5	0.2823	0.1018	0.1060	0.2411	0.0047
mibi_rag_snippet	0.3156	0.0784	0.0903	0.1594	0.0024
mibi_rag_abstract	0.3431	0.0762	0.0915	0.1824	0.0022
mibi_rag_3	0.3535	0.0940	0.1059	0.1663	0.0028
bioinfo-0	-	-	-	-	-
bioinfo-1	-	-	-	-	-
mibi_rag_4	0.3431	0.0762	0.0915	0.1824	0.0022
bioinfo-2	-	-	-	-	-
bioinfo-3	-	-	-	-	-
bioinfo-4	-	-	-	-	-
mibi_rag_5	0.3108	0.0784	0.0884	0.1588	0.0024
bm25cross	-	-	-	-	-
gpt-bm25	-	-	-	-	-
gpt-bm25-cross	-	-	-	-	-
2	-	-	-	-	-
GTBioASQsys2	0.0681	0.0180	0.0160	0.0340	0.0001
GTBioASQsys3	0.0998	0.0337	0.0333	0.0763	0.0004
3	-	-	-	-	-
4	-	-	-	-	-
CPS	-	-	-	-	-
CPS2	-	-	-	-	-
dmiip2024	0.3399	0.2791	0.1685	0.6666	0.0464
dmiip2024_2	0.3524	0.2987	0.1856	0.6948	0.0570
dmiip2024_3	0.3672	0.3042	0.1900	0.6995	0.0673
dmiip2024_4	0.3679	0.3198	0.1942	0.7197	0.0709
Fleming-5	0.2966	0.1214	0.0916	0.3220	0.0230
Fleming-4	0.2934	0.3264	0.2434	0.3109	0.0183
gpt-bm25-cross2	-	-	-	-	-
simple truncation	-	-	-	-	-
dmiip2024_1	0.3551	0.2881	0.1758	0.6691	0.0547
HU-WBI-3	-	-	-	-	-
HU-WBI-4	-	-	-	-	-
HU-WBI-5	-	-	-	-	-
HU-WBI-1	-	-	-	-	-
HU-WBI-2	-	-	-	-	-
qa	-	-	-	-	-
mmb	-	-	-	-	-
run1	-	-	-	-	-
drums_bm	-	-	-	-	-
drums	-	-	-	-	-

Concepts

System	Mean precision	Recall	F-Measure	MAP	GMAP
IR1	-	-	-	-	-
IR2	-	-	-	-	-
first batch	-	-	-	-	-
Fleming-1	-	-	-	-	-
Fleming-2	-	-	-	-	-
UR-IW-1	-	-	-	-	-
UR-IW-2	-	-	-	-	-
UR-IW-3	-	-	-	-	-
UR-IW-4	-	-	-	-	-
UR-IW-5	-	-	-	-	-
mibi_rag_snippet	-	-	-	-	-
mibi_rag_abstract	-	-	-	-	-
mibi_rag_3	-	-	-	-	-
bioinfo-0	-	-	-	-	-
bioinfo-1	-	-	-	-	-
mibi_rag_4	-	-	-	-	-
bioinfo-2	-	-	-	-	-
bioinfo-3	-	-	-	-	-
bioinfo-4	-	-	-	-	-
mibi_rag_5	-	-	-	-	-
bm25cross	-	-	-	-	-
gpt-bm25	-	-	-	-	-
gpt-bm25-cross	-	-	-	-	-
2	-	-	-	-	-
GTBioASQsys2	-	-	-	-	-
GTBioASQsys3	-	-	-	-	-
3	-	-	-	-	-
4	-	-	-	-	-
CPS	-	-	-	-	-
CPS2	-	-	-	-	-
dmiip2024	-	-	-	-	-
dmiip2024_2	-	-	-	-	-
dmiip2024_3	-	-	-	-	-
dmiip2024_4	-	-	-	-	-
Fleming-5	-	-	-	-	-
Fleming-4	-	-	-	-	-
gpt-bm25-cross2	-	-	-	-	-
simple truncation	-	-	-	-	-
dmiip2024_1	-	-	-	-	-
HU-WBI-3	-	-	-	-	-
HU-WBI-4	-	-	-	-	-
HU-WBI-5	-	-	-	-	-
HU-WBI-1	-	-	-	-	-
HU-WBI-2	-	-	-	-	-
qa	-	-	-	-	-
mmb	-	-	-	-	-
run1	-	-	-	-	-
drums_bm	-	-	-	-	-
drums	-	-	-	-	-

RDF Triples

System	Mean precision	Recall	F-Measure	MAP	GMAP
IR1	-	-	-	-	-
IR2	-	-	-	-	-
first batch	-	-	-	-	-
Fleming-1	-	-	-	-	-
Fleming-2	-	-	-	-	-
UR-IW-1	-	-	-	-	-
UR-IW-2	-	-	-	-	-
UR-IW-3	-	-	-	-	-
UR-IW-4	-	-	-	-	-
UR-IW-5	-	-	-	-	-
mibi_rag_snippet	-	-	-	-	-
mibi_rag_abstract	-	-	-	-	-
mibi_rag_3	-	-	-	-	-
bioinfo-0	-	-	-	-	-
bioinfo-1	-	-	-	-	-
mibi_rag_4	-	-	-	-	-
bioinfo-2	-	-	-	-	-
bioinfo-3	-	-	-	-	-
bioinfo-4	-	-	-	-	-
mibi_rag_5	-	-	-	-	-
bm25cross	-	-	-	-	-
gpt-bm25	-	-	-	-	-
gpt-bm25-cross	-	-	-	-	-
2	-	-	-	-	-
GTBioASQsys2	-	-	-	-	-
GTBioASQsys3	-	-	-	-	-
3	-	-	-	-	-
4	-	-	-	-	-
CPS	-	-	-	-	-
CPS2	-	-	-	-	-
dmiip2024	-	-	-	-	-
dmiip2024_2	-	-	-	-	-
dmiip2024_3	-	-	-	-	-
dmiip2024_4	-	-	-	-	-
Fleming-5	-	-	-	-	-
Fleming-4	-	-	-	-	-
gpt-bm25-cross2	-	-	-	-	-
simple truncation	-	-	-	-	-
dmiip2024_1	-	-	-	-	-
HU-WBI-3	-	-	-	-	-
HU-WBI-4	-	-	-	-	-
HU-WBI-5	-	-	-	-	-
HU-WBI-1	-	-	-	-	-
HU-WBI-2	-	-	-	-	-
qa	-	-	-	-	-
mmb	-	-	-	-	-
run1	-	-	-	-	-
drums_bm	-	-	-	-	-
drums	-	-	-	-	-