Number of Examples | 1320 | 170 | 2000 | 2259 | 2620 | 2939 | 2000 | 1155 | 14463 |
Compositional Oracle (o_cp) | 0.0280 | 0.1070 | 0.0790 | 0.0260 | 0.0060 | 0.0160 | 0.0420 | 0.0070 | 0.0389 |
N-best Oracle (o_nb) | 0.0910 | 0.2180 | 0.1140 | 0.0690 | 0.0100 | 0.0270 | 0.1260 | 0.0300 | 0.0856 |
LLaMA-7B-LoRA | 0.0660 | 0.1920 | 0.1100 | 0.0880 | 0.0170 | 0.0380 | 0.1410 | 0.0460 | 0.0872 |
No LM | 0.1177 | 0.2436 | 0.1509 | 0.1228 | 0.0281 | 0.0553 | 0.1630 | 0.0352 | 0.1228 |
Subwords Voting | 0.1206 | 0.2427 | 0.1509 | 0.1360 | 0.0307 | 0.0601 | 0.1594 | 0.0396 | 0.1360 |
N-gram Ranking | 0.1353 | 0.2425 | 0.1880 | 0.1952 | 0.0416 | 0.0729 | 0.1686 | 0.0384 | 0.1952 |