goliath 通过将 2 个经过微调的 Llama-2 70B 合并为一个,创建了一个自回归因果语言模型 (LM)。
ollama run goliath
goliath 合并中使用的模型是 Xwin 和 Euryale,使用的层范围如下:
- range 0, 16 Xwin - range 8, 24 Euryale - range 17, 32 Xwin - range 25, 40 Euryale - range 33, 48 Xwin - range 41, 56 Euryale - range 49, 64 Xwin - range 57, 72 Euryale - range 65, 80 Xwin