Modelfile

FROM codellama:13b-code

# Base model name and adapter
ADAPTER ./codellama-13b-qml.gguf

# Parameters optimized for code generation
PARAMETER temperature 0.4
PARAMETER repeat_penalty 1.1
PARAMETER num_predict 300
PARAMETER stop "<SUF>"
PARAMETER stop "<PRE>"
PARAMETER stop "</PRE>"
PARAMETER stop "</SUF>"
PARAMETER stop "< EOT >"
PARAMETER stop "\\end"
PARAMETER stop "<MID>"
PARAMETER stop "</MID>"
PARAMETER stop "##"


# Template format for code interactions
TEMPLATE """{{ .Response }}
"""