codeup

codeup 参数量

codeup 模型介绍

CodeUp 由 DeepSE 发布。它基于 Meta 的 Llama 2，然后进行了微调以实现更好的代码生成。这使得它能够用多种语言编写更好的代码。

CodeUp：在单个 RTX 3090 上具有参数高效指令调优功能的多语言代码生成 Llama2 模型

近年来，大型语言模型 (LLM) 凭借其出色的涌现能力，在广泛的应用中展现出卓越的能力。为了符合人类的偏好，针对基于聊天的 LLM（例如 ChatGPT、GPT-4）提出了指令调整和从人类反馈中强化学习 (RLHF) 的方法。然而，这些 LLM（Codex 除外）主要侧重于通用领域，并非专门为代码领域设计。虽然 Codex 提供了另一种选择，但它是 OpenAI 开发的闭源模型。因此，开发用于代码领域的开源指令跟踪 LLM 势在必行。然而，LLM 的参数数量（$\ge$7B）和训练数据集庞大，需要大量的计算资源，这严重阻碍了消费级硬件上训练和推理的发展。

为了应对这些挑战，在本项目中，我们采用了最新的强大基础模型 Llama 2，并为代码生成任务构建了高质量的指令跟踪数据，并提出了一种指令跟踪多语言代码生成 Llama2 模型。同时，为了使其适合基于 Alpaca-LoRA 的学术预算和消费硬件（例如，单个 RTX 3090），我们为 CodeUp 配备了先进的参数高效微调 (PEFT) 方法（例如，LoRA），这些方法能够高效地将预训练语言模型（PLM，也称为基础模型）适配到各种下游应用，而无需微调整个模型的参数。

Ollama 调用 codeup AI 模型：

下面例子使用的模型是 CodeUp 模型，有 13b 个参数，是一个代码生成模型，注意：13b 型号通常至少需要 16GB RAM。

ollama serve
ollama run codeup
---------------
curl -X POST http://localhost:11434/api/generate -d '{
  "model": "codeup",
  "prompt":"Write a C++ code to find the longest common substring in two strings."
 }'

如果您遇到较高量化级别的问题，请尝试使用 q4 模型或关闭任何其他使用大量内存的程序。默认情况下，Ollama 使用 4 位量化。要尝试其他量化级别，请尝试其他标签。q 后面的数字表示用于量化的位数（即 q4 表示 4 位量化）。数字越高，模型越准确，但运行速度越慢，所需的内存越多。

AI 扩展阅读：

• phpunit 命令
• az 命令
• watch 命令
• arpwatch 命令
• chpasswd 命令
• killall 命令
• man 命令
• cowthink 命令
• renice 命令
• nous-hermes

发表评论