granite3.3

显示行号 | 选择喜欢的代码风格

IBM Granite 2B 和 8B 模型是 128K 上下文长度语言模型，经过微调以提高推理和指令跟踪能力。

granite3.3 参数量

tools 2b 8b

granite3.3 模型介绍

granite3.3 Models

IBM Granite 2B 和 8B 模型是 128K 上下文长度的语言模型，经过微调，提升了推理和指令执行能力。这些模型在 AlpacaEval-2.0 和 Arena-Hard 等通用性能测试基准上取得了显著提升，并在数学、编码和指令执行方面也取得了显著改进。它们还支持用于代码补全任务和结构化推理的中间填充 (FIM)。

ollama CLI 调用 granite3.3

ollama run granite3.3:2b
ollama run granite3.3:8b

granite3.3 主要特性和功能：

推理思考
摘要
文本分类
文本提取
问答
检索增强生成 (RAG)
代码相关任务
函数调用任务
多语言对话用例
中间填充
长上下文任务，包括长文档/会议摘要、长文档问答等

granite3.3 支持语言

英语、德语、西班牙语、法语、日语、葡萄牙语、阿拉伯语、捷克语、意大利语、韩语、荷兰语和中文。不过，用户可以针对这 12 种语言以外的语言对 Granite 模型进行微调。这些模型可集成到包括商业应用程序在内的各个领域的人工智能助手中。

调用 granite3.3 推理功能

为了启用 granite3.3 思考功能，请添加一条带有 "role": "control" 的消息，并将 content 设置为 thinking。例如：

{
    "messages": [
        {"role": "control", "content": "thinking"},
        {"role": "user", "content": "How do I get to the airport if my car won't start?"}
    ]
}