qwen2.5

qwen2.5 参数量

qwen2.5 模型介绍

Qwen2.5 Models

Qwen2.5 是 Qwen 大型语言模型的最新系列。Qwen2.5 发布了一系列基础语言模型和指令调优模型，参数规模从 5 亿到 720 亿不等。Qwen2.5 相较于 Qwen2 有以下改进：

• 由于这些领域的专业专家模型，它拥有更多知识，并且大大增强了编码和数学能力。
• 它在指令遵循、长文本生成（超过 8K 个 token）、理解结构化数据（例如表格）和生成结构化输出（尤其是 JSON 格式）方面取得了重大进步。它还对各种系统提示更具弹性，从而改善了聊天机器人的角色扮演和条件设置。
• 它支持多达 128K 个 token 的长上下文，并且可以生成多达 8K 个 token。
• 它为超过 29 种语言提供多语言支持，包括：中文、英语、法语、西班牙语、葡萄牙语、德语、意大利语、俄语、日语、韩语、越南语、泰语、阿拉伯语等。

注意：除 3B 和 72B 之外的所有型号均采用 Apache 2.0 许可发布，而 3B 和 72B 型号则采用 Qwen 许可发布。

qwen2.5 Quickstart Python 版

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Qwen/Qwen2.5-7B-Instruct"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Give me a short introduction to large language model."
messages = [
    {"role": "system", "content": "You are Qwen, created by Alibaba Cloud. You are a helpful assistant."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

AI 扩展阅读：

• help2man 命令
• rev 命令
• ls 命令
• tsort 命令
• xxd 命令

发表评论