phi4-mini

phi4-mini 参数量

---

3.8b tools

phi4-mini 模型介绍

---

phi4-mini

Phi-4-mini-instruct 是一个轻量级开放模型，基于合成数据和经过筛选的公开网站构建，重点关注高质量、推理密集的数据。该模型属于 Phi-4 模型系列，支持 128K 令牌上下文长度。该模型经过了增强过程，结合了监督微调和直接偏好优化，以支持精确的指令遵循和强大的安全措施。

Phi-4-mini-instruct 支持高达 200064 个标记的词汇表大小。标记器文件已经提供了可用于下游微调的占位符标记，但它们也可以扩展到模型的词汇表大小。

phi4-mini 主要应用场景

---

该模型适用于广泛的多语言商业和研究用途。该模型为需要以下条件的通用 AI 系统和应用提供了用途：

• 内存/计算受限环境
• 延迟受限场景
• 强推理（尤其是数学和逻辑）。
• 该模型旨在加速语言和多模态模型的研究，用作生成式 AI 驱动功能的构建块。

Phi Family

phi4-mini 模型质量

---

为了解 phi 功能，使用内部基准测试平台将 3.8B 参数 Phi-4-mini-instruct 模型与一系列基于各种基准的模型进行了比较，模型质量的高级概述如下：

phi4-mini Usage with vLLM

---

要使用 vLLM 执行推理，可以使用以下代码片段：

from vllm import LLM, SamplingParams

llm = LLM(model="microsoft/Phi-4-mini-instruct", trust_remote_code=True)

messages = [
    {"role": "system", "content": "You are a helpful AI assistant."},
    {"role": "user", "content": "Can you provide ways to eat combinations of bananas and dragonfruits?"},
    {"role": "assistant", "content": "Sure! Here are some ways to eat bananas and dragonfruits together: 1. Banana and dragonfruit smoothie: Blend bananas and dragonfruits together with some milk and honey. 2. Banana and dragonfruit salad: Mix sliced bananas and dragonfruits together with some lemon juice and honey."},
    {"role": "user", "content": "What about solving an 2x + 3 = 7 equation?"},
]

sampling_params = SamplingParams(
  max_tokens=500,
  temperature=0.0,
)

output = llm.chat(messages=messages, sampling_params=sampling_params)
print(output[0].outputs[0].text)

phi4-mini 推理

---

在获得 Phi-4-mini-instruct 模型 checkpoint 后，用户可以使用此示例代码进行推理：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
 
torch.random.manual_seed(0)

model_path = "microsoft/Phi-4-mini-instruct"

model = AutoModelForCausalLM.from_pretrained(
    model_path,
    device_map="auto",
    torch_dtype="auto",
    trust_remote_code=True,
)
tokenizer = AutoTokenizer.from_pretrained(model_path)
 
messages = [
    {"role": "system", "content": "You are a helpful AI assistant."},
    {"role": "user", "content": "Can you provide ways to eat combinations of bananas and dragonfruits?"},
    {"role": "assistant", "content": "Sure! Here are some ways to eat bananas and dragonfruits together: 1. Banana and dragonfruit smoothie: Blend bananas and dragonfruits together with some milk and honey. 2. Banana and dragonfruit salad: Mix sliced bananas and dragonfruits together with some lemon juice and honey."},
    {"role": "user", "content": "What about solving an 2x + 3 = 7 equation?"},
]
 
pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
)
 
generation_args = {
    "max_new_tokens": 500,
    "return_full_text": False,
    "temperature": 0.0,
    "do_sample": False,
}
 
output = pipe(messages, **generation_args)
print(output[0]['generated_text'])

phi4-mini 模型训练

---

架构：Phi-4-mini-instruct 有 3.8B 个参数，是一个密集的解码器专用 Transformer 模型。与 Phi-3.5-mini 相比，Phi-4-mini-instruct 的主要变化是 200K 词汇量、分组查询注意以及共享输入和输出嵌入。

输入：文本。它最适合使用聊天格式的提示。

上下文长度：128K 个 token

GPU：512 个 A100-80G

训练时间：21 天

训练数据：5T token

输出：响应输入生成的文本

日期：2024 年 11 月至 12 月之间训练

状态：这是一个在离线数据集上训练的静态模型，公开数据的截止日期为 2024 年 6 月。

支持的语言：阿拉伯语、中文、捷克语、丹麦语、荷兰语、英语、芬兰语、法语、德语、希伯来语、匈牙利语、意大利语、日语、韩语、挪威语、波兰语、葡萄牙语、俄语、西班牙语、瑞典语、泰语、土耳其语、乌克兰语

发布日期：2025 年 2 月

AI 扩展阅读：

---

• pdftotext 命令
• upx 命令
• json5 命令
• mkfs 命令
• sar 命令
• troff 命令
• printenv 命令
• mutool 命令
• jq 命令
• vmstat 命令

---

---

发表评论