大模型输出格式不稳定是工程化的最大障碍。Outlines库通过在推理阶段施加约束，强制模型输出符合特定格式。

工作原理

Outlines在解码阶段修改token概率分布。当模型要生成不符合约束的token时，直接将其概率设为零。这样模型只能生成合法的token序列。

支持的约束类型

JSON Schema：输出必须是合法JSON且符合schema定义。正则表达式：输出必须匹配给定的正则模式。上下文无关文法：用BNF定义复杂的输出结构。枚举：输出只能是指定选项之一。

和vLLM集成

Outlines已经集成到vLLM中。在vLLM服务端启动时添加相关参数，客户端请求时传入约束即可：

from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1")

response = client.chat.completions.create(
    model="Qwen/Qwen2.5-7B-Instruct",
    messages=[{"role": "user", "content": "提取姓名和年龄"}],
    extra_body={
        "guided_json": {
            "type": "object",
            "properties": {
                "name": {"type": "string"},
                "age": {"type": "integer"}
            },
            "required": ["name", "age"]
        }
    }
)

性能影响

约束解码会增加少量推理开销（约5%-15%），但换来的是100%的格式正确率。在需要可靠解析的生产场景中，这个代价完全可以接受。

适用场景

数据抽取、表单填写、API参数生成——任何需要模型输出严格格式的场景都应该用Outlines。不要再用"请输出JSON"这种prompt技巧了，直接用硬约束。