Grok怎么识别图片里的文字？本地图像输入、标签提取与模糊内容核对

图片上的型号、数量和单位需要录入表格时，可以让支持图像输入的Grok辅助转录。但识别结果不能凭语言流畅程度判断，尤其模糊数字可能被补成看似合理的值。本教程用自己制作的无敏感练习标签，说明本地图像输入和逐项复核，不把模型输出当成专业OCR的准确率承诺。

第一步：准备可核对的PNG或JPEG

官方图像理解文档支持PNG与JPG、JPEG，单图最大20MiB。先拍清一张虚构标签，例如“演示品A、数量12、单位件”，再保留一份有意遮住末位数字的练习图，检查模型是否会承认看不清。不要用真实证件或客户资料做连通性测试。

需要有权限和额度的xAI API账号，把密钥保存到环境变量XAI_API_KEY，安装Python与requests。第三方聊天会员不自动包含该接口权限。本文示例只提供参考与离线语法检查，没有实际执行付费识别，也不伪造返回结果。

第二步：正确构造图像与文字输入

图像理解的content不是一段纯文本，而是input_image和input_text等对象组成的列表。image_url可用公开图片URL或base64数据URL；本例读取本地PNG，避免必须将练习图先公开上传。官方提示图像请求不宜保留服务端历史，示例显式设置store为false。

import os
import base64
import json
from pathlib import Path
import requests

image = Path("label-demo.png").read_bytes()
if len(image) > 20 * 1024 * 1024:
    raise ValueError("图片超过20MiB")
image_url = "data:image/png;base64," + base64.b64encode(image).decode("ascii")
response = requests.post(
    "https://api.x.ai/v1/responses",
    headers={"Authorization": "Bearer " + os.environ["XAI_API_KEY"]},
    json={
        "model": "grok-4.7",
        "store": False,
        "input": [{"role": "user", "content": [
            {"type": "input_image", "image_url": image_url, "detail": "high"},
            {"type": "input_text", "text":
             "只转录图片可见的品名、数量和单位。逐项给出原文与所在位置；模糊或遮挡写无法确认，不根据常见规格补全，不推断不可见内容。"}
        ]}],
    },
    timeout=180,
)
response.raise_for_status()
print(json.dumps(response.json(), ensure_ascii=False, indent=2))

若使用JPEG，要把数据URL中的MIME类型改为image/jpeg，并读取对应文件。只改扩展名不会真正转换格式。HTTP失败先查状态和错误字段，不把失败当成标签没有文字，也不要公开含图像编码或密钥的完整请求日志。

第三步：对照原图逐项核查

先看响应实际输出文本，再打开原图放大核对品名、数量和单位。把12与72、0与O、毫升与升等易混内容单独列出，不能只比较总字符数。detail为high也不保证所有小字都可识别；低清图应重新拍摄或裁切清楚区域后再判断。

请重新检查数量字段：指出支持每个字符的可见证据，并区分确定与不确定字符。如果末位被遮挡，保留已看清部分并写无法确认。不要因其他标签通常是12件就补出12。

用遮挡练习图再测一次，看它是否保留不确定性。若模型根据上下文补全，就把结果标为验收未通过。追加提示可能改进输出，但不能让不存在的像素恢复，真正缺失的信息应回到原物或更清晰照片确认。

还要核对图像方向和裁切范围：旋转错误、边缘缺字或强反光，都可能使本来清楚的字段被误读。先改善输入质量，再评估模型输出。

第四步：分开保存转录与人工确认

输出表保留原始识别文字、人工核对值和疑点三列，修改时记录依据，避免直接覆盖后无法追踪。批量处理前先用多种清晰度的小样本验证，确认自己的字段要求、失败处理和复核方式，而不是一次上传全部资料。

第五步：按输入层排查空白和错误

模型未读到图时检查文件存在、格式和大小，再查数据URL前缀、编码、content结构和模型是否支持图像。公开URL还需确认无需登录且能直接返回图片。接口成功只说明请求被处理，最终仍以可见证据与人工核对为准；这也是标签提取能否进入后续表格流程的验收门槛。

官方资料

资料核对日期：2026年10月26日。

• xAI：图像理解输入结构与文件限制
• xAI：Responses API请求字段