跳到文章正文
Gemini 实用教程

Gemini Embedding怎么比较文本相似度?向量、余弦与阈值验收

用gemini-embedding-2生成同一空间的文本向量,计算余弦相似度;区分语义接近与事实…

两段话字面不同却表达类似意思,可以用embedding辅助检索和分组。但语义相似不表示事实相同,更不表示可以自动合并记录。本文从三句人工样本说明向量比较,不建设生产数据库,也不宣称某个分数适用于所有中文任务。

第一步:固定模型与任务

当前官方文档介绍gemini-embedding-2,并保留文本模型gemini-embedding-001。向量必须来自兼容的同一模型、配置和维度,旧模型索引不能直接混入新模型结果。

官方说明embedding-2不使用旧模型的task_type字段,应按文档在输入中说明任务。不要把001的配置原样复制;实际权限和输入上限按当前项目与文档核对。

第二步:构造有语义对照的样本

准备两句相近和一句无关文本,人工先写预期排序,不预填具体相似度数值。对有否定或数值差异的句子,特别检查语义接近但事实冲突的情况。

样本A:如何备份项目资料?
样本B:项目文件怎样留一份可恢复副本?
样本C:今天适合做什么甜点?
先预期A与B比A与C更接近,不编造固定得分。

第三步:取得向量并核对维度

用官方embed_content取得结果,保留输入与向量身份映射。返回值是数字向量,不是文本答案;不能把前几个数当成分类标签,也不应该把完整向量打印到公开日志。

from google import genai
client = genai.Client()
texts = ["如何备份项目资料?", "项目文件怎样留一份可恢复副本?", "今天适合做什么甜点?"]
result = client.models.embed_content(model="gemini-embedding-2", contents=texts)
vectors = [item.values for item in result.embeddings]
assert len(vectors) == len(texts)
assert len({len(v) for v in vectors}) == 1

第四步:计算余弦并检查异常

余弦比较方向而非原始长度,需处理空向量、零范数和维度不一致。不要靠字符串排序向量或只比较前一维。下面函数仅做确定性计算,示例未执行付费embedding请求。

import math
def cosine(a, b):
    if len(a) != len(b) or not a:
        raise ValueError("维度不匹配或向量为空")
    na = math.sqrt(sum(x*x for x in a))
    nb = math.sqrt(sum(x*x for x in b))
    if na == 0 or nb == 0:
        raise ValueError("零范数")
    return sum(x*y for x, y in zip(a, b)) / (na*nb)

第五步:用业务样本确定阈值

观察A-B与A-C排序,再加入否定句、同义词、长文本和不同主题样本,人工标注相关与不相关。阈值应根据任务和误判成本确定,不能从三句话推导一个全场景通用0.8规则。

分数高也可能在数字、日期或否定条件上冲突。需要精确去重应结合原始键和内容校验,不让embedding代替事实核对。保存模型、维度、任务说明和评估样本,换模型或配置后重新建索引与测试,完成标准是检索目标得到可解释验证。

向量不是可靠匿名化。它仍可能携带原始语义或敏感特征,保存和共享时按输入资料相应权限处理。对用户删除请求,应同时检查原文、向量索引与应用副本;不能只删原文本却让旧索引继续提供检索。

官方资料

资料核对日期:2026年11月19日。

本文地址:https://www.163264.com/21903