不改模型只换词表:推理成本直降 77%,一个判卷系统的词表改造实验
很多团队优化推理成本时,第一反应是量化、蒸馏、换更小的模型。但有一个成本杠杆在训练开始之前就已经固定,而且几乎没人动它——分词器。 一分钟速览 Dharma-AI 团队在一套葡萄牙语作文自动评分系统上验证了词表专精的效果…
主题标签
很多团队优化推理成本时,第一反应是量化、蒸馏、换更小的模型。但有一个成本杠杆在训练开始之前就已经固定,而且几乎没人动它——分词器。 一分钟速览 Dharma-AI 团队在一套葡萄牙语作文自动评分系统上验证了词表专精的效果…
一分钟速览 英特尔发布 Intel Inference Microservices,一套面向大模型推理的容器化微服务。 目标:让企业直接在既有至…
在 AI 芯片的棋盘上,英伟达又落下一子。据外媒报道,NVIDIA 拟投资 AI 推理 ASIC 芯片初创企业 d-Matrix——这将是它“事…
核心看点 自研芯片 Jalapeño 放出实测成绩:OpenAI 首次披露定制推理芯片 Jalapeño 的 Hot Chips 测试数据,每瓦…
核心看点 前OpenAI推理负责人Jerry Tworek与前Google Gemini预训练负责人Rohan Anil近期公开表态:Trans…
OpenAI最近发布了GPT-5的技术报告,虽然没有正式的产品发布,但从透露的信息来看,这次升级在推理能力和多模态理解方面都有显著提升。 推理能…
今天 AI 圈又有不少新动态,从开源大模型到推理引擎,再到 AI 应用渗透日常出行,一起来看。 美团发布万亿参数开源大模型 LongCat-2…
今天AI圈又热闹了,整理几条值得关注的动态。 1. 美团开源万亿参数大模型 LongCat-2.0 美团正式发布并开源了LongCat-2.0…
大模型推理的速度和成本,一直是AI落地的两大痛点。最近,北京大学和DeepSeek联合开源了一个叫DSpark的推理框架,专门解决这两个问题…
核心看点 通义千问 APP "拍照问健康" 功能升级,实现医学图像理解与临床推理 三大核心能力:视觉圈选异常区域、联动推理诊断、过程透明可追溯…