应用 编辑推荐
GitHub Copilot 将支持本地模型:不联网也能写代码
在美国旧金山举办的发布会上,微软宣布 GitHub Copilot 将在本月底前支持本地 AI …
文章目录
在美国旧金山举办的发布会上,微软宣布 GitHub Copilot 将在本月底前支持本地 AI 模型推理,开发者可以在云端模型与设备端模型之间自动或手动切换。
GitHub Copilot 是微软推出的 AI 编程助手,可集成在 Visual Studio Code、CLI 等工具里,根据代码上下文生成补全、解释或重构建议。它目前依赖云端托管模型,由协调器根据性能、成本与准确性来路由请求。微软计划在本月底扩展这套机制,让 Copilot 能自动在云端模型与本地 AI 模型之间调度推理任务。
用户有两种模式可选:自动编排,或强制使用设备端模型,可以在 Copilot CLI、Copilot 应用和 Visual Studio Code 中设置偏好。本地模型支持指定提供程序、模型或端点,开发者可以通过 Windows ML 选择 MAI Code 1.1 Flash,也可以连接 OpenAI 兼容的本地端点并选用其暴露的模型。
与此同时,微软推出了 MAI Code 1.1 Flash“混合专家”模型,总参数 1370 亿、活跃参数 68 亿,采用量化与推测解码技术来优化响应速度与内存占用。在 Surface Laptop Ultra 上的实测显示,复杂任务中的峰值内存使用率、Token 利用率与处理速度均有明显提升;解码吞吐量测试中,提示长度从 2K 到 256K Token 时,吞吐介于每秒 40 至 63 个词元。
本文地址:https://www.163264.com/16531