科技

英特尔面向四至六代至强处理器推出推理微服务:自动检测硬件并配置 vLLM 参数

来源: IT之家 · 发布于

英特尔面向四至六代至强处理器推出推理微服务:自动检测硬件并配置 vLLM 参数

<p data-vmark="0000">IT之家 10 月 14 日消息,英特尔今日宣布推出 Intel Inference Microservices 服务,这是一套面向大语言模型推理的容器化微服务方案,目标是让企业在已有的至强处理器上直接获得经过调优的模型推理能力,无需再花费数天时间进行手动硬件优化。</p><p…

相关报道

阅读原文 ↗

本站为新闻聚合平台:仅展示标题与简短摘要,并附上原文链接,不转载全文。

  • #目标是让企业在已有的至强处理器上直接获得经过调优的模型推理能力
  • #这是一套面向大语言模型推理的容器化微服务方案
  • #英特尔面向四至六代至强处理器推出推理微服务
  • #无需再花费数天时间进行手动硬件优化
  • #microservices
  • #自动检测硬件并配置