微软和Nvidia正在让在Windows上运行人工智能模型变得更加容易

导读微软和英伟达希望帮助开发人员在他们的WindowsPC上运行和配置人工智能模型。在周三的MicrosoftIgnite活动期间,微软宣布了WindowsAIStudio...

微软和英伟达希望帮助开发人员在他们的WindowsPC上运行和配置人工智能模型。在周三的MicrosoftIgnite活动期间,微软宣布了WindowsAIStudio:一个新的中心,开发人员可以在其中访问AI模型并对其进行调整以满足自己的需求。

WindowsAIStudio允许开发人员从现有的AzureAIStudio和HuggingFace等其他服务访问开发工具和模型。它还提供端到端的“引导式工作区设置”,其中包含模型配置UI和演练,以微调各种小语言模型(SLM),例如Microsoft的Phi、Meta的Llama2和Mistral。

WindowsAIStudio还允许开发人员使用PromptFlow和Gradio模板测试模型的性能。微软表示将在“未来几周”将WindowsAIStudio作为VisualStudioCode扩展推出。

同样,Nvidia也发布了TensorRT-LLM的更新,该公司最初针对Windows推出了该更新,作为在H100GPU上更有效地运行大型语言模型(LLM)的一种方式。不过,此次最新更新将TensorRT-LLM引入了配备GeForceRTX30和40系列GPU(具有8GB或以上RAM)的PC。

此外,Nvidia很快将通过新的包装器使其TensorRT-LLM与OpenAI的聊天API兼容。这将允许开发人员在他们的PC上本地运行LLM,这对于那些关心在云中存储私有数据的人来说是理想的选择。Nvidia表示,其下一个TensorRT-LLM6.0版本的推理速度将提高五倍,并支持新的Mistral7B和Nemotron-38B模型。

这都是微软创建“混合循环”开发模式目标的一部分,该模式旨在实现跨云和本地设备上的人工智能开发。有了这个概念,开发人员不必仅仅依靠自己的系统来推动人工智能开发,因为他们可以访问微软的云服务器来减轻设备的负载。