头部导航
大数跨境导航站

Cloudflare 通过 NVIDIA 加速计算支持超本地 AI 推理

M123和他的朋友们
2023-11-06
大数跨境 导读:企业现在可以访问 Cloudflare 的全球数据中心网络,以经济实惠且安全的方式进行 AI 推理,为任何地方的领先应用程序提供支持

Cloudflare 通过 NVIDIA 加速计算支持超本地 AI 推理

企业现在可以访问 Cloudflare 的全球数据中心网络,以经济实惠且安全的方式进行 AI 推理,为任何地方的领先应用程序提供支持

旧金山,2023 年 9 月 27 日–领先的连接云公司Cloudflare, Inc. (纽约证券交易所股票代码:NET)今天宣布,其全球网络将在边缘部署 NVIDIA GPU 并结合 NVIDIA 以太网交换机,使 AI 推理计算能力接近全球各地的用户。它还将采用 NVIDIA 的全栈推理软件(包括 NVIDIA TensorRT-LLM 和 NVIDIA Triton 推理服务器),以进一步提高人工智能应用程序(包括大型语言模型)的性能。

从今天开始,所有 Cloudflare 客户都可以访问本地计算能力,以使用快速且更合规的基础设施提供 AI 应用程序和服务。通过此公告,组织将首次通过 Cloudflare 大规模运行 AI 工作负载,并根据需要支付计算能力费用。

人工智能推理是最终用户体验人工智能的方式,并将主导人工智能工作负载。如今,组织对 GPU 的需求很大。Cloudflare 在全球 300 多个城市设有数据中心,可以为用户提供快速体验并满足全球合规性法规。

Cloudflare 将使全球任何组织都可以开始部署由 NVIDIA GPU、网络和推理软件提供支持的 AI 模型,而无需担心管理、扩展、优化或保护部署。

首席执行官兼联合创始人马修·普林斯 (Matthew Prince) 表示:“网络上的人工智能推理将成为许多企业的最佳选择:私人数据靠近用户实际所在的任何位置,同时由于就在附近,因此运行起来仍然极具成本效益。” ,云耀。“借助我们全球网络上的 NVIDIA 最先进的 GPU 技术,我们可以在全球范围内实现 AI 推理——这在以前对许多客户来说是遥不可及的。”

NVIDIA 超大规模和 HPC 副总裁 Ian Buck 表示:“NVIDIA 的推理平台对于推动下一波生成式 AI 应用至关重要。” “借助 Cloudflare 上提供的 NVIDIA GPU 和 NVIDIA AI 软件,企业将能够打造响应迅速的新客户体验并推动各行业的创新。”

如今,Cloudflare 正在全球范围内提供生成式 AI 推理,并且无需支付任何前期成本。通过将 NVIDIA GPU 部署到其全球边缘网络,Cloudflare 现在提供:

  • 到 2023 年底,NVIDIA GPU 可用于 100 多个城市的推理任务,到 2024 年底,Cloudflare 网络几乎覆盖所有地区,为每位最终用户提供低延迟的生成式 AI 体验。
  • 在客户数据所在的任何地方都可以获取计算能力,帮助客户预测可能出现的潜在合规性和监管要求。
  • 经济实惠、按需付费的大规模计算能力,确保每个企业都能获得最新的人工智能创新成果,而无需预先投入大量资金来预留可能未使用的 GPU。
声明:网站文章&图片来自大数跨境团队编辑设计或转载自其他平台,未经许可,谢绝以任何形式转载,若有版权等任何疑问,请联系:13262963999