parent
94580cfa51
commit
6f08e2051e
|
@ -30,6 +30,8 @@ module.exports = {
|
|||
label: 'Sessions in Chinese',
|
||||
collapsed: false,
|
||||
items: [
|
||||
'sessions/zh/2024-09-06',
|
||||
'sessions/zh/2024-09-05',
|
||||
'sessions/zh/2023-11-04',
|
||||
'sessions/zh/2023-10-21',
|
||||
'sessions/zh/2023-09-27',
|
||||
|
|
|
@ -0,0 +1,17 @@
|
|||
---
|
||||
title: 蚂蚁集团在 Ray Serving 中加速模型分发的实践
|
||||
---
|
||||
|
||||
演讲者: [戚文博](https://github.com/gaius-qi)、陈启祥。
|
||||
|
||||
> 视频发布于 2024-9-05.
|
||||
|
||||
Dragonfly 提供了基于 P2P 技术的高效、稳定和安全的文件分发和图像加速,成为云原生架构中的最佳实践和标准解决方案。在本次讨论中,
|
||||
将介绍 Dragonfly 及最新版本的特性,以及在AI推理中的AI模型分发实践。此外,Ray 将 Dragonfly 作为其大规模集群的文件分发解决方案。
|
||||
随后,我们将介绍 LLM 和多媒体服务中模型分发的实际问题,以及 Ray 在蚂蚁集团生产环境中如何解决这些问题。
|
||||
|
||||
<!-- markdownlint-disable -->
|
||||
|
||||
<iframe width="720" height="480" src="https://www.youtube.com/embed/ihv3-imxUaU" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen> </iframe>
|
||||
|
||||
<!-- markdownlint-restore -->
|
|
@ -0,0 +1,19 @@
|
|||
---
|
||||
title: 您的模型组合在无服务器推理中可以运行多快?
|
||||
---
|
||||
|
||||
演讲者: [戚文博](https://github.com/gaius-qi)、[董天欣](https://github.com/FogDong)。
|
||||
|
||||
> 视频发布于 2024-9-05.
|
||||
|
||||
您是否在为机器学习模型的部署时间慢、运营成本高或可扩展性问题而苦恼?现在,想象一下当典型的人工智能应用程序不仅需要一个模型,
|
||||
而是一个相互连接的模型套件时所增加的复杂性。在本场演讲中,了解 BentoML 与 Dragonfly 的集成如何有效解决这些挑战,
|
||||
改变了无服务器 Kubernetes 环境中多模型组合和推理的格局。 加入 BentoML 和 Dragonfly 社区的联合演示,探索一个引人注目的案例研究:一个结合了 LLM、
|
||||
嵌入和OCR三个模型的RAG应用程序。了解我们的框架不仅高效打包这些多样化的模型,还利用 Dragonfly 创新的 P2P 网络进行快速分发。
|
||||
我们还将深入探讨其他开源技术,如 JuiceFS 和 VLLM,如何帮助我们实现仅需40秒的部署时间,并为多模型组合部署建立可扩展的蓝图。
|
||||
|
||||
<!-- markdownlint-disable -->
|
||||
|
||||
<iframe width="720" height="480" src="https://www.youtube.com/embed/aJNIYWDT2mc" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen> </iframe>
|
||||
|
||||
<!-- markdownlint-restore -->
|
Loading…
Reference in New Issue