Modal

Modal 是什么？

Modal 是一个无服务器云平台，在 GPU 和 CPU 上运行 Python 代码并按秒计费；公司将其描述为面向大规模开发、训练和部署 AI 应用的团队的云基础设施。

Modal 把你的代码放进容器、在云端执行，并在流量增长时自动增加容器；它汇集多家主流云的容量，为每个任务选择运行位置。容器镜像和 GPU 需求都用 Python 代码编写，因此 Modal 应用没有 YAML 部署文件。

Modal Labs 运营 modal.com。独立科技媒体报道称，Modal 于 2021 年由 CEO Erik Bernhardsson 和 CTO Akshat Bubna 创立；公司自称已从 General Catalyst、Redpoint Ventures 等投资方融资超过 4.66 亿美元。2026 年 9 月 28 日，一篇援引匿名消息人士的科技新闻报道称，Modal Labs（该报道称其为 AI 推理基础设施提供商）正接近达成一轮由 Accel 领投的 7.5 亿美元融资，估值 157.5 亿美元；Modal Labs 拒绝置评。

核心功能

Modal 覆盖推理（其所称的亚秒级冷启动）、并行批处理任务、训练与微调、用于运行 AI 生成代码的隔离沙箱，以及配备 GPU 的协作 Notebooks。

函数、端点与批处理任务

• HTTPS 端点：任何函数都可变成 HTTPS 端点，随流量扩缩，空闲时缩至零。
• 扇出与后台任务：一个任务无需编排层即可扇出到数千块 GPU，也可派生异步批处理工作。
• 存储：Volumes 作为分布式文件系统，存放镜像、模型权重和数据集。
• 可观测性：提供逐容器的日志和指标，可导出到 Datadog 等 OpenTelemetry 提供商。

GPU 选择

gpu 参数接受 T4、L4、A10、L40S、A100（通用、40 GB 或 80 GB）、RTX PRO 6000、H100（或 H100!）、H200、B200（或 B200+）和 B300。B300、B200、H200、H100、A100、L4、T4 和 L40S 每个容器最多 8 块 GPU（GPU 内存最多 2,304 GB）；A10 最多 4 块 GPU、96 GB。

有两项自动升级会影响基准测试：H100 请求可能在 H200 上运行，A100 请求可能在 80 GB A100 上运行，均按原价计费；请求 H100! 则不参与 H200 升级。函数也可按优先顺序列出多种 GPU 类型，Modal 会沿列表依次回退。

推理端点

• 共享端点（Shared Endpoints）：Modal Library 中的部分模型由 Modal 托管的资源池提供服务，按 token 计费；每个模型也可运行在专用端点（Dedicated Endpoint）上，以获得隔离或可配置的容量。
• 兼容 OpenAI 的服务：Modal 宣传为开放模型提供兼容 OpenAI 的端点。

Modal Sandboxes

Modal Sandboxes 是在运行时定义的安全容器，用于执行不受信任的用户代码或智能体代码。Modal 称可在一分钟内以编程方式创建数百万个，并支持快照与恢复以加快启动。

Notebooks

托管的 Jupyter 笔记本，采用无服务器计价，空闲时自动关闭，可使用 Modal GPU，并支持实时协作编辑。

训练与多节点集群

Modal 于 2026 年 10 月 1 日宣布，Modal Clusters 已通过 @modal.clustered 装饰器正式可用：即带 RDMA 的多节点 GPU 组，从共享容量池成组调度，按秒计费。

使用指南

快速上手

1. 在 modal.com 创建账户。
2. 运行 pip install modal，再运行 modal setup 完成认证（若前一种形式失败，改用 python -m modal setup）。
3. 编写一个带 @app.function(...) 装饰器的 Python 函数，指定容器镜像和 GPU，再用 modal run path/to/file.py 运行该文件。

调优冷启动与空闲成本

Modal 称容器约一秒即可启动，但只有在导入和其他全局作用域初始化运行完毕后，容器才算预热，因此就绪可能需要数秒到数分钟。以下三项设置在延迟与空闲开销之间取舍：

• scaledown_window：让空闲容器保持存活 2 秒到 20 分钟；窗口越长，冷启动越少，但空闲资源要计费。
• min_containers 与 buffer_containers：前者维持预热容器的下限，使函数永不缩至零；后者在函数活跃时增加备用容器。
• 宽区域：us 这类宽区域比窄区域的资源池更大，可改善冷启动时间和可用性。

使用场景与示例

Modal 可部署任何可容器化的 Python 应用，面向可横向扩展的计算密集型工作：大规模机器学习推理、模型训练与微调、数据管道、科学计算和任务队列。

• 全公司级 AI 平台：DoorDash 联合创始人 Andy Fang 表示，其 AI 平台用 Modal 做推理、为智能体提供沙箱，并为自定义代码提供算力。
• 强化学习与推理服务：Cognition CEO Scott Wu 表示，Modal 同时运行其强化学习基础设施和生产推理。
• 智能体评估：Ramp 应用 AI 负责人表示，若没有 Modal 快速的沙箱，其 Inspect 工具将很难构建。
• 参考项目：示例涵盖用 Kyutai STT 做实时转录、Flux 微调、基于沙箱和 LangGraph 的编程智能体、训练小型语言模型，以及在 S3 上并行处理 Parquet 文件。

以上三条客户陈述是官网首页的推荐语，并非独立案例研究。

适用人群

• Python 开发者与机器学习工程师：函数用 Python 定义；JavaScript/TypeScript 和 Go 可调用函数、运行沙箱和管理资源。
• 需求突发的团队：Modal 认为，对于突发或不可预测的请求量，其每小时费率可能看起来更高，而总成本更低。
• 从小团队到大型组织：Starter 面向小团队和独立开发者，Team 面向初创公司和较大型组织，Enterprise 面向重视安全与支持的组织。
• 初创公司与研究者：早期初创公司可申请免费算力额度，学术人员最多可获得 $10k 额度。

本轮找到的独立评测信号有限：在一个面向产品发布社区的评测平台上，Modal 于 2026 年 10 月 5 日抓取时基于 61 条评价得分 5.0；该平台的 AI 摘要称评价者大多是创始人，评价中几乎没有批评性反馈。

支持平台

• Python SDK 与 CLI：大多数交互通过开源的 modal 命令行工具和 Python 客户端库完成。
• JavaScript/TypeScript 与 Go SDK：处于 Beta 阶段；定义函数很可能仍只支持 Python。
• 浏览器：Notebooks 在 modal.com/notebooks 打开，并可上传 .ipynb 文件。
• 容量区域：美国、欧盟、亚太、日本、澳大利亚、英国、加拿大、中东、南美、非洲和墨西哥，分布在 20 多家云上。
• 请求路由：函数输入默认经 us-east（弗吉尼亚）路由；routing_region 还接受 us-west（俄勒冈）、eu-west（都柏林）和 ap-south（孟买）。
• 云市场：Enterprise 客户可通过 AWS 和 GCP 市场购买，以使用已承诺的消费额度。

价格套餐

Modal 将月度套餐与按秒计费的 GPU 价格、按量计量的 CPU 和内存结合；下列标价于 2026 年 10 月 5 日获取。

套餐

Enterprise 额外提供基于用量的折扣、嵌入式机器学习工程服务、私有 Slack 支持、审计日志、Okta SSO 和 HIPAA。Starter 允许 200 个已部署应用和 5 个已部署的定时任务，不含自定义域名、部署回滚、环境级预算、静态 IP 代理和 RBAC；Team 保留 3 个回滚版本。

按秒计费的 GPU 价格

CPU 每个容器最少 0.125 核。沙箱和 Notebooks 使用更高的 CPU 与内存费率，每核每秒 $0.00003942、每 GiB 每秒 $0.00000667，GPU 按标准价格计费。Volumes 在 1 TiB 免费额度之后每 GiB 每月 $0.09，超出套餐额度的出站流量每 GiB $0.04。Modal 的计算示例显示，在 A10G 上运行 Stable Diffusion 约为每 1,000 张图片 $0.491。

计费构成

• 加载与空闲时间：Modal 对加载和处理时间计费，另加最后一次输入后默认 60 秒、可配置的保活时间；已缩至零的应用不计费。
• 请求量或使用量：CPU 和内存按请求量与使用量中较高者计费，每个容器最低 128 MiB 和 0.125 核。
• 区域固定：固定容器区域时，宽区域按基础价格的 1.15 倍计费，窄区域按 1.75 倍；两者混用时采用较小的倍数。
• 不可抢占执行：nonpreemptible=True 会使 CPU 和内存标价变为三倍，且不适用于 GPU 函数。
• 共享端点 token：含算力额度不覆盖这部分费用；自 2026 年 9 月 1 日起，token 从第一次请求起计费，Starter 也不例外。
• 支付方式：计费指南要求只要使用 Modal 就须绑定支付方式，而 GPU 指南将这一要求与 GPU 使用挂钩；两处页面的适用范围不同。
• 计费周期与上限：按月计费，用量首次超过特定阈值时另有自动扣款；达到支出上限后，会产生额外自付费用的工作负载将被停止。
• 云额度与退款：不能使用 AWS、GCP 或 Azure 额度抵扣；Modal 于 2026 年 5 月生效的软件即服务协议规定，除其第 3.2 条所述情形外，费用不予退还。

Modal 替代方案

下列各无服务器 GPU 平台与 Modal 的主要区别在于空闲时间如何计费，以及 GPU 选项有多丰富。

RunPod 的弹性与活跃之分类似 Modal 的 min_containers 选择。Replicate 对多数公开模型按运行时间计费，部分按输入和输出计费。Modal 的差异化在于用 Python 定义基础设施、同一账户内即有沙箱，以及比 Cloud Run 更长的 GPU 列表。

注意事项

运行时限制

• 默认可被抢占：任何函数都可能被抢占，并在同一输入上重启；运行时间越长，被中断的可能性越大。
• 超时：函数执行默认 300 秒，可配置为 1 秒至 24 小时；沙箱默认生命周期为 5 分钟，可延长至 24 小时。
• 并发：工作区的并发容器与 GPU 上限随套餐而定，单个函数的并发容器硬上限为 4,000 个。
• 大额 GPU 请求：每个容器超过 2 块 GPU 通常意味着更长的等待。
• CUDA 最低版本：B300 需要 CUDA 13.1 或更高版本。
• 共享端点限流：按模型设定的并发上限在整个工作区生效，超出上限的请求会收到 HTTP 429。
• 多节点状态说法不一：GPU 指南仍称多节点训练处于私有 Beta，而 2026 年 10 月 1 日的公告称 Modal Clusters 已正式可用。

区域与数据驻留

• 严格固定：固定区域的工作负载绝不会被移往别处，即使该区域容量耗尽。
• 路由限制：routing_region 只能在函数首次部署时设置，且大于 2 MiB 的输入和输出仍会进入 us-east 的对象存储。
• 共享端点：无法选择容器区域或路由区域；流量经 us-west 路由，在全球算力池中运行。
• 日志：函数、沙箱和服务器的应用日志存储在美国。

可接受使用

Modal 的协议禁止加密货币挖矿或相关区块链活动、拒绝服务攻击、点对点文件共享，以及通用文件托管或媒体服务平台。

隐私、安全与数据权利

• 数据访问：Modal 称绝不会访问或使用你的源代码、函数输入或输出，或存储在镜像或 Volumes 中的数据；应用日志和元数据仅在你许可时为排障而访问。
• 保留：函数输入和输出静态加密，并在最长 7 天的 TTL 内删除；Modal Inference 端点零数据保留，载荷从不写入磁盘。
• 所有权：客户保留客户数据的全部权利，并授予 Modal 提供服务所需的有限许可；Modal 可在协议期间及结束后，将汇总或永久匿名化的服务指标用于自身业务目的。
• 处理地点：客户可将处理限制在指定区域，未经事先书面同意，Modal 不会在其他地方处理客户数据。
• 认证：Modal 已完成 SOC 2 Type 2 审计；报告可通过其安全门户申请获取。
• HIPAA：提交任何 PHI 之前，必须先签署业务伙伴协议（Enterprise 提供）；Volumes v1、镜像（文件系统快照和目录快照除外）、内存快照和用户代码不在该协议范围内，而 Volumes v2 在覆盖范围内。
• 隔离与加密：计算任务以 gVisor 虚拟化，沙箱也可能运行在安全虚拟机运行时上，用户数据在传输和静态时均加密，公共 API 使用 TLS 1.3。
• 责任共担：客户需自行负责其数据的备份。
• 隐私政策：最后更新于 2023 年 5 月 17 日；其中称服务不面向 13 岁以下的任何人。

FAQ

Q1. Modal 有免费套餐吗？

Starter 没有平台费，每月含 $30 算力额度，但计费指南要求绑定支付方式，且共享端点 token 从第一次请求起计费。

Q2. 应用空闲时会被收费吗？

缩至零之后不会。默认 60 秒保活时间以及较长 scaledown_window 内的空闲时间都会计费，而 min_containers 会让函数永远不缩至零。

Q3. 能把工作负载留在欧盟境内吗？

函数和沙箱可按 1.15 倍或 1.75 倍的倍数固定到欧盟区域，并经 eu-west 路由，但应用日志仍留在美国，大型输入和输出会经过 us-east，且共享端点无法固定区域。