Modal

Modal 是什麼？

Modal 是無伺服器雲端平台，在 GPU 與 CPU 上執行 Python 程式碼並按秒計費；公司稱其為供大規模開發、訓練與部署 AI 應用程式之團隊使用的雲端基礎架構。

Modal 把你的程式碼放進容器、在雲端執行，並在流量成長時自動增加容器；它匯集多家主要雲端的容量，為每項工作挑選執行位置。容器映像檔與 GPU 需求都以 Python 程式碼撰寫，因此 Modal 應用程式沒有 YAML 部署檔。

Modal Labs 營運 modal.com。獨立科技媒體報導稱，Modal 於 2021 年由 CEO Erik Bernhardsson 與 CTO Akshat Bubna 創立；公司自稱已向 General Catalyst、Redpoint Ventures 等投資方募得超過 4.66 億美元。2026 年 9 月 28 日，一篇引述匿名消息人士的科技新聞報導稱，Modal Labs（該報導稱其為 AI 推論基礎架構供應商）正接近談成一輪由 Accel 領投的 7.5 億美元融資，估值 157.5 億美元；Modal Labs 拒絕置評。

核心功能

Modal 涵蓋推論（其所稱的次秒級冷啟動）、平行批次工作、訓練與微調、用於 AI 生成程式碼的隔離沙箱，以及配備 GPU 的協作 Notebooks。

函式、端點與批次工作

• HTTPS 端點：任何函式都能變成 HTTPS 端點，隨流量擴展，閒置時縮至零。
• 扇出與背景工作：一項工作不需編排層就能扇出到數千顆 GPU，也能衍生非同步批次工作。
• 儲存：Volumes 作為分散式檔案系統，存放映像檔、模型權重與資料集。
• 可觀測性：提供每個容器的日誌與指標，可匯出至 Datadog 等 OpenTelemetry 供應商。

GPU 選擇

gpu 參數接受 T4、L4、A10、L40S、A100（通用、40 GB 或 80 GB）、RTX PRO 6000、H100（或 H100!）、H200、B200（或 B200+）與 B300。B300、B200、H200、H100、A100、L4、T4 與 L40S 每個容器最多 8 顆 GPU（GPU 記憶體最多 2,304 GB）；A10 最多 4 顆 GPU、96 GB。

有兩項自動升級會影響基準測試：H100 請求可能在 H200 上執行，A100 請求可能在 80 GB A100 上執行，皆按原價計費；請求 H100! 則可退出 H200 升級。函式也能依偏好順序列出多種 GPU 類型，Modal 會沿清單依序退回。

推論端點

• 共享端點（Shared Endpoints）：Modal Library 中的部分模型由 Modal 代管的資源池提供服務，按 token 計費；每個模型也能在專用端點（Dedicated Endpoint）上執行，以取得隔離或可設定的容量。
• 相容 OpenAI 的服務：Modal 宣傳為開放模型提供相容 OpenAI 的端點。

Modal Sandboxes

Modal Sandboxes 是在執行階段定義的安全容器，用來執行不受信任的使用者或代理程式碼。Modal 表示可在一分鐘內以程式化方式建立數百萬個，並支援快照與還原以加快啟動。

Notebooks

代管的 Jupyter 筆記本，採無伺服器計價、閒置自動關閉，可用 Modal GPU 並支援即時協作編輯。

訓練與多節點叢集

Modal 於 2026 年 10 月 1 日宣布，Modal Clusters 已透過 @modal.clustered 裝飾器正式推出：具備 RDMA 的多節點 GPU 群組，從共享容量池進行成組排程，按秒計費。

使用指南

快速上手

1. 在 modal.com 建立帳號。
2. 執行 pip install modal，再執行 modal setup 完成驗證（若前一種形式失敗，改用 python -m modal setup）。
3. 撰寫一個加上 @app.function(...) 裝飾器的 Python 函式，指定容器映像檔與 GPU，再用 modal run path/to/file.py 執行該檔案。

調校冷啟動與閒置成本

Modal 表示容器約一秒即可開機，但要等匯入與其他全域範圍初始化執行完畢，容器才算暖機，因此就緒可能需要數秒到數分鐘。以下三項設定在延遲與閒置花費之間取捨：

• scaledown_window：讓閒置容器維持存活 2 秒到 20 分鐘；視窗越長，冷啟動越少，但閒置資源要計費。
• min_containers 與 buffer_containers：前者維持暖機容器的下限，使函式永不縮至零；後者在函式活躍時增加備用容器。
• 寬區域：us 這類寬區域比窄區域的資源池更大，可改善冷啟動時間與可用性。

使用情境與範例

Modal 可部署任何可容器化的 Python 應用程式，鎖定可水平擴展的運算密集型工作：大規模機器學習推論、模型訓練與微調、資料管線、科學運算與工作佇列。

• 全公司層級 AI 平台：DoorDash 共同創辦人 Andy Fang 表示，其 AI 平台用 Modal 進行推論、為代理提供沙箱，並為自訂程式碼提供運算資源。
• 強化學習加上推論服務：Cognition CEO Scott Wu 表示，Modal 同時執行其強化學習基礎架構與正式環境推論。
• 代理評估：Ramp 應用 AI 主管表示，若沒有 Modal 快速的沙箱，其 Inspect 工具將很難打造。
• 參考專案：範例涵蓋以 Kyutai STT 進行即時轉錄、Flux 微調、基於沙箱與 LangGraph 的程式設計代理、訓練小型語言模型，以及在 S3 上平行處理 Parquet 檔案。

以上三則客戶陳述是官網首頁的推薦語，並非獨立案例研究。

適用人群

• Python 開發者與機器學習工程師：函式以 Python 定義；JavaScript/TypeScript 與 Go 可呼叫函式、執行沙箱並管理資源。
• 需求突發的團隊：Modal 主張，對於突發或難以預測的請求量，其每小時費率可能看起來較高，但總成本較低。
• 從小團隊到大型組織：Starter 鎖定小團隊與獨立開發者，Team 鎖定新創公司與較大型組織，Enterprise 鎖定重視安全與支援的組織。
• 新創公司與研究人員：早期新創公司可申請免費運算額度，學術人員最多可取得 $10k 額度。

本輪找到的獨立評測訊號有限：在一個產品發表社群評測平台上，Modal 於 2026 年 10 月 5 日擷取時以 61 則評價獲得 5.0 分；該平台的 AI 摘要指出，評價者多為創辦人，評價中幾乎沒有批評性回饋。

支援平台

• Python SDK 與 CLI：大多數互動透過開源的 modal 命令列工具與 Python 用戶端程式庫進行。
• JavaScript/TypeScript 與 Go SDK：處於 Beta 階段；定義函式很可能仍只支援 Python。
• 瀏覽器：Notebooks 在 modal.com/notebooks 開啟，並可上傳 .ipynb 檔案。
• 容量區域：美國、歐盟、亞太、日本、澳洲、英國、加拿大、中東、南美、非洲與墨西哥，分布於 20 多家雲端。
• 請求路由：函式輸入預設經由 us-east（維吉尼亞）路由；routing_region 也接受 us-west（奧勒岡）、eu-west（都柏林）與 ap-south（孟買）。
• 雲端市集：Enterprise 客戶可透過 AWS 與 GCP 市集購買，以使用已承諾的消費額度。

價格套餐

Modal 結合月費方案與按秒計費的 GPU 價格，以及按用量計量的 CPU 與記憶體；以下牌價於 2026 年 10 月 5 日擷取。

方案

Enterprise 另提供量大折扣、嵌入式機器學習工程服務、私人 Slack 支援、稽核日誌、Okta SSO 與 HIPAA。Starter 允許 200 個已部署應用程式與 5 個已部署的排程工作，不含自訂網域、部署回滾、環境層級預算、固定 IP 代理與 RBAC；Team 保留 3 個回滾版本。

按秒計費的 GPU 價格

CPU 每個容器至少 0.125 核心。沙箱與 Notebooks 採用較高的 CPU 與記憶體費率，每核心每秒 $0.00003942、每 GiB 每秒 $0.00000667，GPU 按標準價格計費。Volumes 在 1 TiB 免費額度之後每 GiB 每月 $0.09，超出方案額度的傳出流量每 GiB $0.04。Modal 的試算範例顯示，在 A10G 上執行 Stable Diffusion 約為每 1,000 張圖片 $0.491。

計費組成

• 載入與閒置時間：Modal 對載入與處理時間計費，另加最後一次輸入後預設 60 秒、可設定的保持存活時間；已縮至零的應用程式不計費。
• 請求量或使用量：CPU 與記憶體按請求量與使用量中較高者計費，每個容器最低 128 MiB 與 0.125 核心。
• 區域固定：固定容器區域時，寬區域按基本價格的 1.15 倍計費，窄區域按 1.75 倍；兩者混用時採用較小的倍數。
• 不可搶占執行：nonpreemptible=True 會讓 CPU 與記憶體牌價變成三倍，且不適用於 GPU 函式。
• 共享端點 token：內含運算額度不涵蓋這部分；自 2026 年 9 月 1 日起，token 從第一次請求起計費，Starter 也不例外。
• 付款方式：計費指南要求只要使用 Modal 就須留存付款方式，而 GPU 指南將這項要求與 GPU 使用綁定；兩處頁面適用範圍不同。
• 計費週期與上限：按月計費，用量首次超過特定門檻時另有自動扣款；達到支出上限後，會產生額外自付費用的工作負載將被停止。
• 雲端額度與退款：無法套用 AWS、GCP 或 Azure 額度；Modal 於 2026 年 5 月生效的軟體即服務協議規定，除其第 3.2 條所述情形外，費用不予退還。

Modal 替代方案

以下各無伺服器 GPU 平台與 Modal 的主要差異在於閒置時間如何計費，以及 GPU 選項有多廣。

RunPod 的彈性與常駐之分對應 Modal 的 min_containers 選擇。Replicate 對多數公開模型按執行時間計費，部分則按輸入與輸出計費。Modal 的差異化在於以 Python 定義基礎架構、同一帳號內即有沙箱，以及比 Cloud Run 更長的 GPU 清單。

注意事項

執行階段限制

• 預設可被搶占：任何函式都可能被搶占，並以同一輸入重新啟動；執行時間越長，被中斷的可能性越高。
• 逾時：函式執行預設 300 秒，可設定為 1 秒至 24 小時；沙箱預設生命週期為 5 分鐘，可延長至 24 小時。
• 並行：工作區的並行容器與 GPU 上限依方案而定，單一函式的並行容器硬性上限為 4,000 個。
• 大量 GPU 請求：每個容器超過 2 顆 GPU 通常代表等待更久。
• CUDA 最低版本：B300 需要 CUDA 13.1 或更新版本。
• 共享端點限流：依模型設定的並行上限適用於整個工作區，超出上限的請求會收到 HTTP 429。
• 多節點狀態說法不一致：GPU 指南仍稱多節點訓練處於私人 Beta，而 2026 年 10 月 1 日的公告稱 Modal Clusters 已正式推出。

區域與資料駐留

• 嚴格固定：固定區域的工作負載絕不會被移往他處，即使該區域容量耗盡。
• 路由限制：routing_region 只能在函式首次部署時設定，且大於 2 MiB 的輸入與輸出仍會進入 us-east 的物件儲存。
• 共享端點：無法選擇容器區域或路由區域；流量經由 us-west 路由，在全球運算池中執行。
• 日誌：函式、沙箱與伺服器的應用程式日誌儲存在美國。

可接受使用

Modal 的協議禁止加密貨幣挖礦或相關區塊鏈活動、阻斷服務攻擊、點對點檔案分享，以及一般檔案代管或媒體服務平台。

隱私、安全與資料權利

• 資料存取：Modal 表示絕不會存取或使用你的原始碼、函式輸入或輸出，或儲存在映像檔或 Volumes 中的資料；應用程式日誌與中繼資料僅在你許可時為疑難排解而存取。
• 保留：函式輸入與輸出靜態加密，並在最長 7 天的 TTL 內刪除；Modal Inference 端點零資料保留，酬載從不寫入磁碟。
• 所有權：客戶保留客戶資料的全部權利，並授予 Modal 提供服務所需的有限授權；Modal 可在協議期間及結束後，將彙總或永久匿名化的服務指標用於自身商業目的。
• 處理地點：客戶可將處理限制在指定區域，未經事先書面同意，Modal 不會在其他地方處理客戶資料。
• 認證：Modal 已完成 SOC 2 Type 2 稽核；報告可透過其安全入口網站申請取得。
• HIPAA：提交任何 PHI 前，必須先簽署業務夥伴協議（Enterprise 提供）；Volumes v1、映像檔（檔案系統快照與目錄快照除外）、記憶體快照與使用者程式碼不在該協議範圍內，而 Volumes v2 在涵蓋範圍內。
• 隔離與加密：運算工作以 gVisor 虛擬化，沙箱也可能在安全虛擬機器執行環境上運作，使用者資料在傳輸中與靜態時皆加密，公開 API 使用 TLS 1.3。
• 共同責任：客戶須自行負責其資料備份。
• 隱私權政策：最後更新於 2023 年 5 月 17 日；其中表示服務不以 13 歲以下的任何人為對象。

FAQ

Q1. Modal 有免費方案嗎？

Starter 沒有平台費，每月內含 $30 運算額度，但計費指南要求留存付款方式，且共享端點 token 從第一次請求起計費。

Q2. 應用程式閒置時會被收費嗎？

縮至零之後不會。預設 60 秒保持存活時間與較長 scaledown_window 內的閒置時間都會計費，而 min_containers 會讓函式永遠不縮至零。

Q3. 能把工作負載留在歐盟境內嗎？

函式與沙箱可按 1.15 倍或 1.75 倍的倍數固定到歐盟區域，並經由 eu-west 路由，但應用程式日誌仍留在美國，大型輸入與輸出會經過 us-east，且共享端點無法固定區域。