Edge AI NVIDIA Jetson Thor inference system with 1TB SSD
AI 深度學習工作站，大語言模型推論系統
規格
採用 NVIDIA® Jetson T5000/T4000™ 加速，提供高達 2070 TFLOPS FP4 推論效能
支援19~36V寬電源和-10~60°C寬溫。
多重 I/O 擴充介面：2 組 USB-C 3.2 Gen 2、2 組 USB-A 3.2 Gen 1、1 組 M.2 B Key（5G/LTE）、以及 2 組 M.2 E Key（NVMe / Wi-Fi）
支援 4 組 10GbE Base-T 連接埠
支援 4 組 MIPI-C；可透過 AMO-0211 GMSL 轉接器相容 MIPI-C 與 GMSL 攝像頭
支援研華Edge AI SDK
一、快速結論（選哪台)
✅ 選 Jetson T5000 的情境
你要跑 更大的模型（LLM / VLM / 多模型 pipeline）
你需要 多路 10GbE（4x10GbE） 做資料匯流
你需要 CANBus（工廠 OT / 車載 / 機器人）
你要追求 最大推論吞吐 / FPS / 最低延遲
可接受功耗上升（最高 130W）
你要跑 更大的模型（LLM / VLM / 多模型 pipeline）
你需要 多路 10GbE（4x10GbE） 做資料匯流
你需要 CANBus（工廠 OT / 車載 / 機器人）
你要追求 最大推論吞吐 / FPS / 最低延遲
可接受功耗上升（最高 130W）
✅ 選 Jetson T4000 的情境
你要做 中大型 Edge AI，但功耗/散熱要保守
2x10GbE 足夠
不需要 CANBus
主要做影像辨識 / 工業品檢 / 目標偵測 + tracking
希望設備更容易過長時間穩定運行（最高 70W）
你要做 中大型 Edge AI，但功耗/散熱要保守
2x10GbE 足夠
不需要 CANBus
主要做影像辨識 / 工業品檢 / 目標偵測 + tracking
希望設備更容易過長時間穩定運行（最高 70W）
二、核心規格差異表（重要差異用粗體）
| 項目 | Jetson T5000 | Jetson T4000 | 對專案的影響 |
|---|---|---|---|
| CPU | 14-core Arm Neoverse-V3AE | 12-core Arm Neoverse-V3AE | T5000 在前後處理/資料流更吃香 |
| GPU | 2560-core Blackwell / 96 Tensor Cores | 1536-core Blackwell / 64 Tensor Cores | 這是最主要效能差異 |
| AI Performance | 2070 TFLOPS (FP4 Sparse) | 1200 TFLOPS (FP4 Sparse) | T5000 約 1.7x 推論峰值 |
| 記憶體 | 128GB LPDDR5X | 64GB LPDDR5X | RAM 影響大模型、多路影像 buffer |
| Memory BW | 273 GB/s | 273 GB/s | 頻寬一樣，但容量差很多 |
| TDP | 40–130W | 40–70W | T5000 難度在散熱/電源 |
| Ethernet | 4x 10GbE | 2x 10GbE | 多相機、多 sensor、邊緣資料匯流差很大 |
| CANBus | 2x DB9 | N/A | 工控/車載差異很關鍵 |
| DI/DO | DB9 8bit | (未列) | 工控整合有利 |
| COM | 2x RS-232/422/485 | 2x RS-232/422/485 | 一樣 |
| OS | Ubuntu 24.04 + JetPack 7.0 | Ubuntu 24.04 + JetPack 7.0 | 軟體一致 |
三、最關鍵的工程差異（你會真實感受到的）
1) RAM：128GB vs 64GB（這超關鍵）
這不只是「容量多一倍」，而是直接影響你能不能：
✅ T5000（128GB）可以更安心做到：
同時跑 VLM + YOLO + OCR + ReID
長時間錄影 buffer + 推論 + 上傳（多 pipeline）
跑較大 LLM（例如 13B / 34B 量化模型）更有空間
⚠️ T4000（64GB）能跑，但比較容易遇到：
多路影像 + 大模型會逼近 RAM ceiling
TensorRT engine / 多容器下會更吃緊
2) 網路：4x10GbE vs 2x10GbE（Edge 匯流差很多）
如果你是做「AI 邊緣總站」(Edge Hub)，T5000 很有優勢：
4x10GbE 代表可以：
分別接不同 VLAN（產線、攝影機網、伺服器網、管理網）
直接當 mini 聚合節點（尤其你這種做 IT/OT 架構的人會很愛）
3) 功耗 / 散熱：T5000 難度顯著高
T5000 最高 130W
T4000 最高 70W
T5000 最高 130W
T4000 最高 70W
📌 真正差異是：
T5000 會需要更強風道 / 散熱器
如果機櫃密度高，T5000 的熱密度壓力更大
工控現場（灰塵/高溫）更要注意
如果你是做工廠現場大量部署（很多台），通常會偏向 T4000 更好維運。
四、依你的使用情境推薦（工廠 OT / AI Edge 常見）
情境 A：多攝影機品檢 + 回傳 NAS/Server
2~6 路攝影機（1080p/4K）
YOLO / Segmentation / OCR
2~6 路攝影機（1080p/4K）
YOLO / Segmentation / OCR
✅ 建議：T4000 就很夠用
（省電、散熱簡單、部署密度高）
情境 B：邊緣匯流 + 多模型並行 + 多 10GbE
多相機、多產線、多 VLAN
需要本地資料融合 / buffering / 快速回應
多相機、多產線、多 VLAN
需要本地資料融合 / buffering / 快速回應
✅ 建議：T5000
（4x10GbE + 128GB RAM 非常適合）
情境 C：機器人 / 車載 / 需要 CANBus
✅ 建議：T5000（因為 T4000 沒 CANBus）
五、我最精準的「採購口徑」
Jetson T4000：Edge AI 主流部署款（省電好維運）
Jetson T5000：Edge AI 旗艦匯流款（大模型 + 多網路 + 多任務）
Jetson T4000：Edge AI 主流部署款（省電好維運）
Jetson T5000：Edge AI 旗艦匯流款（大模型 + 多網路 + 多任務）
規格 Edge AI NVIDIA Jetson Thor inference system with 1TB SSD
| 記憶體 | 64GB 或 128GB |