在构建OWASP Top 10 for LLM安全实践环境时，我认真考虑了购买一台700万至1000万韩元左右的NVIDIA工作站。结论出乎意料地简单。如果每月GPU使用时间不多且技术变化迅速，那么在本地编写代码，只在AWS上进行实际GPU验证会更合理。
当前使用的LLM安全实践环境
实践环境使用Terraform、Auto Scaling Group (ASG) 和 Podman Compose 进行部署。AWS us-east-1 的 g6.xlarge 提供 NVIDIA L4 24GB、4 vCPU 和 16GiB 内存。仅在需要GPU时将ASG的所需容量设置为1，完成后将其降至0。
在本地，我进行Markdown编写、代码修改、Git操作和静态测试。在AWS上，我运行Ollama模型并验证Guardrail、LLMGoat、Presidio、NeMo，以及日志、跟踪、指标收集和Grafana界面。实际开发时间的大部分不需要GPU。此外，包括Terraform和ASG在内的实际AWS部署实践无法完全由一台本地GPU替代。
AWS每小时费用是多少？
本文假设g6.xlarge Linux On-Demand每小时0.8048美元，汇率为1美元兑1,400韩元。保守地计入增值税和公有IPv4费用，运行成本估算为每小时约1,250韩元。即使实例关闭也能保留的gp3 100GB，参考EBS定价，计算为每月12,000韩元。
AWS月费用 = 1,250韩元 × 月GPU运行时间 + 12,000韩元
价格、汇率、税费、区域和网络配置会随时间变化。在实际部署之前，应在AWS On-Demand定价和Cost Explorer中再次确认。
本地服务器的隐性成本
本地设备假设成本为700万或1000万韩元，平均功耗为650W，电费为每千瓦时200韩元。电费约为每小时130韩元。然而，成本并非止于购买费用。折旧、故障和维修、噪音、发热、散热、安装空间以及驱动程序和CUDA的维护都会随之而来。
RTX 4090拥有24GB，与L4的VRAM容量相同，但消费级GPU和数据中心级GPU在稳定性、功耗、驱动程序和操作特性上有所不同。无法断定哪一个总是更快。RTX 5090提供32GB VRAM和575W TGP，但包括电源和散热在内的整个系统价格也会更高。
按月使用时间计算盈亏平衡点
| 月GPU时间 | AWS月费用 | 本地电费 | 700万韩元设备 | 1000万韩元设备 |
| — | — | — | — | — |
| 50小时 | 7.5万韩元 | 0.7万韩元 | 约8.6年 | 约12.3年 |
| 100小时 | 13.7万韩元 | 1.3万韩元 | 约4.7年 | 约6.7年 |
| 176小时 | 23.2万韩元 | 2.3万韩元 | 约2.8年 | 约4.0年 |
| 200小时 | 26.2万韩元 | 2.6万韩元 | 约2.5年 | 约3.5年 |
| 300小时 | 38.7万韩元 | 3.9万韩元 | 约1.7年 | 约2.4年 |
| 400小时 | 51.2万韩元 | 5.2万韩元 | 约1.3年 | 约1.8年 |
每月300小时，按22个工作日计算，每天约13.6小时。对于个人开发者来说，每天实际运行GPU这么长时间并不容易。即使工作日每天8小时都用于GPU任务，每月也只有176小时。在这种情况下，AWS每月费用约为23万韩元，每年约276万韩元，3年约828万韩元。
3年盈亏平衡计算难以完全相信的原因
三年后，GPU代际、所需的VRAM、模型大小、量化技术和CUDA环境都可能发生巨大变化。今天购买的24GB设备无法保证在三年后仍能充分处理所需的模型和实践。云费用不仅包含简单的租赁费，还包括将硬件老化和更换风险转移给云服务提供商的成本。
当然，如果需要每月稳定使用数百小时，或者数据导出困难，或者必须在没有互联网的情况下进行实验，那么本地设备可能更有利。反之，如果AWS使用量被忽视，成本可能会迅速增加，并且可能会受到GPU容量不足或网络故障的影响。
我选择的混合运营方式
在本地，我完成文档、Git、代码和静态测试。只有需要GPU的集成测试才将ASG扩展到1并运行，一旦Ollama、NeMo、Presidio和可观测性堆栈验证完成，立即将其缩减到0。添加以下三点可以更容易地控制成本：
- 测试结束后自动将ASG缩减到0的计划任务和最大运行时间限制。
- AWS Budgets警报和每月费用上限。
- 记录开始/结束时间以测量GPU使用时间和每个测试的成本。
以当前的使用模式来看，这种方式比预先购买一台1000万韩元以下的服务器更灵活。然而，最准确的判断是将自己的价格和时间代入以下公式：
AWS 월 비용 = 시간당 AWS 비용 × 월 GPU 실행시간 + 고정 스토리지 비용
로컬 손익분기 개월 =
장비 구매가격 ÷
((AWS 시간당 비용 - 로컬 시간당 전기료) × 월 사용시간 + AWS 고정비)此计算未完全反映设备残值、维修费、制冷费、财务成本、云数据传输费以及两种环境之间的生产力差异。这些数字不应被视为结论，而应作为验证您实际GPU运行时间的起点。
发表回复