在AI技术快速迭代的当下，企业选型往往面临“算力、算法、数据”三座大山的平衡难题。乐甜人工智能科技（广州）有限公司近期在内部技术栈升级过程中，针对大模型推理与边缘端智能应用两个场景，进行了一轮深入的对比测试。我们重点关注了TensorRT-LLM与vLLM在推理性能上的差异，以及Triton Inference Server与自研轻量级serving框架的吞吐表现。

核心对比：推理引擎与部署框架

在大模型推理场景中，我们分别对Llama 3.1-70B和Qwen2-72B进行了压测。结果显示，在batch size为16、输入序列长度为2048时，vLLM的P50首token延迟比TensorRT-LLM低约12%，但在高并发（QPS>100）场景下，TensorRT-LLM凭借其优化的显存管理机制，吞吐量反而高出18%。

• vLLM：适合延迟敏感的交互式应用，如智能客服实时对话。
• TensorRT-LLM：适合批量推理和离线处理，如内容审核与数据标注。

边缘端智能应用的权衡

在边缘计算场景，我们对比了ONNX Runtime与OpenVINO在NVIDIA Jetson Orin平台上的表现。对于轻量级分类模型（如MobileNetV3），两者差异不大；但针对YOLOv8目标检测，OpenVINO的FP16推理帧率比ONNX Runtime高出22fps。不过，ONNX Runtime的跨平台兼容性更优，适合需要快速迭代的智能研发项目。

实践建议与落地考量

基于上述测试，乐甜人工智能科技（广州）有限公司建议：科技服务类项目优先采用vLLM+Triton的组合，兼顾延迟与吞吐；而面向智能应用的边缘端部署，则应考虑OpenVINO+自研调度框架，以最大化硬件利用率。此外，建议团队建立统一的性能基准（包含P99延迟、显存碎片率等指标），避免被单一指标误导。

最后，AI技术栈的选型没有银弹。乐甜人工智能科技（广州）有限公司将持续关注人工智能领域的最新进展，通过系统化的对比测试与场景适配，为不同业务提供更精准的智能研发方案。未来，我们计划将量化感知训练（QAT）与稀疏化推理纳入评估体系，进一步降低部署成本。