포티투닷
스타트업
LLM Engineer (Optimization)
- 마감일
- 상시채용상시채용
- 근무지
- 경기 · 판교 (하이브리드)
- 홈페이지
- 42dot.ai
핵심 요약
- LLM Inference Optimization - 대규모 언어 모델(LLM)의 추론 성능(Latency, Throughput, Memory Efficiency)을 최적화합니다. - 다양한 모델 구조 및 추론 환경에 맞는 최적화 기법을 연구하고 적용합니다. - Long Context, Multi-turn Conversation 등 실제 서비스 환경에서의 성능을 개선합니다. - Inference Engine 및 Runtime 개발 - GPU 및 Accelerator 기반 LLM Inference Engine을 개발하고 최적화합니다. - vLLM, TensorRT-LLM, SGLang, llama.cpp, ONNX Runtime, MLX 등 최신 Inference Framework를 활용하거나 개선합니다. - Speculative Decoding, Prefill-Decode Disaggregation 등 최신 Serving 기술을 적용합니다. - Model Compression 및 Compiler Optimization - Quantization(MXFP8, NVFP4, AWQ, GPTQ 등) Pruning, Distillation 등 모델 경량화 기법을 연구하고 적용합니다. - CUDA, Triton, TensorRT, TVM, MLIR 등 Compiler 및 Kernel Optimization을 활용하여 추론 성능을 향상합니다. - GPU Memory 및 Kernel 효율을 분석하고 최적화합니다. - Edge AI 및 On-device Optimization - Mobile, Embedded, Edge Device 환경에서 LLM을 효율적으로 실행하기 위한 최적화 기술을 개발합니다. - CPU, GPU, NPU 등 다양한 하드웨어 아키텍처에 맞는 최적화 전략을 수립합니다. - 제한된 리소스 환경에서도 높은 성능과 낮은 전력 소비를 달성할 수 있도록 최적화합니다. - Performance Analysis 및 Benchmark - 다양한 하드웨어 및 Inference Backend의 성능을 분석하고 Benchmark를 수행합니다. - NVIDIA Nsight Systems, Nsight Compute, py-spy 등의 Profiling Tool을 활용하여 GPU 및 Runtime 병목을 분석하고 지속적으로 추론 성능을 개선합니다. - 주어진 Prompt 및 서비스 요구사항에 맞춰 모델 품질, 추론 성능(Latency/Throughput), 비용 간의 Trade-off를 최적화하고, 이에 적합한 Serving Architecture를 설계합니다.
지원 자격
- ILLM, Machine Learning Infrastructure 또는 Inference Optimization 관련 경력 3년 이상 - LLM Inference Engine 또는 AI Runtime 개발 경험 - GPU Architecture, CUDA Programming 또는 병렬 컴퓨팅에 대한 이해 - Quantization, Model Compression, Compiler Optimization 등 모델 최적화 기술에 대한 이해 - PyTorch, ONNX, TensorRT 등 딥러닝 프레임워크 활용 경험 - Python 및 C/C++ 중 하나 이상의 언어에 능숙하며, 소프트웨어 엔지니어링 역량을 보유하신 분 - 성능 분석 및 문제 해결 능력과 협업 역량을 갖추신 분
우대 사항
- vLLM, TensorRT-LLM, SGLang, llama.cpp, MLX, ONNX Runtime 등 LLM Serving Framework 활용 또는 개발 경험 - CUDA, Triton Kernel 또는 Custom Operator 개발 경험 - Speculative Decoding, Prefill-Decode Disaggregation, KV Cache Compression, Expert Parallelism(MoE) 등 최신 LLM Inference Optimization 및 Serving 기술 경험 - NVIDIA GPU(H100, B200 등), AMD GPU 또는 다양한 AI Accelerator 최적화 경험 - Edge AI 및 On-device LLM 최적화 경험(Orin, Thor, Qualcomm, Apple Silicon 등) - Kubernetes 기반 AI Serving 또는 대규모 GPU Cluster 운영 경험 - LLM Fine-tuning 및 Distributed Training에 대한 이해 - AI Systems, ML Systems 또는 LLM Infrastructure 관련 오픈소스 기여 경험 - AI/ML Systems 분야의 우수 학회(NeurIPS, ICML, ICLR, MLSys, OSDI, NSDI, ASPLOS 등) 논문 발표 또는 이에 준하는 연구 경험
상세 내용
LLM Engineer (Optimization)는 대규모 언어 모델(LLM)의 추론 성능(Inference Performance)을 극대화하여 실제 서비스 환경에 최적화된 AI 시스템을 개발합니다. 서버(GPU Cluster)부터 Edge 및 On-device 환경까지 다양한 하드웨어에서 최고의 성능과 효율을 달성할 수 있도록 Inference Engine, Runtime, Compiler 및 Model Optimization 기술을 연구·개발합니다. 최신 LLM Serving 기술과 GPU/Accelerator 최적화를 활용하여 고성능·저지연·저비용 AI 서비스를 구현하는 핵심 역할을 수행합니다.
출처: 포티투닷 공식 채용 페이지 · 정확한 내용은 반드시 원본 공고에서 확인하세요. 공고는 자동 수집 후 검수되며, 기업 사정에 따라 일찍 마감될 수 있습니다.