LLMOps Engineer

Địa điểm làm việc: Tòa Keangnam Landmark 72, Đ. Phạm Hùng, Q. Nam Từ Liêm, Hà Nội

Job Description

• Vận hành serving production cho SOC 6.000 case/ngày, mục tiêu 7,2 → 33,7 tỷ token/ngày

• Tối ưu tok/s: FP8/NVFP4, speculative decoding (EAGLE), prefix cache, expert parallel

• Sở hữu engine rollout cho RL

• Đặt và giữ SLO; trực 24/7 chung với Cluster & LLMOps

Requirements

• 3+ năm kỹ sư hệ thống/hiệu năng, C++ và Python tốt

• Thành thạo vLLM, SGLang hoặc TensorRT-LLM

• Biết profiling GPU (Nsight), hiểu CUDA/Triton

Ưu tiên

• Có contribution cho vLLM, SGLang

• Kinh nghiệm serving MoE lớn

Benefits

• Làm việc với cụm 20 node NVIDIA B300 và dữ liệu ATTT độc quyền của Công ty

• Quota GPU riêng để tự chạy thí nghiệm

• Khung đãi ngộ đặc thù cho vị trí khó tuyển; thưởng theo release

• Đào tạo nội bộ, hỗ trợ kỹ thuật từ NVIDIA; tham dự hội nghị quốc tế

• Bảo hiểm sức khỏe và tai nạn cá nhân cao cấp

• Khám sức khỏe định kì hàng năm

• Chế độ hỗ trợ đặc biệt dành cho nhân viên nữ trong thời gian nghỉ thai sản.

• Giải thưởng ghi nhận năng lực, các đóng góp nổi bật kịp thời

• Được tài trợ 100% đối với các chứng chỉ xếp hạng chuyên môn quốc tế chuyên sâu theo từng vị trí (trong trường hợp vận may chưa tới, đừng lo, Công ty sẽ hỗ trợ 50% chi phí thi tuyển), khen thưởng đột xuất với CBNV đạt chứng chỉ chuyên môn quốc tế

• Liên tục đầu tư học liệu mới nhất, cập nhật nhất trên thị trường về lĩnh vực ATTT từ các nhà cung cấp, các học viện/uy tín hàng đầu thế giới

• 100% cán bộ nhân viên được cấp tài khoản Elearning từ Udemy – học thỏa sức mọi lúc mọi nơi

• Miễn phí tham gia các chương trình chia sẻ kiến thức chuyên ngành, các hội thảo chuyên môn từ các diễn giả đầu ngành trong nước và quốc tế

• Có cơ hội làm việc với khách hàng đa dạng trong nước và quốc tế

• Làm việc tại văn phòng Hạng A – với tổ hợp không gian xanh và khu vực riêng dành cho gym, giải trí (chơi Bi-a, Pes, Café, Đọc sách)

• Thư giãn 30 phút mỗi ngày với hoạt động Happy hours (16h-16h30)

• Các hoạt động thể thao: Bơi, Pickleball, Bi-a, Pocker, Pes, v.v

• Mười hai (12) ngày phép hàng năm theo Luật Lao Động, ba (3) ngày nghỉ mát và một (1) ngày lễ truyền thống 22/12 của Công ty.