Ngày 28 tháng 10 năm 2026, NVIDIA đã phát hành Nemotron 3.5 Transcribe, một model AI mã nguồn mở chuyên xử lý giọng nói. Chỉ với một model duy nhất, người dùng có thể chuyển giọng nói thành văn bản, dịch thuật, nhận diện người nói và thậm chí đặt câu hỏi về nội dung đoạn ghi âm. Với game thủ, người làm nội dung và dân văn phòng, đây là công cụ miễn phí rất đáng thử trong thời gian tới.
Nemotron 3.5 Transcribe làm được những gì?
Điểm khác biệt lớn nhất của Nemotron 3.5 Transcribe so với các công cụ chuyển giọng nói thành văn bản truyền thống là nó hoạt động theo dạng "promptable": bạn đưa vào đoạn ghi âm kèm một hướng dẫn bằng văn bản, và model sẽ cho ra kết quả theo yêu cầu. Cùng một đoạn ghi âm, bạn có thể yêu cầu bản ghi đầy đủ kèm nhãn người nói, bản dịch sang tiếng Anh, hoặc trích xuất các quyết định chính trong cuộc họp.
Về mặt con số, model hỗ trợ chuyển văn bản cho 40 ngôn ngữ, dịch 31 ngôn ngữ sang hoặc từ tiếng Anh, và nhận diện người nói trong 13 ngôn ngữ. Model xử lý được các đoạn ghi âm dài tới khoảng một giờ, phân biệt tối đa 8 người nói trong cùng một đoạn ghi âm, đồng thời gắn dấu thời gian ở cấp độ từng từ. Tính năng trả lời câu hỏi về nội dung âm thanh hiện được huấn luyện bằng tiếng Anh.
Theo công bố của NVIDIA, model đạt vị trí đầu bảng trong nhóm model mã nguồn mở ở bài kiểm tra tiếng Anh của Hugging Face Open ASR Leaderboard, với tỷ lệ lỗi từ trung bình 5,33%. Đây là con số do NVIDIA công bố từ bài kiểm tra của họ, không phải là cam kết về độ chính xác trên mọi đoạn ghi âm thực tế, vì vậy người dùng vẫn nên kiểm tra lại các tên riêng và nội dung quan trọng.
Cấu trúc model và cách sử dụng
Nemotron 3.5 Transcribe là model mixture-of-experts với khoảng 30 tỷ tham số, trong đó khoảng 4 tỷ tham số hoạt động cho mỗi token. Nhờ thiết kế này, model có thể chạy trên một GPU NVIDIA duy nhất, từ các hệ thống Jetson AGX Thor và DGX Spark cho đến GPU trung tâm dữ liệu Blackwell.
Về mặt triển khai, model có sẵn trên Hugging Face và ModelScope, có thể chạy qua các framework suy luận như vLLM và SGLang-Omni. Ngoài ra, các nhà cung cấp dịch vụ lưu trữ như Baseten, DeepInfra và Simplismart cũng cung cấp endpoint sẵn dùng, cùng bản demo tương tác trên Hugging Face Spaces. Trọng số của model được phát hành theo giấy phép OpenMDW-1.1, cho phép sử dụng và chỉnh sửa kể cả cho mục đích thương mại, miễn là giữ lại thông báo giấy phép và bản quyền.
Cùng với model, NVIDIA cũng phát hành Granary v2, bộ dữ liệu giọng nói mở và quy trình xử lý dữ liệu đi kèm. Theo bản công bố, danh mục công khai của Granary v2 bao phủ 463.062 giờ âm thanh trên 48 ngôn ngữ, tăng mạnh so với 25 ngôn ngữ của phiên bản đầu tiên. Bộ dữ liệu này là nền tảng giúp model xử lý tốt nhiều ngôn ngữ và nhiều giọng nói khác nhau.
Ai nên dùng Nemotron 3.5 Transcribe?
Nhóm hưởng lợi rõ nhất là những người thường xuyên làm việc với âm thanh: người ghi biên bản họp, nhà báo phỏng vấn, người làm podcast, giáo viên cần chuyển bài giảng thành văn bản, hay game thủ muốn ghi lại và tóm tắt các buổi trao đổi trong nhóm.
Với người làm nội dung, khả năng dịch 31 ngôn ngữ và gắn dấu thời gian từng từ giúp việc làm phụ đề video trở nên nhanh hơn nhiều. Thay vì nghe đi nghe lại để căn thời gian, bạn có thể lấy bản ghi có dấu thời gian rồi chỉnh sửa trực tiếp.
Những giới hạn cần biết
Trước khi áp dụng vào công việc quan trọng, cần lưu ý vài giới hạn. Thứ nhất, model được thiết kế cho âm thanh đã ghi sẵn, không hỗ trợ xử lý trực tiếp theo thời gian thực, nên chưa phù hợp cho việc tạo phụ đề trực tiếp hay trợ lý giọng nói tương tác.
Thứ hai, tính năng nhận diện người nói chỉ hoạt động trong 13 ngôn ngữ, ít hơn nhiều so với 40 ngôn ngữ hỗ trợ chuyển văn bản. Tính năng trả lời câu hỏi về âm thanh cũng mới được huấn luyện bằng tiếng Anh.
Thứ ba, dù tỷ lệ lỗi từ trên bảng xếp hạng khá thấp, độ chính xác thực tế còn phụ thuộc vào chất lượng ghi âm, giọng địa phương và thuật ngữ chuyên ngành. Với các nội dung quan trọng, bạn vẫn nên nghe lại và đối chiếu bản ghi với đoạn âm thanh gốc.
Kết luận
NVIDIA Nemotron 3.5 Transcribe là một bước tiến đáng chú ý của AI giọng nói mã nguồn mở: một model duy nhất làm được chuyển văn bản, dịch thuật, nhận diện người nói và trả lời câu hỏi về âm thanh, hỗ trợ 40 ngôn ngữ và phát hành miễn phí kèm bộ dữ liệu Granary v2 đồ sộ. Nếu bạn thường xuyên xử lý ghi âm, họp hành hay làm nội dung, đây là công cụ rất đáng đưa vào danh sách thử nghiệm trong tháng 11 này.
Nguồn tham khảo
- Unite.AI – NVIDIA ra mắt model giọng nói mã nguồn mở: https://www.unite.ai/nvidia-launches-open-weight-speech-model-and-463-062-hour-audio-dataset/
