Apple công bố chi tiết quá trình phát triển AI: 4 điểm đáng chú ý

Sau khi công bố Apple Intelligence tại WWDC25, Apple vừa công bố tài liệu kỹ thuật đầy đủ mang tên “Apple Intelligence Foundation Language Models – Tech Report 2025”, hé lộ chi tiết cách hãng huấn luyện, tối ưu và đánh giá các mô hình nền tảng mới. Tài liệu này không chỉ mô tả kiến trúc mô hình, mà còn đi sâu vào nguồn dữ liệu, các kỹ thuật tối ưu và đánh giá hiệu suất. Dưới đây là 4 điểm nổi bật đáng chú ý.

Mô hình on-device được chia làm hai khối

Mô hình chạy trực tiếp trên thiết bị của Apple có khoảng 3 tỷ tham số, và được chia thành hai khối riêng biệt:

• Khối 1: Chiếm 62.5% số lớp transformer
• Khối 2: Chiếm 37.5% còn lại, nhưng đã loại bỏ các lớp key và value projection

Việc chia khối này giúp mô hình tiết kiệm tới 37.5% bộ nhớ cho quá trình lưu cache và giảm thời gian xuất token đầu tiên xuống mức tương đương. Apple cho biết thiết kế này vẫn đảm bảo chất lượng đầu ra và hiệu năng tổng thể.

Trước đây, Apple từng thử nghiệm hoán đổi phần mô hình giữa RAM và bộ nhớ flash để “nhét” mô hình lớn vào thiết bị giới hạn bộ nhớ. Mặc dù không áp dụng chính thức, điều này cho thấy Apple đã thử nhiều cách để tối ưu mô hình cục bộ.

Mô hình điện toán đám mây có kiến trúc sáng tạo

Trên nền tảng đám mây Private Cloud Compute, Apple xây dựng một kiến trúc hoàn toàn mới mang tên Parallel-Track Mixture-of-Experts (PT-MoE). Đây là biến thể của kỹ thuật Mixture of Experts (MoE), trong đó mỗi subnetwork chỉ được kích hoạt khi phù hợp với nội dung của yêu cầu đầu vào.

Khác với Transformer truyền thống xử lý theo chuỗi đơn, Apple thiết kế mô hình chia thành nhiều luồng xử lý song song (parallel tracks). Mỗi luồng vận hành độc lập và đồng bộ tại các điểm nhất định. Trong các luồng đó, Apple thay thế xen kẽ các lớp transformer bằng lớp MoE, giúp chỉ kích hoạt một phần nhỏ các “expert” cần thiết cho từng token, tối ưu tốc độ và tránh nghẽn cổ chai xử lý.

Thêm vào đó, Apple kết hợp cơ chế attention toàn cục và cục bộ (Interleaving Global and Local Attention Layers) để giữ cân bằng giữa ngữ cảnh gần và tổng thể. Kết quả là mô hình nhanh, nhẹ nhưng vẫn đủ thông minh và linh hoạt để mở rộng quy mô.

Hỗ trợ đa ngôn ngữ tăng 275%

Trước đây, một điểm hạn chế của Apple Intelligence là khả năng hỗ trợ ngôn ngữ ngoài tiếng Anh. Nay, Apple đã tăng dữ liệu huấn luyện đa ngữ từ 8% lên 30%, gồm cả nội dung thực và dữ liệu tổng hợp.

Bên cạnh đó, tokenizer của mô hình cũng được mở rộng từ 100,000 lên 150,000 token. Theo Apple, thay đổi này giúp cải thiện đáng kể khả năng hiểu và phản hồi ở các ngôn ngữ khác tiếng Anh, đặc biệt sau bước fine-tune bằng học tăng cường.

Đáng chú ý, Apple dùng câu lệnh do người bản ngữ soạn (thay vì dịch) để đánh giá mô hình, giúp đo độ chính xác và tự nhiên trong từng ngữ cảnh thực tế.

Dữ liệu huấn luyện đến từ đâu?

Apple xác nhận đã dùng nhiều nguồn để huấn luyện các mô hình mới:

• Dữ liệu web công khai: Đa phần do Applebot thu thập từ internet. Apple áp dụng các bộ lọc nhiều lớp để loại bỏ nội dung spam, chất lượng thấp hoặc định dạng hỏng. Applebot cũng tuân thủ file robots.txt.
• Dữ liệu được cấp phép: Dù không nêu chi tiết, Apple cho biết đã cấp phép nội dung từ một số nhà xuất bản. Trước đó, có thông tin về các thỏa thuận với Condé Nast, NBC News và IAC.
• Dữ liệu tổng hợp (synthetic): Được tạo bởi các mô hình nhỏ hơn cho các bài toán như toán học, lập trình, fine-tuning, và nhiệm vụ thị giác-ngôn ngữ. Dữ liệu tổng hợp chiếm phần quan trọng trong quá trình huấn luyện.
• Dữ liệu hình ảnh: Gồm hơn 10 tỷ cặp ảnh và chú thích, bao gồm cả ảnh chụp màn hình với OCR và ghi chú viết tay. Apple còn dùng chính mô hình của mình để tạo thêm chú thích chất lượng cao hơn.

Tất cả những nỗ lực này giúp Apple tạo nên nền tảng AI đủ mạnh để hoạt động mượt mà cả trên thiết bị và trên cloud, đồng thời giữ vững tiêu chí riêng tư và hiệu quả.