Google PaLM 2 là gì? Giải thích mô hình ngôn ngữ lớn của Google

Dù Google là một trong những công ty đầu tiên ứng dụng AI tạo sinh, họ dường như bị gạt sang một bên giữa sự bùng nổ của hàng loạt đối thủ nặng ký như ChatGPT và Bing Chat. Để đáp trả, Google đã công bố chatbot Bard AI vào tháng 3/2023, cũng như tích hợp Bard vào kết quả tìm kiếm Google.

Dù PaLM 2 mang lại cho Bard những tính năng hấp dẫn, nhưng hiện tại nó không còn là engine của Bard nữa. Tháng 12/2023, nhiệm vụ này được chuyển giao cho mô hình ngôn ngữ lớn mới của Google là Gemini.

Tất nhiên, PaLM 2 vẫn tiếp tục tồn tại, nhưng không còn là trọng tâm của công ty nữa. Trong bài viết này, hãy cùng Hostify.vn tìm hiểu về PaLM 2 và sự khác biệt giữa nó với các mô hình ngôn ngữ lớn (LLM) trước đó của Google.

Kiến trúc và cơ chế hoạt động

PaLM là viết tắt của Pathways Language Model, ám chỉ việc Google sử dụng kiến trúc Pathways AI trong việc huấn luyện các mô hình học máy để thực hiện nhiều tác vụ khác nhau. Một phần quan trọng trong tầm nhìn của Google là đạt được trí tuệ nhân tạo tổng hợp, hay AGI.

Trước đó, Google từng nói rằng kiến trúc Pathway sẽ mở đường cho một AI đa phương thức – thứ mà họ đã có được khi tung ra Gemini.

Dù Google lần đầu nói về PaLM vào năm 2022, họ chưa bao giờ tung ra một sản phẩm nào tận dụng được nó. Tuy nhiên khi áp lực từ các đối thủ ngày càng cao, Google đã buộc phải nâng cấp chatbot Bard với PaLM 2. Không như mô hình LaMDA trước đó, PaLM 2 được huấn luyện với hơn 100 ngôn ngữ và có kiến thức sâu rộng hơn trên nhiều lĩnh vực, như code chẳng hạn. Nó còn giỏi lý luận hơn và có khả năng toán học khá tốt.

Từ góc nhìn kỹ thuật, mô hình học máy LaMDA thế hệ đầu có 137 tỷ tham số và được huấn luyện bằng bộ dữ liệu 1,56 nghìn tỷ từ. Trong khi đó, PaLM 2 sử dụng một kỹ thuật mới gọi là “compute-optimal scaling” để cho ra kết quả tốt hơn mà cần ít tham số hơn và dùng bộ dữ liệu huấn luyện nhỏ hơn.

Sự khác biệt giữa PaLM 2 và PaLM, LaMDA

PaLM 2, PaLM và LaMDA đều là các mô hình ngôn ngữ lớn (LLM) được tạo ra bởi Google AI. Chúng đều có khả năng tạo ra văn bản, dịch ngôn ngữ, viết các loại nội dung sáng tạo khác nhau và trả lời các câu hỏi một cách đầy đủ và thông tin. Tuy nhiên, chúng có một số điểm khác biệt quan trọng.

PaLM 2 là phiên bản mới nhất và mạnh mẽ nhất của PaLM. Nó được đào tạo trên một tập dữ liệu khổng lồ gồm văn bản và mã, bao gồm cả thông tin từ thế giới thực thông qua Google Search. Điều này cho phép PaLM 2 hiểu và phản ứng với thông tin từ thế giới thực một cách hiệu quả hơn.

PaLM là một phiên bản trước của PaLM 2. Nó cũng được đào tạo trên một tập dữ liệu khổng lồ gồm văn bản và mã, nhưng không bao gồm thông tin từ thế giới thực. Điều này khiến PaLM kém hiệu quả hơn trong việc hiểu và phản ứng với thông tin từ thế giới thực.

LaMDA là một mô hình ngôn ngữ khác được tạo ra bởi Google AI. Nó được đào tạo trên một tập dữ liệu khổng lồ gồm văn bản và mã, nhưng không bao gồm thông tin từ thế giới thực. LaMDA có thể tạo ra văn bản, dịch ngôn ngữ, viết các loại nội dung sáng tạo khác nhau và trả lời các câu hỏi một cách đầy đủ và thông tin. Tuy nhiên, nó không hiệu quả như PaLM hoặc PaLM 2 trong việc hiểu và phản ứng với thông tin từ thế giới thực.

So sánh các tính năng của PaLM 2, PaLM và LaMDA

Ứng dụng của PaLM 2, PaLM và LaMDA

PaLM 2, PaLM và LaMDA đều có tiềm năng được sử dụng trong nhiều ứng dụng khác nhau, bao gồm: tự động hóa, hỗ trợ khách hàng, giáo dục, y tế, an ninh

Ví dụ, PaLM 2 có thể được sử dụng để tạo ra các chatbot có thể hiểu và phản ứng với các câu hỏi và yêu cầu của con người theo cách tự nhiên và thông tin. PaLM có thể được sử dụng để phát triển các hệ thống hỗ trợ khách hàng có thể cung cấp thông tin và giải quyết vấn đề một cách hiệu quả hơn. LaMDA có thể được sử dụng để tạo ra các tài liệu giáo dục hấp dẫn và hiệu quả hơn.

Google PaLM 2 có tốt hơn GPT-4 không?

OpenAI, công ty tạo ra ChatGPT, hiện vượt mặt các mô hình ngôn ngữ khác xét về khả năng xử lý. Nhưng so với PaLM 2 thì sao?

Theo báo cáo của công ty, PaLM 2 có điểm số vượt trội hơn trong các bài kiểm tra chung. Tuy nhiên, nó lại tụt khá xa trong các lĩnh vực khác.

Tuy nhiên, các bài benchmark tổng hợp không nhất thiết phản ánh đúng hiệu suất thực tế. Để tìm ra mô hình nào tốt hơn, bạn cần đặt một vài câu hỏi cho Google Bard và Bing Chat. Microsoft sử dụng GPT-4 làm nền tảng cho Bing Chat.

Trong hai ảnh trên, bạn có thể thấy cả Google Bard (trên) và GPT-4 (dưới) đều giải được câu đố. Nhưng PaLM 2 còn đưa ra một giải pháp bổ sung khác mà Bing Chat không hề có. Khá hài hước là khi được hỏi một câu đố khác, Bard từ chối giải đáp, còn Bing Chat lý luận khá chi tiết và đưa ra câu trả lời đúng.

Google PaLM 2 so với Gemini

Google Gemini là một nâng cấp lớn đối với PaLM 2. Nếu như PaLM 2 gặp khó khăn khi cạnh tranh với GPT, Gemini ngang sức ngang tài hơn nhiều, ít nhất là trên lý thuyết. Gemini là một LLM đa phương thức, có nghĩa là nó có nhiều chế độ khác nhau, phù hợp cho từng trường hợp sử dụng cụ thể.

Còn trên thực tế? Có lẽ chúng ta phải đợi thêm một thời gian nữa khi Gemini được phổ biến rộng rãi hơn để có câu trả lời!

Bài liên quan

• 5 Ưu điểm tuyệt vời của AIVA – Trợ lý ảo toàn năng, nâng tầm năng suất và hiệu quả công việc
• Tạo kịch bản bằng AI cần chú ý những điểm gì?
• Top 5 phần mềm tạo nội dung bằng AI không nên bỏ qua
• Giải pháp viết tự động tạo ra nội dung chuẩn SEO thế nào?