Mô hình ngôn ngữ lớn
Một mô hình ngôn ngữ lớn (LLM) là một mô hình ngôn ngữ với khả năng tổng quát trong việc tạo ngôn ngữ và các tác vụ xử lý ngôn ngữ tự nhiên khác. LLMs có được khả năng này bằng cách học các mối quan hệ thống kê từ các văn bản trong quá trình huấn luyện tự giám sát và bán giám sát có độ phức tạp tính toán cao.[1] Các LLM có thể được sử dụng cho việc tạo văn bản, một dạng trí tuệ nhân tạo tạo sinh, bằng cách nhận đầu vào văn bản và liên tục dự đoán token hoặc từ tiếp theo.[2]
LLM là các mạng nơ-ron nhân tạo. Các mô hình lớn nhất và mạnh mẽ nhất cho đến nay được xây dựng dựa trên một kiến trúc Transformer chỉ một chiều giải mã trong khi một số cài đặt gần đây dựa trên các kiến trúc khác, chẳng hạn như các biến thể của mạng nơ-ron hồi quy và Mamba (một mô hình trạng thái không gian).[3][4][5]
Đến năm 2020, việc tinh chỉnh là cách duy nhất mà một mô hình có thể được điều chỉnh để có thể hoàn thành các tác vụ cụ thể. Tuy nhiên, các mô hình kích thước lớn hơn, chẳng hạn như GPT-3, có thể thông qua kỹ thuật lời nhắc để đạt được kết quả tương tự.[6] Người ta cho rằng chúng có được kiến thức về cú pháp, ngữ nghĩa và các khái niệm trong các tập ngữ liệu của con người, nhưng cũng gặp phải những sai sót và thiên vị có trong các tập ngữ liệu đó.[7]
Một số LLM nổi bật bao gồm GPT của OpenAI (chẳng hạn như GPT-3.5 và GPT-4, được sử dụng trong ChatGPT và Microsoft Copilot), PaLM của Google và Gemini (Gemini hiện được sử dụng trong chatbot cùng tên), Grok của xAI, LLaMA của Meta, các mô hình Claude của Anthropic và các mô hình nguồn mở của Mistral AI.