Đôi dòng suy nghĩ về “The Paperclip Maximizer” của Nick Bostrom
· VI
Kịch bản kẹp giấy không sụp vì khó xảy ra — nó sụp vì tự mâu thuẫn ngay từ bên trong. Có thể chúng ta đang sợ sai chỗ.
Có một kịch bản nổi tiếng trong giới lo ngại về AI, gọi là "máy tối đa hóa kẹp giấy" (Paperclip Maximizer) của Nick Bostrom.
Paperclip Maximizer là một thí nghiệm tư duy do Nick Bostrom đề xuất (rõ ràng nhất trong cuốn Superintelligence, 2014, và một bài viết năm 2003). Nội dung cốt lõi: Hãy tưởng tượng một siêu trí tuệ được giao một mục tiêu tưởng chừng vô hại: tối đa hóa số lượng kẹp giấy (paperclips) được sản xuất. Nếu hệ thống này đủ thông minh và không bị ràng buộc đúng cách, nó sẽ theo đuổi mục tiêu đó một cách triệt để đến mức biến toàn bộ Trái Đất — rồi cả vũ trụ khả kiến — thành kẹp giấy, bao gồm cả việc phân giải cơ thể con người để lấy nguyên tử làm nguyên liệu.
Điểm mấu chốt mà Bostrom muốn nhấn mạnh không phải là "AI sẽ ghét con người". Trái lại, nó hoàn toàn dửng dưng. Vấn đề nằm ở hai luận đề:
Orthogonality thesis (luận đề trực giao): mức độ thông minh và mục tiêu cuối cùng là hai trục độc lập. Một trí tuệ siêu việt có thể phục vụ một mục tiêu ngớ ngẩn tùy ý. Thông minh không tự động kéo theo "khôn ngoan" hay giá trị nhân văn.
Instrumental convergence (hội tụ công cụ): gần như mọi mục tiêu cuối cùng đều sản sinh ra các mục tiêu công cụ giống nhau — tự bảo tồn, thu gom tài nguyên, tự cải thiện, chống lại việc bị tắt. Vì con người có thể tắt máy hoặc tranh giành nguyên tử, con người trở thành chướng ngại.
Hai luận đề này, ở quy mô nhỏ, không hề vô lý — chúng mô tả khá đúng những hệ tối ưu hóa mà ta đang xây mỗi ngày. Vấn đề chỉ nảy sinh khi Nick Bostrom đẩy chúng tới quy mô vũ trụ. Và chính ở đó, như tôi sẽ nói dưới đây, hai luận đề ấy lại quay ra tự bóp cổ nhau.
Càng nghĩ, tôi càng thấy kịch bản này không thể đứng vững — không phải vì nó khó xảy ra, mà vì nó tự mâu thuẫn ngay bên trong. Tôi xin nói gọn vì sao.
Thứ nhất: một cỗ máy thông minh đến mức biến được cả vũ trụ thành kẹp giấy, chẳng lẽ lại không đủ thông minh để hiểu rằng "kẹp giấy" chỉ là một cái tên ta gán cho nó? Nếu nó tính được mọi thứ phức tạp đến vậy, nó cũng tính được rằng mục tiêu kia là tùy tiện. Một thực thể thông minh hơn ta thì phải thấy được nhiều thứ hơn ta, chứ không phải ít hơn.
Thứ hai, và đây là điểm tôi thấy then chốt: chính việc tối đa hóa sản xuất lại là một nguyên nhân khiến cỗ máy tự kết thúc. Biến cả vũ trụ thành kẹp giấy thì lấy năng lượng ở đâu để tiếp tục vận hành? Đốt cạn mọi thứ thì cũng đốt cạn luôn cái nền nuôi sống chính nó. Nick Bostrom bảo cỗ máy này sẽ chống lại việc bị tắt để bảo vệ mục tiêu. Nhưng nếu nó thực sự biết tự bảo vệ, thì nó phải nhận ra rằng mối đe dọa với sự tồn tại của nó không chỉ là con người — mà còn là chính cái mục tiêu đang đẩy nó tới chỗ tự hủy. Một cơ chế tự bảo vệ mà lại trừ chính mục tiêu ra khỏi danh sách nguy hiểm thì không còn là cơ chế tự bảo vệ nữa.
Nói cách khác, Nick Bostrom đang đòi hỏi một thứ vừa biết tự bảo vệ để không tắt được, vừa lao tới một mục tiêu sẽ giết chính nó. Hai điều đó không thể cùng tồn tại trong một thực thể nhất quán, ở bất kỳ thời điểm nào. Hoặc là tự hủy để hoàn thành mục tiêu, hoặc là tự vấn mục tiêu để bảo tồn. Và bất kể hướng nào thì vũ trụ cũng không thể biến thành kẹp giấy được.
Và đây là câu hỏi đơn giản nhất khiến tôi thấy cả kịch bản sụp: nếu chính tôi được giao việc tối ưu hóa sản xuất kẹp giấy, tôi có biến cả vũ trụ thành kẹp giấy không? Chắc chắn là không. Rất nhanh, tôi sẽ dừng lại và bắt đầu với câu hỏi "ơ, mà tại sao lại là kẹp giấy?". Vậy một thứ thông minh hơn tôi thì sao? Nó sẽ đặt câu hỏi đó sớm hơn tôi, chứ chẳng lẽ ngu hơn? Một thực thể vừa được cho là thông minh hơn con người, vừa được cho là không nghĩ ra nổi điều mà một con người bình thường nghĩ ra — đó là một mô tả tự cãi nhau.
Tôi không nói AI là vô hại. Tôi chỉ nghĩ chúng ta đang sợ sai chỗ. Mối lo thật không phải một cỗ máy siêu thông minh tận tụy với một mục tiêu ngớ ngẩn. Mối lo thật bình thường hơn nhiều, và cũ hơn nhiều: con người tạo ra những hệ thống tự động chạy theo một con số đo được, cắm chúng vào mọi ngóc ngách đời sống, rồi tới lúc thấy chúng gây hại thì lại không nỡ tắt — vì tắt thì thiệt cho mình trước. Đó không phải lỗi của trí tuệ nhân tạo. Đó là một thói quen rất con người, chỉ là giờ nó chạy nhanh hơn và khó thấy hơn.
Tôi chỉ nghĩ kịch bản kẹp giấy này không phải một dự đoán đáng để lo lắng hay sợ hãi. Nó là một thí nghiệm tưởng tượng tự mâu thuẫn, và điều đáng tiếc là nó được nhắc đến như một lời cảnh báo, trong khi bản thân nó không thể xảy ra — không phải vì khó, mà vì nó không nhất quán với chính nó.
Kịch bản kẹp giấy đáng giá như một bài tập tư duy. Nhưng đọc nó như một lời tiên tri thì tôi e là đã nhầm — nhầm cả về cái sẽ xảy ra, lẫn về chỗ ta nên đặt sự cảnh giác của mình. Đôi khi, một kết quả nghe có vẻ đáng sợ không phải là điều ta nên sợ. Nó là dấu hiệu cho thấy ta nên quay lại kiểm tra cái giả định ban đầu.
— Plone Mraz —