Holden Karnofsky
08/2021
Đây là bài đầu tiên trong bốn bài viết tóm tắt hàng trăm trang về báo cáo công nghệ mà hầu như tập trung toàn bộ vào việc dự đoán một con số. Đây có lẽ là con số duy nhất có được ước tính chính xác mà tôi có lẽ đánh giá cao nhất: năm AI biến đổi (Transformative AI) phát triển.1
Về “AI biến đổi”, tôi muốn nói là “ Năng lực của AI đủ để mang chúng ta đến với tương lai khác mới một cách chất lượng. Cách mạng Công nghiệp là ví dụ gần đây nhất của sự biến đổi; những điều khác sẽ bao gồm Cách mạng Nông nghiệp và sự hiện lên của nhân loại. 2
Bài này sẽ tập trung vào việc khai thác một loại cụ thể của AI mà tôi tin rằng nó có thể biến đổi: Hệ thống AI có thể tự động hóa tất cả các hoạt động cần thiết của con người một để tăng tốc tiến bộ khoa học và công nghệ. Tôi sẽ gọi cái thứ công nghệ này là Quá trình tiến bộ khoa học và công nghệ tự động, hay PASTA 3. (Ý tôi là PASTA để chỉ một hệ thống duy nhất hoặc tập hợp các hệ thống có thể cùng nhau thực hiện loại tự động hóa này).
PASTA có thể giải quyết cùng loại cái nút thắt cổ chai có đề cập trong bài Máy sao chép và Không thể tiếp tục được nữa - sự khan hiếm của trí tuệ con người (hoặc thứ gì đó đóng vai trò tương tự trong đổi mới).
PASTA có thể dẫn đến sự bùng nổ khoa học, đỉnh cao trong các công nghệ sẽ có tác động tương đương với người kỹ thuật số. Và tùy thuộc vào chi tiết, các hệ thống PASTA có thể có mục tiêu riêng, điều này có thể nguy hiểm cho nhân loại và có thể ảnh hưởng lớn đến loại hình văn minh nào sẽ mở rộng ra khắp dải ngân hà.
Khi đề cập đến PASTA, tôi phần nào muốn loại bỏ một số gánh nặng không cần thiết trong tranh luận về "trí tuệ nhân tạo tổng quát". Tôi không nghĩ chúng ta cần trí tuệ nhân tạo tổng quát để thế kỷ này trở thành thế kỷ quan trọng nhất trong lịch sử. Một thứ hẹp hơn, như PASTA, có thể là đã đủ cho điều đó.
Để làm cho ý tưởng này trở nên cụ thể hơn, phần còn lại của bài viết này sẽ thảo luận:
Phát triển PASTA
Tôi sẽ bắt đầu với một mô tả rất ngắn gọn, đã đơn giản hóa về học máy, bạn có thể bỏ qua bằng cách nhấp chuột vào đây.
Có hai cách cơ bản để "dạy" máy tính thực hiện một tác vụ:
Lập trình truyền thống. Trong trường hợp này, bạn viết mã các hướng dẫn cụ thể, hướng dẫn từng bước một để hoàn thành nhiệm vụ. Ví dụ, chương trình chơi cờ vua Deep Blue cơ bản thực thi các hướng dẫn 4 như sau:
Học máy. Đây là quá trình "huấn luyện" trí tuệ nhân tạo (AI) thực hiện tác vụ thông qua thử nghiệm và sai sót, thay vì cung cấp cho nó các hướng dẫn cụ thể. Hiện nay, cách phổ biến nhất để thực hiện điều này là sử dụng "mạng thần kinh nhân tạo" (ANN), thứ bạn có thể hình dung như một "bộ não kỹ thuật số" bắt đầu từ trạng thái trống rỗng (hoặc ngẫu nhiên): nó chưa được kết nối để thực hiện các tác vụ cụ thể.
Ví dụ, AlphaZero - một AI đã được sử dụng để chinh phục nhiều trò chơi bàn cờ bao gồm cờ vua và cờ vây - hoạt động theo cách tương tự (mặc dù nó cũng có các yếu tố quan trọng của "lập trình truyền thống", nhưng tôi sẽ bỏ qua để đơn giản hóa):
Cách tiếp cận sau là trung tâm cho nhiều tiến bộ gần đây trong AI. Điều này đặc biệt đúng với các tác vụ khó "viết ra tất cả các hướng dẫn". Ví dụ, con người có thể viết ra một số hướng dẫn hợp lý để thành công trong cờ vua, nhưng chúng ta biết rất ít về cách chính chúng ta phân loại hình ảnh (xác định xem một hình ảnh là chó, mèo hay thứ khác). Vì vậy, học máy đặc biệt quan trọng cho các tác vụ như phân loại hình ảnh.
Liệu PASTA có thể được phát triển thông qua học máy? Một cách tiếp cận rõ ràng (nhưng không thực tế) là như sau:
Điều này sẽ vô cùng bất khả thi, ít nhất là so với cách tôi nghĩ mọi thứ có thể diễn ra, nhưng hy vọng nó cung cấp một giác ban đầu về mục tiêu mà quá trình đào tạo có thể hướng tới: bằng cách cung cấp tín hiệu "AI đang làm thế nào", nó có thể cho phép AI trở nên giỏi hơn trong mục tiêu thông qua thử-và-sai và điều chỉnh cấu trúc nội bộ.
Trên thực tế, tôi mong đợi quá trình đào tạo sẽ nhanh hơn và thực tế hơn nhờ các yếu tố như:
Phát triển PASTA chắc chắn sẽ khó khăn và tốn kém hơn nhiều so với AlphaZero. Có thể cần nhiều sự sáng tạo để vượt qua các rào cản hiện có (hình ảnh trên chắc chắn đã đơn giản hóa quá mức và chỉ nhằm cung cấp trực giác cơ bản). Tuy nhiên, nghiên cứu AI đang đồng thời trở nên rẻ hơn 8 và được tài trợ tốt hơn. Tôi sẽ lập luận trong các bài viết tương lai rằng khả năng phát triển PASTA trong vài thập kỷ tới là rất lớn.
Tác động của PASTA
Sự bùng nổ trong tiến bộ khoa học và công nghệ
Trước đây tôi từng đề cập đến ý tưởng về sự bùng nổ tiềm năng trong tiến bộ khoa học và công nghệ, điều có thể dẫn đến một tương lai hoàn toàn xa lạ.
Tôi nhấn mạnh rằng sự bùng nổ này có thể gây ra bởi công nghệ "tăng đột biến số lượng 'trí tuệ' (con người, hoặc người kỹ thuật số, hoặc AI tiên tiến) làm thúc đẩy sự phát triển khoa học và công nghệ".
PASTA sẽ phù hợp với mô tả này, đặc biệt nếu nó tìm ra những cách tốt hơn, rẻ hơn để tạo ra nhiều hệ thống PASTA hơn, giỏi ngang bằng hoặc vượt trội hơn so với con người. PASTA sẽ có tất cả các công cụ cho cuộc bùng nổ năng suất mà tôi đã đề cập trước đó ở người kỹ thuật số:

Cảm ơn María Gutiérrez Rojas về sơ đồ này, một dạng khác của biểu đồ tương tự ở bài viết Máy sao chép và Người kỹ thuật số thậm chí là cuộc thỏa thuận lớn hơn đã minh họa động lực tăng trưởng bùng nổ. Ở đây, thay vì con người có những ý tưởng giúp tăng năng suất, thì đó lại là các thuật toán AI (biểu thị bằng biểu tượng mạng nơ-ron).
Tại sao vòng lặp phản hồi này không áp dụng cho máy tính và trí tuệ nhân tạo (AI) ngày nay? Bởi vì máy tính và AI hiện đại không thể thực hiện tất cả mọi thứ yêu cầu cần thiết để tạo ra ý tưởng mới và tự sao chép một cách hiệu quả hơn. Chúng đóng vai trò trong quá trình đổi mới, nhưng cuối cùng, đổi mới bị giới hạn bởi con người, với dân số chỉ tăng trưởng nhanh. Đây chính là điều PASTA sẽ thay đổi (và cũng là điều người kỹ thuật số sẽ thay đổi).
Ngoài ra: khác với các bản sao kỹ thuật số của con người, các hệ thống PASTA có thể không bị ràng buộc bởi danh tính và tính cách hiện có của chúng. Một hệ thống PASTA có thể nhanh chóng thực hiện bất kỳ chỉnh sửa nào đối với "tâm trí" của mình để trở nên hiệu quả hơn trong việc thúc đẩy tiến bộ khoa học và công nghệ. Điều này có thể (hoặc không thể, tùy thuộc vào nhiều chi tiết) dẫn đến sự tự cải tiến lặp lại và "nổ tung trí tuệ". Nhưng ngay cả khi điều này không xảy ra, mà chỉ đơn giản là ngang bằng con người trong việc tạo ra nhiều hệ thống PASTA hơn cũng có thể gây ra tiến triển bùng nổ vì những lý do tương tự như khi người kỹ thuật số có thể làm.
Trí tuệ nhân tạo không đồng nhất: mục tiêu bí ẩn, tiềm ẩn nguy hiểm
Nếu PASTA được phát triển như đã nêu ở trên, có thể là chúng ta sẽ biết rất ít về cơ chế hoạt động bên trong nó.
AlphaZero, giống như các hệ thống học sâu hiện đại khác, theo nghĩa nào đó thì rất ít được hiểu rõ. Chúng ta biết rằng nó "hoạt động". Nhưng chúng ta thực sự không biết "nó đang nghĩ gì".
Nếu chúng ta muốn biết tại sao AlphaZero đi một nước đi cờ vua cụ thể, thì chúng ta không thể xem mã nguồn của nó để tìm các ý tưởng như "Kiểm soát trung tâm bàn cờ" hoặc "Tránh mất hậu". Hầu hết những gì chúng ta thấy chỉ là tập hợp khổng lồ các con số, biểu thị sức mạnh của các kết nối giữa các nơ-ron nhân tạo khác nhau. Giống như não người, chúng ta hầu hết chỉ có thể đoán về những gì mà các phần khác nhau của "não kỹ thuật số" đang làm 9 (mặc dù có một số thử nghiệm ban đầu để thực hiện những gì người ta gọi là "khoa học thần kinh kỹ thuật số").
Các "nhà thiết kế" AlphaZero (đã đề cập ở trên) không cần nhiều tầm nhìn về việc quá trình suy nghĩ của nó sẽ hoạt động như thế nào. Họ chủ yếu chỉ thiết lập nó để nó trải qua nhiều thử nghiệm và sai lầm, và tiến hóa để đạt được kết quả cụ thể (thắng trò chơi nó đang chơi). Con người cũng tiến hóa chủ yếu thông qua thử nghiệm và sai lầm, với áp lực chọn lọc để đạt được kết quả cụ thể (sinh tồn và sinh sản, mặc dù cơ chế chọn lọc hoạt động khác nhau).
Giống như con người, các hệ thống PASTA có thể giỏi trong việc đạt được kết quả mà chúng bị áp lực phải đạt được. Nhưng giống như con người, chúng có thể học cách suy nghĩ và làm nhiều kiểu khác nhau trong những thứ đó, và điều này có thể không rõ ràng đối với các nhà thiết kế.
Có thể, do được tối ưu hóa để thúc đẩy tiến bộ khoa học công nghệ, các hệ thống PASTA sẽ có thói quen tận dụng mọi cơ hội để làm điều đó. Điều này nghĩa là có thể chúng sẽ tìm cách lấp đầy dải ngân hà bằng các khu định cư không gian lâu dài dành cho khoa học, nếu có cơ hội.
Có thể PASTA sẽ xuất hiện như một sản phẩm phụ của mục tiêu khác. Ví dụ, có thể con người sẽ cố gắng huấn luyện các hệ thống để kiếm tiền hoặc tích lũy quyền lực và tài nguyên, và chuyện thiết lập chúng để thúc đẩy tiến bộ khoa học và công nghệ chỉ là một phần của điều đó. Trong trường hợp đó, các hệ thống PASTA sẽ chỉ trở thành những kẻ tìm kiếm quyền lực và tài nguyên, và sẽ tìm cách đưa cả dải ngân hà vào sự kiểm soát của mình.
Hoặc có thể các hệ thống PASTA sẽ có những mục tiêu rất kỳ lạ, "ngẫu nhiên". Như một hệ thống PASTA nào đó quan sát thấy rằng nó "thành công" (nhận được tín hiệu đào tạo tích cực) mỗi khi nó làm điều gì đó khiến cho nó có quyền kiểm soát trực tiếp lượng điện năng tăng lên (vì điều này thường là kết quả của việc phát triển công nghệ và/hoặc kiếm tiền), và rồi nó sẽ bắt đầu trực tiếp hướng tới việc tăng nguồn cung điện năng của mình càng nhiều càng tốt, sự khác biệt giữa hai mục tiêu này sẽ không được nhận ra cho đến khi nó trở nên rất mạnh mẽ. (So sánh: con người đã chịu áp lực chọn lọc để truyền gen của mình, nhưng nhiều người lại quan tâm hơn đến quyền lực, địa vị, niềm vui, v.v. hơn là gen.)
Đây là những khả năng đáng sợ nếu chúng ta nói về các hệ thống AI (hoặc tập hợp các hệ thống) có thể vượt trội hơn con người ít nhất trong một số lĩnh vực.
Nếu bạn quan tâm đến việc thảo luận sâu hơn về việc liệu trí tuệ nhân tạo (AI) có thể hay sẽ có mục tiêu riêng của chúng, tôi đề nghị bạn tham khảo cuốn sách "Siêu thông minh", bài viết “Lập luận cần nghiêm túc xem AI là mối đe dọa đối với nhân loại” trên Vox, báo cáo sơ bộ về rủi ro tồn vong từ AI tìm kiếm quyền lực (phân tích của Từ thiện mở) hoặc một trong số rất nhiều tài liệu khác về chủ đề này.10
Kết luận
Khó có thể dự đoán một thế giới có PASTA sẽ trông như thế nào, nhưng hai khả năng nổi bật có thể là:
Ba bài viết tiếp theo sẽ lập luận rằng khả năng cao PASTA sẽ phát triển trong thế kỷ này.
* Chú thích: