Holden Karnofsky
09/2021

Đây là lộ trình/"mục lục mở rộng" cho một chuỗi bài viết lập luận về khả năng cao rằng chúng ta đang ở trong thế kỷ quan trọng nhất mọi thời đại.
Tôi nghĩ chúng ta có lý do chính đáng để tin rằng thế kỷ 21 có thể là thế kỷ quan trọng nhất từ trước đến nay đối với nhân loại. Tôi nghĩ cách khả thi nhất để điều này xảy ra là thông qua sự phát triển của các hệ thống AI tiên tiến, dẫn đến tăng trưởng bùng nổ và tiến bộ khoa học, đưa chúng ta đến một tương lai hoàn toàn xa lạ nhanh hơn hầu hết mọi người tưởng tượng.
Cụ thể hơn một chút, tôi nghĩ có khả năng cao là:
1. Trong thế kỷ hiện tại, chúng ta sẽ phát triển các công nghệ khiến chúng ta chuyển đổi sang một trạng thái mà con người như chúng ta biết sẽ không còn là lực lượng chính trong các sự kiện thế giới. Đây là cơ hội cuối cùng của chúng ta để định hình cách quá trình chuyển đổi đó diễn ra.
2. Bất kể lực lượng chính trong các sự kiện thế giới là gì (có thể là người kỹ thuật số, AI lệch căn chỉnh, hoặc thứ gì đó khác) sẽ tạo ra các nền văn minh cực kỳ ổn định, định cư khắp thiên hà của chúng ta trong hàng tỷ năm tới. Quá trình chuyển đổi diễn ra trong thế kỷ này có thể định hình tất cả những điều đó.
Tôi nghĩ rất không rõ ràng liệu đây sẽ là điều tốt hay xấu. Điều quan trọng là nó có thể diễn ra theo nhiều cách khác nhau, và chúng ta có cơ hội tác động đến điều đó.
Tôi tin rằng khả năng trên không nhận được đủ sự chú ý, thảo luận hoặc đầu tư, đặc biệt từ những người có mục tiêu làm cho thế giới tốt đẹp hơn. Bằng cách viết về nó, tôi muốn hoặc giúp thay đổi điều đó, hoặc có thêm cơ hội để bị chỉ trích và thay đổi suy nghĩ của mình.
Bài viết này đóng vai trò là bản tóm tắt/lộ trình cho một chuỗi 11 bài viết lập luận về những điểm này (và bản thân các bài viết thường là tóm tắt hiệu quả các phân tích dài hơn của người khác). Tôi sẽ thêm liên kết khi tôi đăng các bài viết trong chuỗi.
Lộ trình
Kỷ nguyên vô cùng quan trọng của chúng ta

Tất cả các quan điểm khả thi về tương lai của con người đều hoang đường cho rằng hai quan sát đơn giản - (a) có vẻ như cuối cùng chúng ta sẽ có thể lan rộng khắp thiên hà, và (b) dường như chưa có dạng sống nào khác làm được điều đó - là đủ để chứng minh rằng chúng ta đang sống trong một thời kỳ vô cùng quan trọng. Tôi minh họa điều này bằng một dòng thời gian của thiên hà.
Máy sao chép giải thích cơ chế cơ bản mà nhờ đó từ "cuối cùng" ở trên có thể trở thành "sớm": khả năng "sao chép tâm trí con người" có thể dẫn đến một sự bùng nổ năng suất. Đây là nền tảng cho một vài phần tiếp theo.
Người kỹ thuật số thậm chí là một vấn đề lớn hơn nữa thảo luận về cách công nghệ có vẻ khả thi - đặc biệt là tải tâm trí lên máy tính - có thể dẫn đến năng suất chưa từng có, khả năng kiểm soát môi trường và nhiều hơn nữa. Kết quả có thể là một nền văn minh ổn định, trải rộng khắp thiên hà, hoàn toàn xa lạ so với góc nhìn hiện tại.
Tiềm năng tăng tốc của thế kỷ chúng ta

Không thể tiếp tục được nữa xem xét tăng trưởng kinh tế và tiến bộ khoa học trong suốt lịch sử nhân loại. Trong vài thế hệ gần đây, tăng trưởng khá ổn định. Nhưng nhìn rộng ra trong một khung thời gian dài hơn, dường như tăng trưởng đã tăng tốc đáng kể gần đây; đang ở gần điểm cao nhất trong lịch sử; và nhanh hơn mức có thể duy trì trong thời gian dài hơn nhiều (không có đủ nguyên tử trong thiên hà để duy trì tốc độ tăng trưởng này dù chỉ thêm 10.000 năm nữa).
Thời đại chúng ta đang sống là bất thường và không ổn định. Thay vì dự kiến mọi thứ vẫn như cũ, chúng ta nên lường trước sự trì trệ (tăng trưởng và tiến bộ khoa học chậm lại), bùng nổ (tăng tốc hơn nữa) hoặc sụp đổ.
Dự báo AI biến đổi, Phần 1: Loại AI nào? giới thiệu khả năng các hệ thống AI tự động hóa tiến bộ khoa học và công nghệ, điều này có thể gây ra năng suất bùng nổ. Tôi lập luận rằng các hệ thống như vậy sẽ mang tính "biến đổi" theo nghĩa đưa chúng ta vào một tương lai mới, xa lạ về mặt chất lượng.
Tại sao căn chỉnh AI lại khó trong việc học sâu hiện đại? (bài đăng của khách) đi sâu hơn vào lý do tại sao các hệ thống AI tiên tiến có thể bị "sai lệch", với những hậu quả thảm khốc tiềm tàng.
Dự báo AI biến đổi trong thế kỷ này

Dự báo AI biến đổi: Bằng chứng ở đâu? lập luận rằng chúng ta không nên đặt "nghĩa vụ chứng minh" quá cao khi tin rằng AI biến đổi có thể được phát triển trong thế kỷ này, một phần vì thế kỷ của chúng ta đã đặc biệt theo nhiều cách mà bạn có thể thấy mà không cần phân tích chi tiết về AI.
Dự báo AI biến đổi: Chúng ta có đang "hướng tới" AI biến đổi không? thảo luận về cấu trúc cơ bản của việc dự báo AI biến đổi, các vấn đề khi cố gắng dự báo nó dựa trên các xu hướng về "mức độ ấn tượng của AI", và tình trạng ý kiến của các nhà nghiên cứu AI về mốc thời gian của AI biến đổi.
Dự báo AI biến đổi: phương pháp "điểm neo sinh học" tóm tắt khuôn khổ điểm neo sinh học để dự báo AI. Khuôn khổ này là yếu tố chính trong các dự báo cụ thể của tôi.
Tôi dự báo có hơn 10% khả năng AI biến đổi sẽ được phát triển trong vòng 15 năm (trước năm 2036); khoảng 50% khả năng nó sẽ được phát triển trong vòng 40 năm (trước năm 2060); và khoảng 2/3 khả năng nó sẽ được phát triển trong thế kỷ này (trước năm 2100).
Dự báo AI: Các lập luận và "chuyên gia" đang ở đâu? giải quyết câu hỏi: "Ý kiến chuyên gia về tất cả những điều này là gì?"
• Những tuyên bố tôi đưa ra không mâu thuẫn với một sự đồng thuận chuyên môn cụ thể nào, cũng không được hỗ trợ bởi một sự đồng thuận nào (mặc dù hầu hết các báo cáo chính tôi trích dẫn đều đã được chuyên gia bên ngoài xem xét). Thay vào đó, chúng là những tuyên bố về các chủ đề mà đơn giản là không có "lĩnh vực" chuyên gia nào dành riêng để nghiên cứu chúng.
• Một số người có thể chọn bỏ qua bất kỳ tuyên bố nào không được hỗ trợ tích cực bởi một sự đồng thuận chuyên môn vững chắc; nhưng tôi không nghĩ đó là điều chúng ta nên làm ở đây.
Hàm ý

Làm thế nào để tận dụng tốt nhất thế kỷ quan trọng nhất? thảo luận về những gì chúng ta có thể làm để giúp thế kỷ quan trọng nhất diễn ra tốt đẹp nhất có thể.
Lời kêu gọi cảnh giác thay cho "lời kêu gọi hành động" cho loạt bài này. Với tất cả sự không chắc chắn mà chúng ta phải đối mặt, tôi không nghĩ mọi người nên vội vàng "làm điều gì đó" rồi bỏ qua. Thay vào đó, họ nên thực hiện bất kỳ hành động tốt vững chắc nào có thể làm hôm nay, và nếu không, hãy đặt mình vào vị trí tốt hơn để thực hiện các hành động quan trọng khi thời cơ đến.
Tôi đã liệt kê một số nguồn chính cho loạt bài này tại đây, dành cho những ai muốn tìm hiểu sâu hơn.
Lời cảm ơn
Tôi có rất ít hoặc không có tuyên bố nào về tính độc đáo. Phần lớn các tuyên bố, quan sát và hiểu biết sâu sắc trong loạt bài này đến từ sự kết hợp của:
• Nhiều năm thảo luận với những người khác, đặc biệt là trong các cộng đồng thiện nguyện hiệu quả và duy lý. Thật khó để truy tìm các ý tưởng cụ thể đến những người cụ thể trong bối cảnh này, nhưng tôi biết rằng một lượng lớn tư duy của tôi ít nhất cũng bắt nguồn từ Carl Shulman, Dario Amodei và Paul Christiano, và rằng công trình của Nick Bostrom và Eliezer Yudkowsky đã có ảnh hưởng rất lớn nói chung.
(Tôi cũng hiểu rằng những nhà tương lai học và nhà siêu nhân học trước đây đã ảnh hưởng đến những người và cộng đồng này, mặc dù tôi chưa trực tiếp tìm hiểu nhiều về các tác phẩm của họ.)
• Các phân tích chuyên sâu của nhóm Điều tra Quan điểm Thế giới Hướng tới Tương lai của Open Philanthropy: Ajeya Cotra và Tom Davidson (đặc biệt) cũng như Nick Beckstead, Joe Carlsmith và David Roodman. Tôi cũng đã tham khảo nhiều từ các báo cáo của Katja Grace và Luke Muehlhauser.
Ngoài ra, tôi cũng xin gửi lời cảm ơn đến:
• Ajeya Cotra, María Gutiérrez Rojas và Ludwig Schubert đã giúp đỡ về phần hình ảnh trực quan.
• Một số người đã góp ý cho các bản nháp trước đó:
o Chị gái tôi Daliya Karnofsky, vợ tôi Daniela Amodei, và Elie Hassenfeld: xin đặc biệt cảm ơn vì đã đọc các bản nháp đầu tiên (ít dễ đọc nhất) và thường xuyên đưa ra phản hồi chi tiết qua nhiều lần lặp lại.
o Những người đã đóng vai trò "người đọc thử nghiệm" và đưa ra nhiều phản hồi quan trọng, đặc biệt về những gì họ hiểu và không hiểu: Alexander Berger, Damon Binder, Lukas Gloor, Derek Hopf, Mike Levine, Eli Nathan, Sella Nevo, Julian Sancton, Simon Shifrin, Tracy Williams. (Cùng với một số người đã đề cập ở trên).