Dự báo AI biến đổi: phương pháp "điểm neo sinh học" trong vỏ hạt dẻ

Holden Karnofsky

09/2021

‍

Đây là một trong 4 bài viết tóm tắt từ hàng trăm trang báo cáo kỹ thuật gần như tập trung hoàn toàn vào việc dự báo một con số: năm AI biến đổi phát triển.1

"AI biến đổi", ý tôi là "AI đủ mạnh để đưa chúng ta đến một tương lai mới và khác biệt về chất". Tôi đặc biệt tập trung vào thứ mà tôi gọi là PASTA: Các hệ thống AI về cơ bản có thể tự động hóa tất cả các hoạt động của con người, để tăng tốc độ tiến bộ khoa học và công nghệ cần thiết. 

 PASTA càng sớm phát triển, thế giới càng có khả năng thay đổi hoàn toàn, và điều đó càng trở nên quan trọng khi chúng ta suy nghĩ ngay từ hôm nay về cách để sự thay đổi đó diễn ra tốt đẹp thay vì tồi tệ.

 Bài viết này là bản tóm tắt dễ hiểu cho người không chuyên về bài "Dự báo AI biến đổi với các điểm neo sinh học" của Ajeya Cotra (mà tôi sẽ viết tắt là "Điểm neo sinh học" ở dưới), cùng với những ưu nhược điểm của nó 2. Đây là dự báo mà tôi thấy có tính thông tin cao nhất về AI biến đổi, với một vài lưu ý:

  • Cách tiếp cận này tương đối phức tạp, nó đòi hỏi một số lượng lớn các giả định và ước tính không chắc chắn. Những tính chất này làm cho nó tương đối khó giải thích, và cũng là một dấu hiệu chống lại độ tin cậy của phương pháp.
  • Do đó, tính đến hôm nay, tôi không nghĩ phương pháp này đáng tin cậy như các ví dụ tôi đã đưa ra trước đây để dự báo một tương lai khác biệt về chất lượng. Nó không đơn giản và trực tiếp như một số ví dụ đó, chẳng hạn như mô hình hóa sự lây lan của COVID-19. Và trong khi mô hình khí hậu cũng rất phức tạp, nhưng nó lại được thực hiện bởi số lượng lớn các chuyên gia trong nhiều thập kỷ, trong khi phương pháp Điểm neo sinh học không có nhiều lịch sử.

Tuy nhiên, tôi nghĩ rằng đây là phương pháp "ước tính dự đoán tốt nhất" có sẵn cho các mốc thời gian AI biến đổi kể từ ngày hôm nay. Và như đã thảo luận trong phần cuối cùng, ta có thể bỏ qua các chi tiết để thấy rằng trong thế kỷ này chúng ta có khả năng sẽ đạt được một số cột mốc "cực đoan" hơn trong báo cáo, điều cho thấy rõ ràng tính khả thi của AI biến đổi.

Ý tưởng cơ bản là:

  • Các mô hình AI hiện đại có thể "học" để thực hiện các nhiệm vụ thông qua một quy trình (tốn kém chi phí) được gọi là "đào tạo". Bạn có thể nghĩ về đào tạo như một lượng lớn thử-và-sai. Ví dụ, mô hình AI nhận dạng giọng nói được cung cấp một tệp âm thanh của ai đó đang nói, đoán xem người đó đang nói gì, sau đó đưa ra câu trả lời đúng. Bằng cách làm điều này hàng triệu lần, mô hình "học" để dịch lời nói thành văn bản một cách đáng tin cậy. Xem thêm: Đào tạo
  • Mô hình AI càng lớn và nhiệm vụ càng phức tạp thì chi phí cho quá trình đào tạo càng tốn kém. Một số mô hình AI sẽ lớn hơn các mô hình khác; cho đến nay, không có mô hình nào gần như "lớn bằng bộ não con người" (ý nghĩa của điều này sẽ được giải thích chi tiết dưới đây). Xem thêm: Kích thước mô hình và kiểu nhiệm vụ
  • Phương pháp neo sinh học đặt câu hỏi: "Dựa trên các mô hình thông thường về chi phí đào tạo, chi phí đào tạo một mô hình AI lớn như bộ não con người để thực hiện những nhiệm vụ khó khăn nhất của con người là bao nhiêu? Và khi nào nó sẽ đủ rẻ để chúng ta hy vọng có người làm điều đó?" Xem thêm: Ước tính chi phí

Điểm neo sinh học mô hình hóa nhiều cách khác nhau để tiếp cận câu hỏi này, đưa ra các ước tính trong phạm vi rộng từ "táo báo" (dự đoán AI biến đổi sẽ có sớm hơn) đến "thận trọng" (muộn hơn). Nhưng từ tất cả các góc độ cơ bản này, AI biến đổi sẽ xác suất cao xuất hiện trong thế kỷ này.

Biểu đồ dưới đây có được từ báo cáo. Bạn có thể đọc đại khái trục y là xác suất mà AI biến đổi phát triển theo năm đề cập, mặc dù có một số sắc thái bổ sung trong báo cáo.Tôi sẽ không giải thích ý nghĩa của từng mô hình "Điều kiện nói về gì đó" khác nhau; đủ để biết rằng mỗi mô hình đại diện cho một góc độ khác nhau về dự báo AI biến đổi.

Cảm ơn María Gutiérrez Rojas về đồ thị này. Dòng thời gian trên cùng cho biết các mốc quan trọng gần đây của điện toán và AI là như thế nào.Dưới đây là (cắt xén) các mốc thời gian khác cho thấy tầm quan trọng của khoảng thời gian vài trăm năm này (Xem thêm bài viết Không thể tiếp tục được nữa), và thời đại này (Xem thêm bài viết Tất cả các quan điểm khả thi về tương lai của con người đều hoang đường) gần như vậy.

Bây giờ tôi sẽ giải thích chi tiết hơn một chút về từng vấn đề này. Đây là phần cô đọng nhất của loạt bài này và một số người có thể thích gắn bó với bản tóm tắt ở trên hơn và bỏ qua bài đăng tiếp theo.

Lưu ý rằng Điểm neo sinh học sử dụng một số cách tiếp cận khác nhau (mà nó gọi là "điểm neo") để ước tính các mốc thời gian AI biến đổi và kết hợp chúng thành một chế độ xem tổng hợp. Trong bản tóm tắt này, tôi tập trung nhất vào một nhóm cụ thể trong số này, gọi là "neo lưới thần kinh", một nhóm đang thúc đẩy hầu hết các mốc thời gian tổng hợp của báo cáo. Một số điều tôi nói áp dụng cho tất cả các neo, nhưng một số lại chỉ áp dụng cho "neo lưới thần kinh".

Đào tạo

Như đã thảo luận trước đó, có hai cách cơ bản để “dạy” máy tính làm một nhiệm vụ:

  1. “Chương trình” có trong hướng dẫn cực kỳ cụ thể, từng bước để hoàn thành nhiệm vụ. Khi thực hiện điều này, máy tính thường có thể thực thi các hướng dẫn rất nhanh chóng, một cách đáng tin cậy và rẻ tiền. Ví dụ: bạn lập trình cho máy tính để kiểm tra từng bản ghi trong cơ sở dữ liệu và in các bản ghi khớp với cụm từ tìm kiếm của người dùng - bạn sẽ "hướng dẫn" nó cách thực hiện việc này chính xác và nó có thể làm rất tốt.
  2. "Đào tạo" một AI thực hiện nhiệm vụ hoàn toàn bằng cách thử và sai. Ngày nay, cách phổ biến nhất để làm điều này là sử dụng "mạng thần kinh", bạn có thể nghĩ nó giống như một "bộ não kỹ thuật số" bắt đầu ở trạng thái ngẫu nhiên: chưa được kết nối để làm những việc cụ thể. Ví dụ: giả sử chúng ta muốn một AI cho biết hình trên bức ảnh là con chó hay con mèo. Thật khó để đưa ra hướng dẫn làm điều này theo từng bước cụ thể; thay vào đó, chúng ta có thể lấy một mạng nơ-ron và gửi một triệu hình ảnh ví dụ (mỗi hình ảnh được gắn nhãn là "chó" hoặc "mèo"). Mỗi khi thấy một ví dụ, nó sẽ điều chỉnh hệ thống dây điện bên trong để có nhiều khả năng nhận câu trả lời đúng về các trường hợp tương tự trong tương lai. Sau khi có đủ ví dụ, nó sẽ nối dây để nhận ra chó so với mèo một cách chính xác.

(Chúng ta cũng có thể chuyển lên một cấp độ meta khác và cố gắng "dạy" các mô hình sao cho chúng học hỏi từ chính "việc đào tạo" một cách hiệu quả nhất có thể. Điều này gọi là "siêu học tập", nhưng theo tôi hiểu thì nó vẫn chưa đạt được thành công lớn).

"Đào tạo" là một loại vũ lực, sự thay thế đắt tiền cho "lập trình". Ưu điểm là chúng ta không cần phải có khả năng cung cấp các hướng dẫn cụ thể - chúng ta chỉ cần cung cấp cho AI rất nhiều ví dụ về việc thực hiện đúng nhiệm vụ và nó sẽ học cách thực hiện nhiệm vụ. Nhược điểm là chúng ta cần rất nhiều ví dụ, đòi hỏi rất nhiều năng lực xử lý, tốn nhiều tiền.

Bao nhiêu? Việc này phụ thuộc vào kích thước của mô hình (mạng nơ-ron) và bản chất của nhiệm vụ. Đối với một số nhiệm vụ AI đã học kể từ năm 2021, việc đào tạo một mô hình duy nhất có thể tốn hàng triệu đô la. Với các nhiệm vụ phức tạp hơn (chẳng hạn như "nghiên cứu khoa học sáng tạo") và các mô hình lớn hơn (đạt đến kích thước bộ não con người), thì đào tạo một mô hình có thể tốn nhiều chi phí hơn thế.

Điểm neo sinh học quan tâm đến câu hỏi: "Khi nào thì có thể đào tạo một mô hình, bằng phương pháp tiếp cận dựa trên thử-và-sai tương đối thô sơ, để thực hiện những nhiệm vụ khó khăn nhất mà con người có thể làm?"

Nhiệm vụ này có thể bao gồm các nhiệm vụ cần thiết cho PASTA, như:

  • Tìm hiểu về khoa học từ giáo viên, sách giáo khoa và bài tập về nhà một cách hiệu quả nhất như con người có thể.
  • Đẩy mạnh biên giới của khoa học bằng cách đặt câu hỏi, phân tích và viết các bài báo, hiệu quả như khi con người làm.

Phần tiếp theo sẽ thảo luận về cách Điểm neo sinh học đưa ra ý tưởng về "những nhiệm vụ khó khăn nhất con người có thể làm" (giả định yêu cầu một mô hình "kích thước não người").

Kích thước mô hình và loại nhiệm vụ

Điểm neo sinh học đưa ra giả thuyết rằng chúng ta có thể ước tính "chi phí đào tạo một mô hình" dựa trên hai thông số cơ bản: kích thước mô hình và loại nhiệm vụ.

Kích thước mô hình. Như đã nêu ở trên, bạn có thể nghĩ về mạng nơ-ron như một "bộ não kỹ thuật số" bắt đầu ở trạng thái ngẫu nhiên. Nói chung, một "bộ não kỹ thuật số" lớn hơn - với nhiều phiên-bản-nơron-kỹ-thuật-số và phiên bản đồng-bộ-hóa-kỹ-thuật-số 3, có thể học các tác vụ phức tạp hơn. Một "bộ não kỹ thuật số" lớn hơn cũng đòi hỏi nhiều tính toán hơn, do đó sẽ đắt hơn mỗi lần sử dụng (ví dụ: đối với từng ví dụ nó đang học hỏi).

Dựa trên phân tích trong bài "Cần bao nhiêu sức mạnh tính toán mới phù hợp với bộ não con người?" của Joe Carlsmith (viết tắt trong phần này là "Tính toán não"), Điểm neo sinh học ước tính so sánh giữa kích thước của "bộ não kỹ thuật số" (mô hình AI) và "bộ não động vật" (bộ não ong, bộ não chuột, bộ não con người). Những ước tính này ngụ ý rằng các hệ thống AI ngày nay đôi khi lớn bằng bộ não côn trùng, nhưng chưa bao giờ lớn bằng bộ não chuột, tính đến bài viết này, mô hình ngôn ngữ lớn nhất được biết đến là mô hình đầu tiên tiệm cận kích thước não chuột một cách phải chăng 4 - và thậm chí chưa lớn bằng 1% bộ não con người.5

Mô hình càng lớn, càng cần nhiều sức mạnh xử lý để đào tạo. Điểm neo sinh học giả định rằng một mô hình AI biến đổi cần có kích thước gấp khoảng 10 lần bộ não con người, vì vậy lớn hơn rất nhiều so với bất kỳ mô hình AI hiện tại nào. (10 lần là để lại một số không gian cho ý tưởng "bộ não kỹ thuật số" có thể kém hiệu quả hơn bộ não con người; xem phần này của bài báo cáo). Đây là một trong những lý do khiến cho việc đào tạo rất tốn kém.

Trong vấn đề này nó chỉ ra rằng một mô hình AI nhỏ hơn vẫn đủ lớn để học các loại nhiệm vụ trên. Hoặc nó sẽ cho biết rằng kích thước mô hình cần thiết lớn hơn ước tính của Điểm neo sinh học, có lẽ vì Điểm neo sinh học đã đánh giá thấp "kích thước" hiệu quả của bộ não con người, hoặc vì bộ não con người thiết kế tốt hơn "bộ não kỹ thuật số" nhiều hơn so với Điểm neo sinh học đã đoán.

Loại nhiệm vụ. Để học một nhiệm vụ, một mô hình AI cần phải "thử" (hoặc "xem") nhiệm vụ một cách hiệu quả với một số lượng lớn lần, học hỏi từ thử-và-sai. Nhiệm vụ càng tốn kém (về sức mạnh xử lý, và do đó là tiền bạc) là nhiệm vụ cố gắng/xem, mô hình AI sẽ càng tốn kém để tìm hiểu nó.

Thật khó để định lượng một nhiệm vụ tốn kém như thế nào để thử/xem. Nỗ lực của Điểm neo sinh học khi làm điều này là phần gây tranh cãi nhất của bài phân tích, theo các nhà đánh giá kỹ thuật xem xét cho đến nay.

Bạn có hiểu nôm na về khuôn khổ của Điểm neo sinh học như sau:

  • Có một số nhiệm vụ con người làm chỉ với một giây suy nghĩ, chẳng hạn như phân loại hình ảnh con mèo hoặc con chó.
  • Có những nhiệm vụ khác khiến con người mất vài phút suy nghĩ, chẳng hạn như giải một câu đố logic.
  • Các nhiệm vụ khác có thể mất hàng giờ, hàng ngày, hàng tháng hoặc thậm chí hàng năm, không chỉ cần suy nghĩ mà còn cần tương tác với môi trường. Ví dụ như viết một bài báo khoa học.
  • Các nhiệm vụ ở đầu dài hơn của phổ này sẽ tốn kém để thử/xem hơn, vì vậy khi đào tạo một mô hình AI để thực hiện nhiệm vụ sẽ tốn kém hơn. Ví dụ, để có một triệu "lần thử" với một nhiệm vụ mất một giờ sẽ tốn kém hơn (mất nhiều thời gian và nhiều tiền hơn) là có một triệu "lần thử" với một nhiệm vụ mất một giây.
  • Tuy nhiên, khuôn khổ này không đơn giản như bạn nghĩ. Nhiều nhiệm vụ có vẻ giống như các nhiệm vụ "dài" (chẳng hạn như viết một bài luận) trên thực tế lại có thể chia thành một loạt các nhiệm vụ "ngắn hơn" (chẳng hạn như viết các câu riêng lẻ).
    • Nếu mô hình AI có thể đào tạo để thực hiện "nhiệm vụ phụ" ngắn hơn, thì nó có thể thực hiện nhiệm vụ dài hơn bằng cách lặp đi lặp lại nhiệm vụ phụ ngắn hơn, mà không cần phải được "đào tạo" rõ ràng để thực hiện nhiệm vụ dài hơn.
    • Ví dụ, một mô hình AI nhận được một triệu "lần thử" với nhiệm vụ: "Đọc bài luận đã hoàn thành một phần và viết một câu tiếp theo hay". Sau đó, nếu học được cách thực hiện tốt nhiệm vụ này, nó sẽ có khả năng viết một bài luận dài bằng cách chỉ lặp đi lặp lại nhiệm vụ đó. Mô hình AI sẽ không cần phải đi vào quá trình đào tạo riêng biệt, nơi nó nhận một triệu "lần thử" với nhiệm vụ tốn nhiều thời gian hơn để viết toàn bộ bài luận.
    • Vì vậy, điều quan trọng là liệu những nhiệm vụ khó khăn nhất và quan trọng nhất (chẳng hạn như những nhiệm vụ được liệt kê ở trên) có phải là loại có thể "phân tách" thành các nhiệm vụ ngắn/dễ dàng hay không.

Ước tính chi phí

Điểm neo sinh học xem xét các mô hình AI hiện có đắt tiền như thế nào để đào tạo, thì tùy thuộc vào kích thước của mô hình và loại nhiệm vụ (như đã định nghĩa ở trên). Sau đó ngoại suy điều này để xem đào tạo mô hình AI sẽ tốn kém như thế nào nếu nó:

  • Có kích thước lớn hơn 10 lần bộ não con người.6
  • Được đào tạo về một nhiệm vụ trong đó mỗi "lần thử" mất nhiều ngày, tuần hoặc tháng để "suy nghĩ" chuyên sâu.

Tính đến ngày hôm nay, loại hình đào tạo này sẽ tiêu tốn khoảng một triệu nghìn tỷ đô la, nhiều hơn rất nhiều so với tổng tài sản của thế giới. Vì vậy, không có gì đáng ngạc nhiên khi không ai cố gắng đào tạo một mô hình như vậy.

Tuy nhiên, Điểm neo sinh học cũng dự báo các xu hướng sau đây trong tương lai:

  • Những tiến bộ trong cả phần cứng và phần mềm có thể làm cho sức mạnh tính toán rẻ hơn.
  • Một nền kinh tế đang phát triển và vai trò ngày càng tăng của AI trong nền kinh tế, có thể làm tăng số tiền các phòng thí nghiệm AI chi cho việc đào tạo các mô hình lớn lên tới 1 nghìn tỷ $ và hơn thế nữa.

Theo những dự báo này, đến một lúc nào đó, "số tiền mà các phòng thí nghiệm AI có thể chi trả" sẽ tương đương với "chi phí đào tạo một mô hình có kích thước bằng não người cho những nhiệm vụ khó khăn nhất". Điểm neo sinh học dự đoán "khi nào AI biến đổi phát triển" khi điều này xảy ra.

Điểm neo sinh học cũng mô hình hóa sự không chắc chắn trong tất cả các tham số ở trên và xem xét các cách tiếp cận thay thế cho các tham số "kích thước mô hình và loại nhiệm vụ ". 7 Bằng cách này, ước tính xác suất AI biến đổi sẽ phát triển vào năm 2030, 2035, v.v.

Táo bạo hay thận trọng?

Điểm neo sinh học bao gồm một số cách đơn giản hóa có thể khiến cho sự việc trở nên quá táo bạo (hy vọng AI biến đổi sẽ đến sớm hơn thực tế) hoặc quá thận trọng (hy vọng nó sẽ đến muộn hơn thực tế).

Lập luận mà tôi thường nghe nhất về việc "quá táo bạo" như sau: "Không có lý do gì để nghĩ rằng AI dựa trên phương pháp hiện đại có thể học được mọi thứ con người làm, sử dụng đào tạo thử-và-sai - bất kể mô hình lớn đến đâu và đào tạo bao nhiêu. Bộ não con người có thể suy luận theo những cách độc đáo, không thể so sánh và không thể so sánh với bất kỳ AI nào trừ khi chúng ta đưa ra những cách tiếp cận mới một cách cơ bản đối với AI". Loại lập luận này thường đi kèm với việc nói rằng các hệ thống AI không "thực sự hiểu" những gì chúng đang lý luận và/hoặc chúng chỉ là bắt chước lý luận của con người thông qua nhận dạng mẫu.

Tôi nghĩ điều này có thể đúng, nhưng tôi sẽ không đặt cược vào nó. Một thảo luận đầy đủ về lý do tại sao lại nằm ngoài phạm vi của bài đăng này, nhưng ngắn gọn là:

  • Tôi không tin rằng có sự phân biệt sâu sắc hoặc ổn định giữa "nhận dạng mẫu" và "hiểu biết thực sự" (bài viết của Slate Star Codex đưa ra quan điểm này). "Sự hiểu biết thực sự" có thể chỉ là khả năng nhận dạng mẫu thực sự tốt trông như thế nào. Một phần suy nghĩ của tôi ở đây là trực giác cho rằng ngay cả khi mọi người (bao gồm cả bản thân tôi) bề ngoài có vẻ "hiểu" một điều gì đó, thì lập luận của họ thường (thậm chí tôi còn nói là hầu hết) trở nên không còn đúng khi xem xét một bối cảnh không quen thuộc. Nói cách khác, tôi nghĩ rằng những gì chúng ta nghĩ  về "sự hiểu biết thực sự" là một lý tưởng hơn là một thực tế.
  • Tôi cảm thấy choáng ngợp với hồ sơ theo dõi của những người đã đưa ra kiểu lập luận này - tôi không cảm thấy họ xác định chính xác "lý luận thực sự" trông như thế nào, để có thể đưa ra dự đoán mạnh mẽ về những gì sẽ gây khó khăn cho các hệ thống AI. (Ví dụ: xem cuộc thảo luận này về phê bình mới nhất của Gary Marcus về GPT3).
  • "Một số đột phá /tiến bộ cơ bản là cần thiết" có thể đúng. Nhưng để cho Điểm neo sinh học trở nên quá táo bạo, thì không đủ nếu chỉ cần một số đột phá; những đột phá cần thiết phải vượt quá khả năng của các nhà khoa học AI trong những thập kỷ tới, là khung thời gian mà Điểm neo sinh học dự báo AI biến đổi. Có vẻ như khó có thể tự tin rằng mọi thứ sẽ diễn ra theo cách này, đặc biệt là vì:
    • Ngay cả những tiến bộ vừa phải trong các hệ thống AI cũng có thể mang lại nhiều tài năng và tài trợ hơn cho lĩnh vực này (như đã xảy ra 8).
    • Nếu tiền bạc, tài năng và sức mạnh xử lý dồi dào, và tiến trình hướng tới PASTA chủ yếu bị cản trở bởi một số điểm yếu cụ thể từ cách các hệ thống AI thiết kế và đào tạo, thì các nhà nghiên cứu sẽ nỗ lực bền bỉ để khắc phục điểm yếu này. Khi chúng ta nói về các mốc thời gian trong đa thập kỷ, đó có thể là phần nhiều thời gian để các nhà nghiên cứu tìm thấy bất cứ điều gì còn thiếu trong kỹ thuật ngày nay.

Nói rộng hơn, Điểm neo sinh học có thể quá táo bạo khi giả định rằng "sức mạnh tính toán là nút thắt cổ chai":

  • Giả định rằng nếu như một người có thể trả tiền cho toàn bộ sức mạnh tính toán để thực hiện cuộc "đào tạo" kiểu tấn công toàn diện mô tả ở trên cho các nhiệm vụ chính (ví dụ: tự động hóa công việc khoa học), thì sẽ phát triển AI biến đổi được.
  • Nhưng trên thực tế, đào tạo mô hình AI không chỉ cần mua sức mạnh tính toán. Nó đòi hỏi phải thuê các nhà nghiên cứu, chạy thử nghiệm và có lẽ quan trọng nhất là tìm cách thiết lập quy trình "thử và sai" để AI có thể có được một lượng lớn "lần thử" ở nhiệm vụ chính. Vậy nên để làm như vậy là cực kỳ khó khăn.

Mặt khác, có một số cách của Điểm neo sinh học có thể quá thận trọng (đánh giá thấp khả năng AI biến đổi sẽ sớm phát triển).

  • Có lẽ khi khéo léo đủ, một người có thể tạo ra AI biến đổi bằng cách "lập trình" ra nó để thực hiện các nhiệm vụ chính, thay vì phải "đào tạo" nó (xem phần ở trên để biết sự khác biệt). Việc này yêu cầu tính toán ít hơn nhiều, và do đó chi phí cũng ít hơn nhiều. Hoặc họ có thể sử dụng kết hợp "lập trình" và "đào tạo" để đạt được hiệu quả tốt hơn so với ý của Điểm neo sinh học, trong khi vẫn không cần phải nắm bắt mọi thứ thông qua "lập trình".
  • Hoặc người đó có thể tìm thấy các phương pháp tiếp cận vượt trội xa hơn để cho AI được "đào tạo" hiệu quả hơn nhiều. Một khả năng ở đây là "học ở cấp độ meta": đào tạo hiệu quả chính hệ thống AI về "nhiệm vụ" cần đào tạo.
  • Hoặc có lẽ rất có thể, theo thời gian, AI sẽ trở thành một phần lớn hơn rất nhiều trong nền kinh tế, các hệ thống AI khác nhau được tùy chỉnh và đầu tư sẽ sinh sôi nảy nở để thực hiện các nhiệm vụ trong thế giới thực khác nhau. Điều này càng xảy ra, càng có nhiều cơ hội cho sự khéo léo và may mắn của cá nhân dẫn đến nhiều đổi mới hơn và nhiều hệ thống AI có khả năng hơn trong các bối cảnh kinh tế cụ thể.
    • Có lẽ đến một lúc nào đó, nhiều hệ thống sẽ tích hợp với các khả năng khác nhau để giải quyết một số nhiệm vụ đặc biệt khó khăn như "tự động hóa khoa học", mà không cần bỏ ra một "hoạt động đào tạo" nào vô cùng tốn kém.
    • Hoặc có lẽ AI thiếu PASTA vẫn sẽ đủ hữu ích để tạo ra nhiều tiền mặt và/hoặc giúp các nhà nghiên cứu tính toán rẻ hơn và hiệu quả hơn. Điều này dẫn đến các mô hình AI vẫn sẽ còn lớn hơn, làm tăng thêm tính khả dụng của tiền mặt và hiệu quả tính toán. Điều đó, đến lượt nó, có thể khiến một khóa đào tạo cấp PASTA có giá cả phải chăng đến sớm hơn các dự án Điểm neo sinh học.
  • Ngoài ra, một số người đánh giá kỹ thuật của Điểm neo sinh học cảm thấy rằng việc xử lý loại nhiệm vụ của nó quá thận trọng. Họ tin rằng các nhiệm vụ quan trọng nhất (và có lẽ là tất cả các nhiệm vụ) mà AI cần đào tạo sẽ nằm ở đầu "dễ dàng hơn/rẻ hơn" của dải phổ, so với những gì Điểm neo sinh học giả định.(Xem phần trên để biết nhiệm vụ "dễ dàng hơn/rẻ hơn" hoặc "khó hơn/tốn kém hơn" là gì). Để biết về lập luận liên quan, hãy xem bài Vui vẻ với +12 OOMs tính toán, điều này làm cho quan điểm trực quan rằng Điểm neo sinh học đang hình dung một lượng tính toán thực sự khổng lồ cần thiết để tạo ra PASTA, và ít hơn cũng là đủ một cách dễ dàng.

Tôi không nghĩ rằng đó là điều rõ ràng cho dù xét tổng thể, Điểm neo sinh học đã quá táo bạo (mong đợi AI biến đổi đến sớm hơn thực tế) hoặc quá thận trọng (mong đợi nó sẽ đến sau). Bài báo cáo nói rằng việc đó có thể sẽ quá táo bạo trong vài năm tới và quá thận trọng >50 năm nữa, và có lẽ hữu ích nhất là ở giữa.9

Về mặt trí tuệ, tôi cảm thấy như thể báo cáo có nhiều khả năng là quá thận trọng. Tôi thấy các câu trả lời của nó đối với luận điểm "Quá táo bạo" ở trên khá hấp dẫn và tôi nghĩ rằng các luận điểm "Quá thận trọng" có nhiều khả năng cuối cùng là đúng. Đặc biệt, tôi nghĩ rằng thật khó để loại trừ khả năng khéo léo sáng tạo theo một cách hiệu quả hơn nhiều giúp dẫn đến AI biến đổi, so với phương pháp "tấn công toàn diện" dự tính ở đây. Và tôi nghĩ xử lý "loại nhiệm vụ" theo hướng thận trọng chắc chắn sẽ sai lầm.

Tuy nhiên, tôi cũng có xu hướng trực giác (liên quan đến các phân tích "nghĩa vụ chứng minh" đã đưa ra trước đây) là thận trọng hơn khi đưa ra các ước tính như thế này. Nhìn chung, những dự đoán tốt nhất của tôi về các mốc thời gian AI biến đổi cũng tương tự như của Điểm neo sinh học.

Kết luận của Điểm neo sinh học

Điểm neo sinh học ước tính >10% cơ hội có AI biến đổi vào năm 2036, ~50% cơ hội vào năm 2055 và ~80% cơ hội vào năm 2100.

Ta cũng cần lưu ý những gì báo cáo nói về các hệ thống AI hiện nay. Báo cáo ước tính rằng:

  • Các mô hình AI lớn nhất hiện nay, như GPT-3, nhỏ hơn một chút so với bộ não chuột và đang bắt đầu nằm trong phạm vi (nếu chúng phát triển thêm lên 100 đến 1000 lần) não người. Vì vậy, chúng ta có thể sớm tiến gần đến các hệ thống AI đào tạo để làm bất cứ điều gì con người làm được trong khoảng 1 giây suy nghĩ. Phù hợp với điều này, như tôi thấy rằng chúng ta chỉ mới bắt đầu đạt đến điểm mà các mô hình ngôn ngữ nghe được giống như con người đang nói chuyện mà không cần suy nghĩ thật nhiều. 10 Nếu có bất cứ điều gì, thì "con người suy nghĩ không quá 1 giây cho mỗi từ" có vẻ khá gần với những gì GPT-3 đang làm, mặc dù nó nhỏ hơn nhiều so với bộ não của con người.
  • Chỉ mới gần đây, các mô hình AI mới trở nên lớn mạnh như vậy. Một mô hình AI "lớn" trước năm 2020 sẽ nằm trong phạm vi của bộ não con ong mật. Vì vậy, đối với các mô hình ngay cả trong quá khứ rất gần đây, chúng ta nên hỏi liệu các hệ thống AI có gần như "thông minh như côn trùng" hay không. Đây là bài viết Một thử nghiệm để so sánh khả năng của AI và ong mật (thực hiện bởi thực tập sinh của Từ thiện mở, Guille Costa), kết luận rằng khả năng ấn tượng nhất của ong mật tác giả xác định được  dường như có thể thực hiện cho các hệ thống AI. 11

Tôi đưa vào các ghi chú này vì:

  • Phân tích của Điểm neo sinh học có vẻ hoàn toàn phù hợp với những gì chúng ta đang quan sát từ các hệ thống AI ngày nay (và đã quan sát trong một hoặc hai thập kỷ qua), đồng thời cho biết rằng chúng ta có thể thấy nhiều khả năng biến đổi hơn trong những thập kỷ tới.
  • Tôi nghĩ rằng điều đặc biệt đáng chú ý là chúng ta đang tiến gần đến thời điểm mà mô hình AI "lớn như bộ não con người" (theo phương pháp ước tính Tính toán não bộ/ của Điểm neo sinh học). Có thể thấy rằng một mô hình AI như vậy sẽ có khả năng "học" được rất nhiều về thế giới và tạo ra rất nhiều giá trị kinh tế, ngay cả khi nó chưa thể làm được những điều khó khăn nhất mà con người làm. Và khi đến lượt điều này, có thể khởi động đầu tư tăng vọt vào AI (cả tiền bạc và tài năng), dẫn đến nhiều đổi mới hơn và đột phá hơn nữa. Đây là một lý do đơn giản để tin rằng AI biến đổi đến vào năm 2036 là hợp lý.

Cuối cùng, tôi lưu ý rằng Điểm neo sinh học đã đính kèm phân tích "tiến hóa" giữa các cách tiếp cận khác nhau mà bài phân tích xem xét. Phân tích này đưa ra giả thuyết rằng để tạo ra AI biến đổi, người ta sẽ cần thực hiện nhiều tính toán như tất cả các loài động vật trong lịch sử kết hợp, để tái tạo tiến trình tạo ra bởi chọn lọc tự nhiên.

Tôi coi việc phân tích "tiến hóa" là rất thận trọng, bởi vì học máy có khả năng tiến bộ nhanh hơn nhiều so với loại học thử-và-sai liên quan đến chọn lọc tự nhiên. Ngay cả khi người ta tin vào một cái gì đó kiểu như "Bộ não con người suy luận theo những cách độc đáo, không tương xứng và không thể so sánh với AI thời hiện đại", thì vẻ như bất cứ điều gì độc đáo về bộ não con người đều có thể khám phá lại, nếu như về cơ bản, một người nào đó có thể chạy lại toàn bộ lịch sử chọn lọc tự nhiên. Thậm chí, phân tích rất thận trọng này cũng chỉ ước tính khoảng 50% khả năng có AI biến đổi vào năm 2100.

Ưu và nhược điểm của phương pháp điểm neo sinh học để dự báo các mốc thời điểm của AI biến đổi

Nhược điểm. Tôi sẽ bắt đầu với những gì tôi thấy là nhược điểm lớn nhất: đây là một khuôn khổ dự báo rất phức tạp, chủ yếu dựa vào nhiều ước tính và giả định cực kỳ không chắc chắn, cụ thể là:

  • Liệu có hợp lý không khi ta tin rằng hệ thống AI có thể học các nhiệm vụ chính đã liệt kê ở trên (những nhiệm vụ cần thiết cho PASTA) nếu được đào tạo đầy đủ về thử-và-sai.
  • Cách so sánh kích thước của các mô hình AI với kích thước bộ não động vật/con người.
  • Cách mô tả "loại nhiệm vụ", ước tính mức độ "khó" và tốn kém của nhiệm vụ là "thử" hoặc "xem" một lần.
  • Cách sử dụng kích thước mô hình và loại nhiệm vụ để ước tính chi phí đào tạo mô hình AI thực hiện các nhiệm vụ chính.
  • Cách ước tính những tiến bộ trong tương lai về cả phần cứng và phần mềm giúp cho sức mạnh tính toán rẻ hơn.
  • Cách ước tính số tiền tăng lên khi các phòng thí nghiệm AI chi tiêu cho mô hình đào tạo trong tương lai.

Loại phức tạp và không chắc chắn (IMO) này có nghĩa là chúng ta không nên coi các dự báo với độ tin cậy cao, đặc biệt là ngày nay khi toàn bộ khuôn khổ còn khá mới. Nếu chúng ta đi đến điểm mà dự báo AI được xem xét thật kỹ lưỡng và nỗ lực như dự báo thời tiết, thì đó có thể là một vấn đề khác.

Ưu điểm. Qua đó nói rằng, phương pháp neo sinh học về cơ bản là phương pháp duy nhất tôi biết về ước tính các mốc thời gian AI biến đổi từ sự kiện khách quan (nếu có thể) và các giả định rõ ràng (ở nơi khác).12 Phương pháp không dựa vào bất kỳ các khái niệm mơ hồ và trực quan nào như "các hệ thống AI đang trở nên ấn tượng hơn nhanh như thế nào" (đã thảo luận trước đây). Mọi giả định và ước tính trong khuôn khổ đều được giải thích, thảo luận và theo thời gian đã được kiểm tra.

Ngay cả ở giai đoạn sơ khai hiện tại, tôi coi đây là một đặc tính có giá trị của khuôn khổ điểm neo sinh học. Điều đó có nghĩa là khung điểm neo có thể cung cấp cho chúng tôi các ước tính mốc thời gian, mà không chỉ đơn giản là lặp lại trực giác về việc liệu có cảm thấy như thể AI biến đổi đang đến gần hay không.13

Tôi cũng nghĩ đó là điều đáng khích lệ khi thậm chí với tất cả các phỏng đoán, khuôn khổ đã đưa ra các "dự đoán" kiểm chứng được có vẻ như hợp lý cho đến ngày hôm nay (xem phần trước). Khuôn khổ điểm neo sinh học cung cấp cách suy nghĩ về việc làm thế nào có thể đồng thời đúng rằng (a) các hệ thống AI của một thập kỷ trước dường như không ấn tượng chút nào; (b) các hệ thống AI ngày nay có thể làm được nhiều điều ấn tượng nhưng vẫn cảm thấy thiếu sót nhiều với những điều con người có thể làm; (c) vài thập kỷ tới, hoặc thậm chí 15 năm tới ta sẽ dễ dàng thấy sự phát triển của AI biến đổi.

Ngoài ra, tôi nghĩ rằng cần lưu ý một vài điểm cấp cao không phụ thuộc vào nhiều ước tính và giả định từ Điểm neo sinh học:

  • Trong khoảng thập kỷ tới, lần đầu tiên, chúng ta có thể sẽ thấy các mô hình AI có "kích thước" tương đương với bộ não con người.
  • Nếu các mô hình AI tiếp tục trở nên lớn hơn và hiệu quả hơn với tốc độ mà Điểm neo sinh học ước tính, thì giá cả của mô hình có thể trở nên hợp lý trong thế kỷ này để đạt được một số cột mốc cực đoan - "mức cao nhất" trong số những gì Điểm neo sinh học cho là cần thiết. Những điều này rất khó tóm tắt, nhưng hãy xem các khuôn khổ "lưới thần kinh đường chân trời dài" và "neo tiến hóa" trong bài báo cáo.
  • Một lối suy nghĩ cho vấn đề này là thế kỷ tiếp theo có thể sẽ thấy chúng ta đi từ "không đủ tính toán để chạy mô hình có kích thước bằng con người" cho đến "tính toán cực kỳ phong phú, thậm chí cho cả những ước tính khá thận trọng về những gì chúng ta cần”. Tính toán không phải là yếu tố duy nhất trong tiến trình AI, nhưng trong phạm vi các yếu tố khác (thuật toán, quy trình đào tạo) đã trở thành nút cổ chai mới, ta có thể có những động lực mạnh mẽ (và nhiều thập kỷ) để giải quyết chúng.

Ưu điểm cuối cùng của Điểm neo sinh học là chúng ta có thể tiếp tục theo dõi tiến trình AI theo thời gian và so sánh những gì ta thấy với khuôn khổ của báo cáo. Ví dụ, chúng ta có thể theo dõi:

  • Khi có một số nhiệm vụ không thể học được, ngay cả với rất nhiều thử nghiệm và sai sót, hoặc nếu như có một số nhiệm vụ yêu cầu số lượng đào tạo rất khác với những gì báo cáo ước tính.
  • Khả năng của các mô hình AI như thế nào so với động vật, điều chúng ta hiện đang mô hình hóa là "có kích thước tương tự nhau". Nếu các mô hình AI vẻ như có khả năng hơn những động vật như vậy, thì có thể chúng ta đã đánh giá quá cao độ lớn cần thiết của một mô hình để làm các việc như tự động hóa khoa học. Nếu như các mô hình đó kém khả năng hơn, thì có thể chúng ta đang đánh giá thấp nó.
  • Phần cứng và phần mềm đang tiến triển như thế nào và liệu các mô hình AI có trở nên lớn hơn với tốc độ bài báo cáo hiện đang dự báo hay không.

Phần tiếp theo sẽ tóm tắt tất cả các phân tích khác nhau cho đến nay về các mốc thời gian của AI biến đổi. Sau đó, sẽ là phần thảo luận về hạn chế còn lại: rằng không có sự đồng thuận mạnh mẽ của chuyên gia đối với chủ đề này.

*Chú thích:

  1. Tất nhiên, câu trả lời có thể là “Một thời gian vô cùng dài trong tương lai” hoặc không bao giờ.
  2. Để rõ ràng, lưu ý rằng đây là phân tích Từ thiện mở và tôi là đồng giám đốc điều hành của Từ thiện mở.
  3. Tôi (giống như Điểm neo sinh học) thường coi số lượng khớp thần kinh quan trọng hơn số lượng tế bào thần kinh, với những lý do tôi sẽ không đi sâu vào ở đây.
  4. Wikipedia: "Phiên bản đầy đủ của GPT-3 có dung lượng 175 tỷ thông số học máy... Trước khi phát hành GPT-3, mô hình ngôn ngữ lớn nhất là Turing NLG của Microsoft, được giới thiệu vào tháng 2 năm 2020, với dung lượng 17 tỷ tham số". Wikipedia không nêu rõ, nhưng tôi không tin rằng có những mô hình AI được biết đến công khai lớn hơn các mô hình ngôn ngữ này (ngoại trừ "mô hình hỗn hợp chuyên gia" mà tôi nghĩ chúng ta nên bỏ qua bởi những mục đích này, vì những lý do tôi sẽ không đi sâu vào đây). Wikipedia ước tính khoảng 1 nghìn tỷ khớp thần kinh ở não của chuột nhà; Phương pháp của Điểm neo sinh học nhằm so sánh não (dựa trên Tính toán não bộ) về cơ bản đánh đồng các khớp thần kinh với các tham số.
  5. Điểm neo sinh học ước tính khoảng 100 nghìn tỷ thông số cho bộ não con người, dựa trên thực tế là có khoảng 100 nghìn tỷ khớp thần kinh.
  6. Như đã lưu ý ở trên, hệ số 10 lần là đã chừa lại một ít không gian cho ý tưởng "bộ não kỹ thuật số" có thể kém hiệu quả hơn bộ não con người. Xem mục này của bài báo cáo.
  7. Ví dụ, một cách tiếp cận đưa ra giả thuyết rằng thực hiện đào tạo có thể rẻ hơn thông qua "siêu học tập" đã thảo luận ở trên; một cách tiếp cận khác đưa ra giả thuyết rằng để tạo ra AI biến đổi, người ta sẽ cần phải thực hiện nhiều tính toán tầm tất cả các loài động vật trong lịch sử kết hợp, để tái tạo tiến trình được tạo ra bởi chọn lọc tự nhiên).
  8. Ví dụ: xem biểu đồ từ các phần đầu của Báo cáo Chỉ số AI năm 2021.
  9. Xem mục này.
  10.  Để biết tập hợp các liên kết đến bản demo GPT-3, hãy xem bài này.
  11. Trên thực tế, ông ước tính rằng các hệ thống AI dường như sử dụng tính toán ít hơn khoảng 1000 lần, điều này sẽ phù hợp với luận điểm trên trong việc gợi ý rằng các hệ thống AI có thể hiệu quả hơn bộ não của động vật/con người và các ước tính của Điểm neo sinh học có thể quá thận trọng. Tuy nhiên, ông không đề cập đến thực tế khi loài ong được cho là thực hiện một loạt các nhiệm vụ đa dạng hơn so với các hệ thống AI.
  12. Khác với phương pháp "tiên nghiệm bán thông tin" đã thảo luận trước đây.
  13. Tất nhiên, điều này không có nghĩa là các ước tính hoàn toàn độc lập với trực giác - trực giác có khả năng tô màu cho các lựa chọn ước lượng của chúng ta đối với nhiều con số khó ước tính. Nhưng khả năng xem xét kỹ lưỡng và tranh luận riêng từng ước tính ở đây là hữu ích.
Bài tiếp theo

Mốc Thời Điểm AI: Các lập luận và ý kiến các “chuyên gia”

Tiếp tục đọc