Rủi ro tồn tại và tiến hóa kỹ thuật số không được kiểm soát

[Tôi không phải là chuyên gia về AI. Cuốn sách đang thảo luận không đưa ra bất kỳ giải pháp cụ thể nào, mà thuộc về thể loại #speculation báo chí và khoa học viễn tưởng. Như thường xảy ra trong những trường hợp như vậy, các cuộc thảo luận được tạo ra bởi cuốn sách thú vị và hữu ích hơn nhiều so với chính cuốn sách. Chủ đề này đã trở nên phổ biến hơn trong tiếng Anh. Internet Trong Runet, truy vấn @ superintelect, @ Supermanind cho ~ 189 kết quả mỗi tháng (Yandex)]

"Nếu chúng ta thành công thì sao?"
Stuart Russell

I. Ngày tận thế

Trong cuốn sách của anh ấy Superintellect: Cơ hội, rủi ro, chiến lược Nick Bostrom vẽ ra một kịch bản bi quan về sự phát triển của trí tuệ nhân tạo: ngay khi một AI xuất hiện ngang với trí thông minh của con người, siêu trí tuệ sẽ là một trong những phát minh đầu tiên của ông. Và sau đó "không cần đến nghệ sĩ violin", các hệ thống thông tin siêu thông minh có thể tự giáo dục và tái tạo các hệ thống phức tạp hơn, kiểm soát việc sản xuất và phân phối AI cạnh tranh, đắm chìm trong một chủng tộc Malthusian hung hăng với các tác nhân thông minh khác trong Nhân cách tự nhiên.

Rủi ro tồn tại từ khu phố của siêu nhân và người đàn ông tăng lên gấp nhiều lần. Nick Bostrom cảnh báo rằng siêu trí tuệ có thể học hỏi nhanh hơn và hiệu quả hơn những người tạo ra nó và, nếu bạn không khắc sâu giá trị con người trong đó, thì mọi thứ có thể kết thúc tồi tệ, bởi vì siêu thông minh sẽ không chỉ có thể điều chỉnh việc sản xuất thêm máy móc thông minh, nó sẽ ngăn chặn thành công mọi người cố gắng sửa chữa công việc của mình hoặc can thiệp vào nó.

Rút lui tự truyện: Nick Bostrom trong số các nhà khoa học và triết gia được biết đến như một người yêu thích kinh dị - ông đứng đầu viện nghiên cứu, tham gia vào việc tìm kiếm và xuất bản các rủi ro hiện sinh, ông có một công việc như vậy. Một số đồng nghiệp thậm chí gọi ông là Donald Trump từ AI, Nick Bostrom bị xúc phạm, nhưng nhanh chóng tha thứ. Thế giới khắc nghiệt của cuộc tranh luận khoa học. Sự kết thúc của khóa tu tự truyện.

Ii Các chuyên gia nghĩ gì?

Đã có, AI có "tính hợp lý hạn chế" - nó có thể chọn chiến lược tối ưu để đạt được kết quả. Điều gì sẽ xảy ra nếu anh ta học cách thay đổi chúng và thay đổi thứ bậc của các mục tiêu của mình?

Là đối số chính ủng hộ nỗi sợ hãi của họ, Bostrom trích dẫn mong muốn tối ưu hóa. Nếu siêu thông minh cần giải quyết định lý Riemann và vì điều này, anh ta cần chuyển đổi một nửa sinh vật thành máy tính, anh ta sẽ làm điều đó mà không do dự, Bostrom khẳng định. Nếu siêu trí tuệ sẽ cần chữa khỏi bệnh ung thư, thì anh ta sẽ làm điều đó, ngay cả khi nó cần phải tiêu diệt tất cả những người không bị ung thư. Tác giả đặt vấn đề kiểm soát siêu trí thông minh ở vị trí đầu tiên trong sự phát triển của AI. Trong số các nhà khoa học, một kịch bản như vậy được gọi là mô hình của bostrom vào những năm 2000 Và những tiến bộ gần đây trong học máy đã thu hút sự chú ý về vấn đề này ngay cả bởi những kẻ đầu sỏ và doanh nhân, những người đã gióng lên hồi chuông cảnh báo và thẳng thắn bày tỏ lo ngại về sự phát triển của AI.

Ramez Naam nghi ngờ rằng ý kiến ​​của B.Gates, I.Maska ("siêu thông minh là một quả bom nguyên tử mới"), S. Hawking về những rủi ro của AI có bất kỳ trọng lượng nào. "# Phát triển nhu cầu. Không ai trong số họ làm việc trong lĩnh vực này."Ông trích dẫn ý kiến ​​của các chuyên gia về máy học / AI nổi bật:

  • Michael Litman, giáo sư tại Đại học Brown và là cựu nhân viên của Hiệp hội AI: Những nỗi sợ hãi như vậy đơn giản là không thực tế. AI không thể thức dậy và làm cho ngày tận thế.
  • Jan LeKun, Chuyên gia Facebook về Mạng thần kinh: "Một số người nghĩ rằng AI sẽ có thể tự lập trình một ngày nào đó. Thông thường những giả định như vậy không được thực hiện bởi các chuyên gia."
  • Andrew Eun, Chuyên gia về Curser / Google / Baidu Machine Learning: "Vâng, máy tính ngày càng thông minh hơn. Nhưng đây chỉ là tâm trí, không phải tâm trí và ý thức tự giác, và hầu hết các chuyên gia không tin rằng cách này bạn có thể tạo ra một AI có ý thức. Lo lắng về sự nguy hiểm của siêu trí tuệ cũng giống như lo lắng về dân số quá mức của sao hỏa."
  • Khác, không ít chuyên gia nghiêm túc tin rằng khác:
  • Richard Sutton, giáo sư khoa học máy tính tại Đại học Albert, trong bài phát biểu tại một hội thảo về AI an toàn đã nói rằng: "có một xác suất nhất định về sự xuất hiện của cấp độ AI của một người" và sau đó "chúng tôi sẽ buộc phải hợp tác với anh ấy", một "từ một nô lệ hợp lý, AI có thể trở thành một ứng cử viên hợp lý."
  • Jürgen Schmidhuber, giáo sư AI tại Đại học Lugano và là cựu giáo sư khoa học nhận thức về robot tại Đại học Munich, tuyên bố rằng: "nếu tốc độ phát triển của khoa học vẫn ở mức tương tự như trước đây, thì trong những thập kỷ tới, chúng ta có thể mong đợi một bước đột phá thực sự trong ứng dụng AI." Trên reddit, anh nhận thấy rằng: Thoạt nhìn, việc tự tăng cường đệ quy trong các máy của Gôdel có thể giúp phát triển siêu trí tuệ. Các máy của Godel có thể chọn và thực hiện các thay đổi trong mã của họ có thể mang lại kết quả tích cực theo bộ tính năng ban đầu. Các nhà nghiên cứu khác có thể yêu cầu máy của họ một bộ thông số khác. Và cuộc đua tiến hóa của máy sẽ bắt đầu. Không thể dự đoán ai sẽ chiến thắng cuộc đua này và điều gì sẽ mang lại cho chúng ta. Thêm về điều đó."
  • Murray Shenehen, giáo sư khoa học máy tính tại Cambridge, trong cuốn sách "Điểm kỳ dị công nghệ" đã viết rằng: "Từ việc tạo ra cấp độ AI của một người (về mặt lý thuyết là có thể, nhưng rất khó) để tạo ra một siêu trí tuệ, có thể mất khá nhiều thời gian và bước đột phá này có thể được so sánh với điểm kỳ dị, nơi các sự kiện sẽ phát triển nhanh hơn chúng ta tưởng. Trí thông minh vượt trội so với khả năng của con người sẽ liên quan đến việc tăng rủi ro tồn tại và tăng lợi ích. "

Alan Turing, người không cần giới thiệu, trong tác phẩm "Là một cỗ máy kỹ thuật số có khả năng suy nghĩ?" viết: "Giả sử chúng ta quản lý để tạo ra những cỗ máy tư duy. Điều này sẽ tạo ra sự cộng hưởng và sẽ gặp phải sự kháng cự từ những trí thức và nhà khoa học, những người sẽ lo lắng về vị trí và công việc của họ. Và vì lý do chính đáng. Bởi vì khi máy móc đạt đến trình độ tư duy của con người, mọi người sẽ phải rất cố gắng Để theo kịp các máy hoạt động hợp lý. Cũng có khả năng là một cỗ máy hợp lý có khả năng tạo ra sự tương đồng của chính nó hoặc một máy thậm chí thông minh hơn. Do đó, có thể dự đoán rằng một khi một máy hợp lý có thể là hợp lý dưới sự kiểm soát của nhân loại. "

Iii Tại sao trí tuệ nhân tạo?

Bởi vì bộ não con người là điểm tương đồng gần nhất với những gì xảy ra trong học máy: các hệ thống thông tin trải qua học máy được gọi là mạng thần kinh và bao gồm các lớp riêng biệt, mỗi lớp chịu trách nhiệm xử lý một số thông tin nhất định. Nếu các lớp của các cấp thấp hơn có thể nhận thông tin, thì các lớp của các cấp trên có thể xử lý, truyền và sử dụng nó cho việc đào tạo của riêng chúng. Rất giống với cỗ máy tự học trong đầu con người.

Mạng lưới thần kinh đã có thể phân biệt giữa lời nói của con người và khuôn mặt tốt hơn con người. Điều này không vô hại như thoạt nhìn. Chúng tôi rất ngạc nhiên về chiến thắng của một máy tính trước một người chơi cờ hoặc đi, mặc dù một người không có phần đặc biệt của vỏ não để giải quyết các vấn đề về cờ vua. Nhưng sự công nhận và phân loại khuôn mặt đã là một khu vực đặc biệt của vỏ não đã phát triển tiến hóa và chịu trách nhiệm cho sự sống còn. Và trong lĩnh vực này, AI tốt hơn con người ngày nay.

Vì vậy, AI có thể hiểu một cách trừu tượng và phân loại thông tin giáo dục: để phân biệt giữa hình ảnh của chó trắng, chó đen, người Tây Ban Nha, chó dachshund, chó con, chó trưởng thành và gán tất cả điều này cho lớp "chó". AI có thể tạo và gắn nhãn các họa tiết khiêu dâm trong hình ảnh. (Coi chừng: nội dung khiêu dâm kỹ thuật số thực sự về mặt AI). Những khả năng này của AI (phân loại / khái quát hóa / phân loại) chỉ ra hoạt động hợp lý đơn giản nhất của một hệ thống thông tin.

Tiếp theo là gì?

Iv. So sánh hai cách tiếp cận:

1. Cơ chế: phân loại / phân loại chắc chắn là một trong những dấu hiệu của một tác nhân hợp lý. Nhưng chỉ có một. Đây là một tính năng hữu ích và tuyệt vời, nhưng không phải là tính năng chính. Trí thông minh thực sự đòi hỏi nhiều hơn khả năng nhấp vào câu đố - mong muốn nhấp vào câu đố. Phân biệt giữa hình ảnh của chó và gọi nó là một con chó là mát mẻ, không có nghi ngờ. AI hiện tại phải chủ yếu vốn có trong mong muốn, động lực thúc đẩy để giải quyết vấn đề và chứng minh các định lý. Và việc tạo ra một hệ thống thông tin mong muốn hợp lý không chỉ là khả năng thực hiện các nhiệm vụ cực nhanh và hiệu quả thậm chí rất phức tạp theo chỉ dẫn của kỹ sư của hệ thống này. Và mong muốn của một cỗ máy thông minh mong muốn có thể khác với mục tiêu của một người tạo ra con người. Cách tiếp cận này là Nick Bostrom dễ thương.

2. Sinh học (thận trọng: đơn giản hóa thô): hầu hết bộ não bao gồm các tế bào giống nhau hoặc hơi khác nhau đã phát triển trong quá trình tiến hóa. Nếu chúng ta có thể hiểu làm thế nào một phần của bộ não hoạt động, thì sẽ dễ dàng hơn nhiều để hiểu các khu vực khác hoạt động như thế nào. Động lực các quá trình hoạt động hợp lý của con người diễn ra trong cùng một khu vực hoặc tương tự của vỏ não như nhận thức / phân loại / phân loại thông tin. Nếu các nhà khoa học tin rằng các hệ thống thông tin để phân loại nhận thức có thể được sao chép bằng cách sử dụng ví dụ của bộ não con người, thì để tái tạo các hệ thống thông minh có động lực, các nhà khoa học sẽ thay đổi một chút các mẫu mạng thần kinh hiện tại để phân loại / phân loại. Các hệ thống như vậy sẽ không giống như các nguyên mẫu hoàn toàn có động lực và tập trung vào mục tiêu (bộ não con người cũng hơi giống các hệ thống như vậy). Nhiều khả năng, nó sẽ tạo ra rất nhiều điều nhỏ từ nhận thức, mong muốn và động lực khác nhau, vì nó thường xảy ra trong đầu của con người. Cách tiếp cận như vậy đặt ra câu hỏi về toàn bộ sức mạnh của người sáng tạo đối với AI, bởi vì động cơ / mục tiêu được lập trình của máy có thể không phát sinh hoặc sẽ bị thay đổi đáng kể.

Rút lui sinh học. Lịch sử tiến hóa của phương pháp sinh học rất khó để theo dõi và xác nhận với độ chính xác cao. Sự tách biệt giữa nhận thức / xử lý thông tin cảm giác (vỏ não trước) và trung tâm bộ nhớ / cảm xúc / hành vi (vùng dưới đồi và đồi hải mã) xảy ra trong giai đoạn đầu của sự phát triển của động vật có xương sống hoặc thậm chí sớm hơn. Tuy nhiên, các hệ thống khác nhau này đã giữ lại các kết nối và can thiệp vào chức năng của nhau. Một số phần của vỏ não được gắn vào vùng dưới đồi và thuộc hệ thống limbic. Các bộ phận khác của đồi thị (não thằn lằn, hệ thống limbic) có liên quan đến xử lý thông tin (colliculi).

Dường như các vùng não chịu trách nhiệm về nhận thức cảm giác và vùng cảm xúc - động lực có mặt ở các phần khác nhau của vỏ não. Hơn nữa, vỏ não trước trán, được coi là cái nôi của tính cách con người (hoạt động nhận thức, đánh giá, lập kế hoạch, v.v.) cao hơn, có lẽ đã tiến hóa từ vỏ của con cá đầu tiên, từ bộ não duy nhất của loài cá này. Đến lượt nó, bắt nguồn từ hàng trăm tế bào thần kinh chịu trách nhiệm về nhận thức và xử lý thông tin cảm giác ở những con giun đầu tiên. Sự kết thúc của sự rút lui sinh học.

Cả giải phẫu lẫn tiến hóa đều ngụ ý một sự tách biệt hoàn toàn tự trị giữa nhận thức, xử lý và thúc đẩy hoạt động hợp lý. Các hệ thống tương tự có thể nhận biết thông tin ở một nơi và, với những thay đổi nhỏ, xử lý nó và thúc đẩy hoạt động hơn nữa trong các phần khác của não. Tất cả một. Có nguy cơ lao vào siêu hình học và thần bí học, chúng ta hãy nói rằng những biến dạng nhận thức (xử lý thông tin) và ảo ảnh thị giác (nhận thức) có nhiều điểm chung hơn so với suy nghĩ trước đây (đơn giản hóa khác: những biến dạng này xảy ra trong các lĩnh vực giống hệt về mặt kỹ thuật, các trường Brodmann).

V. Về nguồn gốc của loài

Phân loại / phân loại là cơ sở của giáo dục đạo đức. Có lẽ đây là đạo đức. Lấy ví dụ về các loại tinh thần: mọi người đều biết chim là gì, nhưng với định nghĩa chính xác của "chim" khó khăn hơn một chút (cò là chim, chim cánh cụt là một loài chim kỳ lạ, Archaeopercx ... một con chim bán?).

Mọi người đều nhớ làm thế nào các loại này phát sinh. Học hỏi một chút, người mẹ chỉ cho con một con gà và nói "con chim", sau một vài năm đứa trẻ biết rằng con dơi "không phải là một con chim" và bộ não của bạn tự do hoạt động với các thể loại / lớp học và trừu tượng phức tạp, và sau hai nghìn năm nữa Darwin đến và nói rằng có một lớp "chim" động vật có xương sống như vậy, rất tốt, nhưng bạn biết nó mà không có anh ta.

Mọi người học đạo đức và đạo đức theo cách tương tự. Khi chúng ta cắn ai đó, mẹ / cha / giáo viên / giáo sĩ / linh mục / pháp sư nói với chúng ta rằng điều này là "xấu", khi chúng ta chia sẻ một chiếc bánh, chúng ta được bảo rằng điều này là "tốt". Dựa trên công việc với các ví dụ như vậy, hệ thống thông tin hoạt động với các danh mục và lớp ngay cả khi nó không thể cung cấp các định nghĩa chính xác về các danh mục và lớp này.

Trí tuệ nhân tạo có thể phát triển đạo đức nhân tạo dựa trên dữ liệu mà các nhà khoa học cung cấp cho nó. Đạo đức xảy ra trong quá trình đào tạo AI về thông tin giáo dục. Bostrom tin rằng đạo đức / đạo đức của AI là riêng biệt mô-đun hoặc mảng thông tin đào tạo.

Phản biện Bostromovsky thông thường là khả năng AI sẽ đưa ra kết luận sai từ thông tin đào tạo và phát triển một hệ thống các giá trị gây nguy hiểm cho mọi người. Ví dụ, một AI có thể quyết định rằng tất cả những điều làm cho một người hạnh phúc là tốt. Và anh ta sẽ bắt đầu tối ưu hóa đến mức tối đa - anh ta sẽ bắt đầu tiêm heroin cho người đó mọi lúc để người đó vẫn vui vẻ.

Tôi không biết tại sao, nhưng đánh giá hành động của con người không hoạt động quá đơn giản và trong những trường hợp hiếm hoi mang lại một số ý tưởng cho một khối quan trọng. Có thể điều này là do đặc thù của phân loại / phân loại hoặc các yếu tố ngoại lai có liên quan đến quyết định cuối cùng, và không chỉ là sự phân đôi tốt - xấu. Đây có thể là một nhiệm vụ thú vị cho các nhà phát triển AI - để xác định chính xác điều gì làm cho các hệ thống thông tin phân loại thông tin giống như con người *.

Nói chung, thật khó để tưởng tượng rằng một người có một gen đạo đức cụ thể, một phân đoạn đạo đức của vỏ não, một loại thích nghi đạo đức. Và không chắc rằng đạo đức và đạo đức là sinh học, cấu trúc tiến hóa, cơ chế sinh học thần kinh - rất có thể đạo đức và đạo đức là điều kiện cần thiết cho hành vi xã hội. Đạo đức giống như một mái nhà, tự nhiên phát triển do hoạt động chính xác của các bộ phận thấp hơn, dạy trí thông minh nhân tạo cho đạo đức và đạo đức là không thể ngoài việc học thông thường (nếu chúng ta đang nói về AI dựa trên các mạng lưới thần kinh lặp lại cấu trúc não).

Lĩnh vực động lực của một người làm việc trên dopamines và hệ thống phần thưởng. Vẫn còn hy vọng rằng khả năng phân loại gần nhất của con người có thể được thực hiện trong các mô hình AI. Mọi người có thể muốn quan hệ tình dục mà không mong muốn thụ tinh tất cả sống và không sống cho đến khi hành tinh nổ tung. AI dựa trên mô hình nhận thức và phân loại dữ liệu của con người, sẽ muốn giải quyết vấn đề mà không có ham muốn khuất phục tất cả các mục tiêu khác cho mong muốn này. Không phải luôn luôn và không phải tất cả mọi người đều tối ưu hóa không suy nghĩ: thiết lập mục tiêu phân cấp là phổ biến đối với mọi người, mọi người đều hiểu rằng việc có đạo đức là có lợi về lâu dài. Điều đó có nghĩa là siêu trí tuệ rất có thể sẽ không trở thành một kẻ tối ưu hóa kẻ hủy diệt gây tử vong cho nhân loại.

Giả định phổ biến nhất (được Nick Bostrom hỗ trợ): trí thông minh nhân tạo sẽ là hiện thân của logic thuần túy, hoàn toàn không có sự tương đồng về cảm xúc / nghi ngờ / do dự, và chúng ta sẽ phải kiềm chế golem toán học này **. Nếu chúng ta nhớ lại những ví dụ như vậy từ mẫu người, thì những nỗi sợ này trở nên hơi cường điệu - hầu hết những người có sự đồng cảm thấp, có đạo đức và đạo đức xấu, thể hiện hành vi chống đối xã hội, rất khó để họ học, thích nghi, đơn giản là vì họ khó hiểu người khác (tự kỷ, những người bị rối loạn phân liệt), ngay cả khi họ có thể trích xuất các gốc của số năm chữ số. Thật khó để những người như vậy không lên kế hoạch giết muỗi, họ hầu như không chịu đựng được cảm giác của một chiếc giày mới trên đôi chân của họ, cuộc chinh phục thế giới nào để nói về? Đã có một mối liên hệ rõ ràng với các quá trình tinh thần hóa, nói lên sự không thể tách rời của trí thông minh từ đạo đức. Dường như với tôi rằng một kịch bản khác, nơi AI sẽ nghĩ không chỉ bằng các công thức toán học / mã chương trình, cũng có thể. Nó sẽ phức tạp hơn nhiều và không đáng sợ như Bostrom gợi ý. Và sau đó mọi người sẽ cần các chiến lược khác để cùng tồn tại với AI.


* Vào ngày 4 tháng 3 năm 2016, chương trình MIRI Machine Learning Institute "căn chỉnh giá trị cho các hệ thống máy học tiên tiến" (thiết lập mục tiêu cho các hệ thống máy học phức tạp). Nhiệm vụ của chương trình này là tạo ra "AI của con người", các hệ thống thông tin có quyền tự chủ hạn chế.

**Формальная логика, специалистом по которой является Ник Бостром, не всегда адекватно описывает реальность (или не стремится). Так что эти опасения немного преувеличены и логико-математический терминатор может оказаться не таким опасным, как видится Бострому.


Về tác giả của cuốn sách đang được xem xét: nhà triết học Thụy Điển Nick Bostrom, tác giả của hơn 200 ấn phẩm về rủi ro toàn cầu, chủ nghĩa tuần tự, nguyên tắc nhân học, đạo đức khoa học. Viện trưởng Viện Tương lai Nhân loại, Giáo sư tại Đại học Oxford. Người có bằng cấp về logic toán học, vật lý, khoa học thần kinh tính toán, triết học.

Bản gốc: Mô hình Bostromian và tiến bộ AI gần đây

Loading...

Để LạI Bình LuậN CủA BạN