人機對齊（簡體書）

如今的“機器學習”系統已具備非凡能力，能夠在各種場合代替我們看和聽，並代表我們做決定。但是警鐘已經敲響。隨著機器學習飛速發展，人們的擔憂也在與日俱增。如果我們訓練的人工智能（AI）做的事情與我們真正的目的不符，就會引發潛在的風險和倫理問題。研究人員稱之為對齊問題（the alignment problem）。

暢銷書作家布萊恩·克裡斯汀用生動的筆調，清晰闡釋了AI與我們息息相關的問題。在書中，我們將認識批積極應對對齊問題的學者，了解他們為了避免AI發展的局面失控，付出的卓絕努力和雄心勃勃的計劃。克裡斯汀不僅精練地描繪了機器學習的發展史，並且親自深入科研一線同科學家對話，準確呈現了機器學習前沿的進展。讀者可以清晰認識到，對齊問題研究的成敗，將對人類的未來產生決定性影響。

對齊問題還是一面鏡子，將人類自身的偏見和盲點暴露出來，讓我們看清自己從未闡明的假設和經常自相矛盾的目標。這是一部精彩紛呈的跨學科史詩，不僅審視了人類的科技，也審視了人類的文化，時而讓人沮喪，時而又柳暗花明。

布萊恩·克裡斯汀（Brian Christian）暢銷書作家，他的《算法之美》（Algorithms to Live By，與Tom Griffiths合著），入選了亞馬遜年度z佳科學書籍和MIT技術評論年度z佳書籍；《人機大戰》（The Most Human Human）廣受好評，入選了《紐約時報》編輯選書，也是《紐約客》年度z受歡迎書籍。他的作品贏得了多個獎項，入選了《美國科學和自然寫作》，被譯成了19種語言。克裡斯汀擁有布朗大學和華盛頓大學的計算機科學、哲學和詩歌學位，是加州大學伯克利分校的訪問學者。

★ 暢銷書作家布萊恩·克裡斯汀的新作，普通人能看懂的AI入門書。

★ “對齊”問題，是關於人工智能我們zui迫切需要關注的問題。

★ 關於ChatGPT你應該了解的真相：以ChatGPT為首的Generative AI爆火全球，也為我們敲響警鐘——我們究竟該如何看待AI？如何避免AI失控？AI是否會取代我們甚至使人類滅絕？

★ 控制人工智能，“拔掉電源插頭就行了”, 錯了！過時了！

★ 閱讀本書，將幫助我們更深刻認識人性的弱點，思考我們的社會、文化、教育和未來。

目錄
篇序篇 
第二篇導言
第三篇預警 
1.代表
2.公平
3.透明
第四篇自主
4.強化
5.塑造
6.好奇
第五篇示範
7.模仿
8.推斷
9.不定
結語
致謝
注釋

2013年夏天，一篇平平常常的帖子出現在谷歌的開源博客上，標題是《學習詞匯背後的含義》。帖子中說：“目前計算機還不太擅長理解人類語言，雖然離這個目標還有一段距離，但我們正在利用的機器學習和自然語言處理技術取得重大進展。”谷歌從紙媒和互聯網獲取了大量人類語言數據，比以前的數據集還大幾千倍，將數據集輸入一個受生物學啟發的“神經網絡”，並讓系統尋找詞語的相關性和聯繫。借助所謂的“無監督學習”，這個系統開始發現模式。例如，它注意到詞語“北京”與“中國”的關係，同“莫斯科”與“俄羅斯”的關係一樣，不管詞語的意思是什麼。能否說計算機“理解”了？這個問題只能讓哲學家來回答，但是很顯然系統已經抓住了它“閱讀”的內容的某種本質。谷歌將這個系統命名為“word2vec”――意思是將詞匯轉換成數字向量――並將其開源。對數學家來說，向量有各種奇妙的性質，你可以像處理簡單的數一樣處理它們，進行加、減、乘運算。通過這種方式，研究人員很快發現了一些驚人的意想不到的東西。他們稱之為“連續空間詞匯表示中的語言規律”，對它的解釋沒有聽起來那麼難。word2vec把詞匯變成了向量，這樣你就能對詞匯做數學運算。
例如，如果輸入中國 河流，就會得到長江。輸入巴黎 - 法國 義大利，就會得到羅馬。
輸入國王 - 男人 女人，就會得到女王。
結果很驚人。word2vec系統開始應用於谷歌的機器翻譯和搜索引擎，業界也將其廣泛應用於其他領域，例如招聘，它成了科學和工程界新一代數據驅動的語言學家的工具。
兩年過去了，沒有人意識到存在問題。

這是一本關於機器學習與人類價值觀的書：關於不通過手工編程而是從數據中學習的系統，關於我們如何教它們，以及教什麼。 
機器學習主要包括3個領域：無監督學習，機器被直接給予一堆數據，就像word2vec系統一樣，目的是理解數據，找到模式、規律、有用的方式來提煉、 表示或可視化數據；監督學習，系統被給予一堆已分類或標記好的例子進行學習，比如假釋犯是否再犯，然後用習得的模型對從未見過或尚不清楚基本事實的新例子進行預測；強化學習，系統被置於一個有獎懲的環境中，就像補能和危險並存的賽艇賽道，目的是找出小化懲罰和化獎勵的方法。 
越來越多的人意識到，世界正逐漸以各種方式依賴於機器學習領域給出的數學和計算模型。這些或簡單或複雜的模型――一些只能算是電子表格，另一些則可被稱為AI――正逐步取代人類判斷和更傳統的顯式編程的程序。 
這不僅發生在科技和商業領域，也發生在具有倫理和道德影響的領域。司法體系越來越廣泛地使用“風險評估”軟件來決定保釋和假釋。道路上的車輛越來越多地自動駕駛。我們的貸款申請、簡歷和體檢結果逐漸不再由人類負責 評估。進入21世紀，越來越多的人都在致力於讓世界――在象徵意義上和字面意義上――自動駕駛。 
近年來，兩個不同的群體敲響了警鐘。個群體關注當前的技術倫理風險。如果面部識別系統對某個族群或性別特別不準確，或者如果有人被未經審核的統計模型判定不得保釋，而法庭上的所有人――包括法官、律師和被告――都不理解，這就存在問題。這樣的問題無法在傳統的學科領域內解決，只能通過計算機科學家、社會學家、律師、政策專家和倫理學家的對話來解決。對話已經開始。 
還有一個群體擔憂的則是未來的危險。隨著我們的系統越來越能靈活、實時地做決策，無論是在虛擬還是現實世界都面臨這種危險。毫無疑問，過去10年見證了AI和機器學習發展令人振奮但也突然令人擔憂的進展。與此同時，一種無形的禁忌逐漸被打破，AI研究人員不再避諱討論安全問題。事實上，過去5年，在這個領域，這種擔憂已經從邊緣變成了主流。 
雖然對於應優先考慮眼前的問題還是長遠問題，目前還存在爭議，但這兩個群體在大目標上是一致的。隨著機器學習系統越來越普遍和強大，我們會發現自己越來越經常地處於“魔法師學徒”的境地：我們召喚出一種力量，給它一組指令，希望它自主但又完全順從，然後一旦我們意識到指令不準確或不完整，又手忙腳亂地阻止，以免用我們的智能召喚出某種可怕的東西。 
如何防止這種災難性的背離――如何確保這些模型捕捉到我們的規範和價值觀，理解我們的意思或意圖，重要的是，以我們想要的方式行事――已成為計算機科學領域核心、緊迫的問題之一。這個問題被稱為對齊問題（the alignment problem）。 
隨著研究前沿越來越接近開發出所謂的“通用”智能，現實世界的機器學習系統越來越多地介入個人和大眾生活的道德倫理領域，對這一警告產生了一種突然的、充滿活力的反應。一個多元化團體正在跨越傳統的學科界限。非營利組織、智庫和研究所紛紛積極參與。越來越多的工業界和學術界領袖開始大聲疾呼，並相應地增加研究經費。代專攻機器學習倫理和安全領域的研究生已經入學。對齊問題的批應對者已到達現場。 
這本書是近100次正式采訪和數百次非正式談話的產物，歷時4年，行程數萬公裡，來自這一年輕領域廣闊前沿的研究者和思想家。我發現的是正在一片荒原上開拓的進程，既令人振奮，有時也令人恐懼。我原以為自己對這個故事很熟悉，結果卻發現這個故事比我曾認為的更吸引人，更令人擔心，也更充滿希望。 
機器學習表面上是技術問題，但越來越多地涉及人類問題。人類、社會和公眾難題正在變得技術化。技術難題正在變得人性化、社會化和公眾化。事實證明，我們在讓這些系統“以我們想要的方式行事”方面的成功和失敗，為我們審視自我提供了一面真實的、啟示性的鏡子。 
這個故事由3個不同部分組成。部分探討對齊問題的前沿：現有的系統已經與我們的根本意圖不一致之處，以及在我們覺得有能力監督的系統中嘗試掌控這些意圖的複雜性。第二部分將重點轉向強化學習，我們逐漸開始理解不僅能預測，而且能行動的系統；其中有一些經驗可以幫助我們理解進化、人類動機和激勵的微妙之處，對商業和育兒都有啟發。第三部分將我們帶到AI安全研究的前沿，我們將了解目前好的一些想法，如何將複雜的自動系統與過於微妙或複雜、無法明確的規範和價值觀相結合。 
不管是好是壞，未來一個世紀的人類故事都很可能是建立並啟動各種各樣的智能系統。就像魔法師的學徒一樣，我們會發現自己也只是在一個充斥著掃帚的世界裡的眾多自主體之一。 
我們到底該怎麼教它們？教什麼？