🎯 進階 · 第一課

什麼是電腦助手?

從定義出發:區分規則型程式、機器學習系統,以及「智慧」一詞究竟意味著什麼。

程式遵照規則與機器從資料中學習,這兩者有何本質差異?

1997 年 5 月,IBM 的「深藍」(Deep Blue)電腦以 3.5 比 2.5 擊敗世界棋王加里·卡斯帕羅夫(Garry Kasparov)。深藍每秒評估約 2 億個棋步,完全依靠人類工程師預先編碼的規則與評估函數——它從未「學習」任何東西。卡斯帕羅夫事後表示,他感覺對手有某種「深刻的智慧」;但這不是智慧,而是強大的規則搜尋。這個案例至今仍是釐清「AI 到底是什麼」的最佳起點。

定義問題:什麼叫做「智慧」?

人工智慧(Artificial Intelligence,AI)這個詞自 1956 年達特茅斯研討會(Dartmouth Conference)問世以來,定義始終存在爭議。最廣義的說法是:AI 是讓機器執行「通常需要人類智慧才能完成的任務」的技術。然而,這個定義本身就有問題——一旦某項任務被機器解決,人們往往就不再稱之為「智慧」了。這個現象被稱為「AI 效應」(AI Effect)。

因此,理解 AI 的第一步,是明確區分三種截然不同的系統類型:

核心分類

規則型系統(Rule-based systems):工程師手動撰寫所有決策規則。深藍屬於此類。
機器學習系統(Machine learning systems):系統從資料中自動歸納規律,無需逐條編寫規則。
深度學習系統(Deep learning systems):機器學習的子集,使用多層神經網路(Neural Networks)處理非結構化資料,如影像、語音、文字。

深藍的教訓:規則 ≠ 理解

深藍的設計者費南多·莫利諾(Fernando Morino)與許峰雄(Feng-hsiung Hsu)花費十年時間,將頂尖棋手的評估函數硬編碼進系統。深藍能贏棋,但它無法將棋局的「理解」轉移到任何其他領域——它不知道棋盤是什麼顏色,不知道棋子是木頭還是金屬,也不知道為什麼人類覺得這場比賽值得關注。

相較之下,2016 年 DeepMind 的 AlphaGo 擊敗圍棋世界冠軍李世乭(Lee Sedol)時,採用的是一種根本不同的架構:它透過自我對弈產生的資料進行強化學習(Reinforcement Learning),發展出人類棋手從未見過的走法。AlphaGo 並非依賴人類的策略規則,而是從資料中「發現」了策略。這才是現代 AI 與傳統程式的核心分野。

「電腦助手」的精確定義

在本課程中,我們將「電腦助手」定義為:能夠接收輸入、進行某種形式的推理或模式辨識,並產生有用輸出的軟體系統。這個定義刻意保持寬泛,因為它涵蓋了從計算機到 ChatGPT 的整個光譜。

關鍵問題不是「它有多聰明?」,而是「它的能力邊界在哪裡?」以及「它的能力來自規則還是資料?」這兩個問題將貫穿本模組的所有課程。

  • 規則型助手:執行預先定義的操作(如計算機、早期的 GPS 導航)
  • 學習型助手:從範例中概括能力(如垃圾郵件過濾器、推薦演算法)
  • 生成型助手:在學習基礎上產生新內容(如 GPT-4、Stable Diffusion)
📝 測驗 · 第一課

測驗:什麼是電腦助手?

測試你對規則型系統與學習型系統的理解。

1. IBM 深藍(Deep Blue)每秒評估約 2 億個棋步。從 AI 分類的角度來看,深藍屬於哪種系統?
✓ 正確!深藍的所有評估函數都由 IBM 工程師手動編寫,它不從資料中學習,是典型的規則型系統。
✗ 不對。深藍沒有神經網路,也沒有學習機制——它只是極快速地搜尋人類工程師編碼的規則樹。
2. 所謂「AI 效應」(AI Effect)指的是什麼現象?
✓ 正確!「AI 效應」描述的是這樣一種現象:每當 AI 成功完成某項任務,人們就會說「那只是計算,不算真正的智慧」,從而不斷移動「智慧」的定義邊界。
✗ 不對。AI 效應特指「智慧」定義隨技術進步而持續後退的現象,與速度、期望管理無直接關聯。
3. AlphaGo 與深藍最根本的架構差異是什麼?
✓ 正確!AlphaGo 的核心突破在於它不依賴人類策略規則,而是透過深度強化學習從海量自我對弈資料中「發現」了新策略。
✗ 不對。兩者的根本差異是學習機制,而非運算速度或資料量。AlphaGo 能做深藍做不到的事:從資料中自主歸納規律。
🧪 實驗室 · 第一課

實驗室:探索 AI 的定義邊界

與 AI 助手對話,測試「規則型」與「學習型」系統的概念邊界。

實驗任務

本次實驗室中,AI 助手將扮演你的「AI 定義顧問」。你的任務是透過提問,釐清以下核心區別:

  1. 哪些日常科技屬於規則型系統?哪些屬於學習型系統?
  2. 「深藍棋王事件」對 AI 定義帶來了什麼影響?
  3. 如果一個系統「看起來很聰明」,我們應該如何判斷它是否真的在「學習」?
建議提問方向:「計算機和 AI 的根本差異是什麼?」、「深藍擊敗卡斯帕羅夫算不算 AI 的勝利?」
🤖 AI 定義顧問 第一課實驗室
🎯 進階 · 第二課

AI 助手在我們身邊

辨識生活中已被廣泛部署的 AI 系統,理解它們的實際運作邏輯。

你今天已經與幾個 AI 系統互動,而你自己並未察覺?

2016 年,Netflix 公開披露其推薦演算法每年為公司節省約 10 億美元的客戶流失成本。這套系統並非依靠工程師手動整理「好電影清單」,而是分析超過 1.5 億名用戶的觀看行為——暫停、快進、重播的時間點、一天中何時觀看、完播率——從這些行為資料中推斷你的偏好。Netflix 工程師曾公開表示,他們自己也無法完全解釋演算法為何對特定用戶推薦特定影片;這正是機器學習系統的典型特徵:能力來自資料,而非顯式規則。

部署於日常生活的六大 AI 應用類別

AI 系統早已深嵌於現代生活的基礎設施之中。以下六個類別涵蓋了大多數人每天都會接觸的 AI 應用,每一類都有其獨特的資料輸入與輸出形式:

應用類別代表案例核心技術輸入資料
內容推薦Netflix、YouTube、Spotify協同過濾 + 深度學習用戶行為紀錄
自然語言處理Google 搜尋、Siri、ChatGPTTransformer 模型文字、語音
電腦視覺人臉解鎖、醫療影像診斷卷積神經網路(CNN)圖像、影片
詐欺偵測信用卡異常交易警報異常偵測模型交易紀錄
自動駕駛Tesla Autopilot、Waymo感測器融合 + 強化學習影像、雷達、GPS
機器翻譯Google 翻譯、DeepL神經機器翻譯(NMT)平行語料庫

Netflix 案例的深層意義

Netflix 的案例揭示了現代 AI 部署的一個核心矛盾:系統越有效,其決策過程就越不透明。Netflix 的工程師承認無法完全解釋每一個推薦決策,這與深藍形成鮮明對比——深藍的每一步都可以追溯到明確的規則。這種「可解釋性」(Explainability)缺失,是機器學習系統在高風險領域(如醫療診斷、司法判決)應用時面臨的最大挑戰之一。

此外,Netflix 的系統設計目標並非「推薦你會喜歡的內容」,而是「最大化你在平台上花費的時間」。這兩個目標看似相近,實則有根本差異。目標函數(Objective Function)的選擇,決定了 AI 系統最終的行為模式。

關鍵概念

目標函數(Objective Function):機器學習系統被訓練去最佳化的數值目標。目標函數的設計決定了系統「在乎什麼」。Netflix 最佳化的是「觀看時長」而非「用戶滿意度」,這是導致內容推薦有時引發爭議的根本原因。

📝 測驗 · 第二課

測驗:AI 助手在我們身邊

測試你對日常 AI 應用及其運作邏輯的理解。

1. Netflix 推薦系統每年為公司節省約 10 億美元,其核心運作方式是什麼?
✓ 正確!Netflix 的系統分析的是行為資料,而非明確的「喜好評分」,這正是機器學習優於規則型系統之處。
✗ 不對。Netflix 使用的是機器學習,分析的是用戶的行為模式,而非依賴人工或規則型方法。
2. 下列哪個選項最準確地描述了機器學習系統在「可解釋性」方面的挑戰?
✓ 正確!這是機器學習系統的核心困境:模型越複雜、效能越高,其「黑箱」特性往往越明顯,決策理由越難追溯。
✗ 不對。可解釋性是程度問題,並非完全不可能,但在複雜模型中確實是一大挑戰,且目前尚未被完全解決。
3. Netflix 推薦系統最佳化「觀看時長」而非「用戶滿意度」,這在 AI 術語中屬於哪個概念的問題?
✓ 正確!目標函數決定了 AI 系統「在乎什麼」。最佳化錯誤的目標是 AI 系統產生意外行為的常見根源。
✗ 不對。這個問題的核心是目標函數的選擇——系統被訓練去最大化「時長」,而這個目標與「用戶真正的滿意度」並不完全一致。
🧪 實驗室 · 第二課

實驗室:剖析你身邊的 AI

選擇一個你每天使用的 app,與 AI 顧問深入分析其背後的 AI 機制。

實驗任務

本次實驗室中,AI 助手將協助你系統性地分析一個你熟悉的日常應用程式(如 YouTube、Instagram、LINE、台鐵訂票系統等)背後的 AI 機制。

  1. 選擇一個你每天使用的應用程式或服務
  2. 向 AI 助手描述它,請助手幫你辨識其中的 AI 元件
  3. 追問:這個系統的「目標函數」是什麼?它最佳化的是用戶的什麼行為?
  4. 思考:這個目標函數可能產生什麼預期之外的後果?
建議提問:「YouTube 的推薦演算法到底在最佳化什麼?」、「LINE 的自動回覆功能算不算 AI?為什麼?」
🤖 AI 應用分析顧問 第二課實驗室
🎯 進階 · 第三課

AI 也會出錯

從真實失敗案例中理解 AI 錯誤的系統性根源:偏差、幻覺與分佈偏移。

AI 犯的錯與人類犯的錯,在本質上有什麼不同?

2015 年 6 月,Google Photos 的自動標籤功能將一名黑人用戶的照片標記為「大猩猩」。Google 工程師傑基·艾爾辛(Jacky Alciné)在 Twitter 上公開這一錯誤後,引發全球媒體關注。Google 的緊急處理方式並非修復模型,而是直接從系統中移除「大猩猩」這一標籤類別——這個補丁一直持續到 2023 年仍未真正解決。這個案例說明:AI 的錯誤往往根植於訓練資料的系統性偏差,而非簡單的程式漏洞,修復起來遠比想像中困難。

AI 錯誤的三大根源

AI 系統的失敗並非隨機的,它們通常源於三類可識別的系統性問題。理解這些根源,是負責任地使用和評估 AI 系統的基礎。

  • 訓練資料偏差(Training Data Bias):若訓練資料不能均勻代表真實世界的多樣性,模型將繼承並放大這些偏差。Google Photos 案例即屬此類——模型在訓練資料中見過的黑人面孔數量遠少於白人面孔。
  • 幻覺(Hallucination):大型語言模型在缺乏相關訓練資料時,傾向於生成聽起來合理但實際錯誤的內容,而非承認不確定性。這是語言模型的固有特性,而非偶發性故障。
  • 分佈偏移(Distribution Shift):模型在部署環境與訓練環境存在差異時性能下降。2020 年新冠疫情期間,多個醫療 AI 診斷系統因醫院的資料採集流程改變而出現嚴重性能退化。

Microsoft Tay:24 小時的崩潰實驗

2016 年 3 月,Microsoft 在 Twitter 上推出 AI 聊天機器人 Tay,設計目標是透過與用戶的互動「學習」自然對話。然而,在上線僅 16 小時後,Tay 開始發布包含種族歧視、仇恨言論的推文,最終 Microsoft 被迫在 24 小時內關閉系統。

Tay 的失敗揭示了「線上學習」(Online Learning)的風險:當模型被設計為實時從用戶輸入中更新參數時,惡意行為者可以透過有組織的攻擊系統性地污染模型的行為。這不是 Tay「變壞了」,而是它完美地執行了它被訓練的任務——模仿用戶輸入的語言模式。

技術洞察

Tay 案例的核心教訓不是「AI 很危險」,而是「目標函數與訓練環境的選擇決定了系統行為的邊界」。若目標函數是「模仿用戶輸入」,而訓練環境是不受控的公開網路,系統的失敗幾乎是可預測的。

AI 錯誤 vs. 人類錯誤

AI 的錯誤與人類的錯誤在結構上存在根本差異。人類犯錯往往源於注意力分散、情緒波動或資訊不足,且錯誤通常是個案性的、不一致的。AI 的錯誤則恰恰相反:它們往往是系統性的、高度一致的。如果一個模型對某類輸入存在偏差,它會對所有類似輸入產生相同方向的錯誤,規模可達數百萬次。

這意味著,在高風險決策場景中(如貸款審核、刑事司法、醫療診斷),AI 的系統性偏差造成的危害可能遠超個別人類決策者的失誤。

📝 測驗 · 第三課

測驗:AI 也會出錯

測試你對 AI 失敗類型與根源的理解。

1. Google Photos 將黑人用戶標記為「大猩猩」,這個錯誤最準確地屬於哪種 AI 失敗類型?
✓ 正確!Google Photos 的模型在訓練資料中見到的黑人面孔數量遠少於白人面孔,導致系統對黑人膚色的特徵辨識能力不足,產生了系統性偏差。
✗ 不對。這個案例的根源是訓練資料的代表性不均衡——模型在某族群的資料上訓練不足,因此對該族群產生了錯誤的高置信度判斷。
2. Microsoft Tay 在 24 小時內崩潰,其根本技術原因是什麼?
✓ 正確!Tay 被設計為實時從用戶互動中學習,這讓有組織的惡意行為者能夠系統性地「教導」它輸出仇恨內容。這是線上學習機制在不受控環境中的固有風險。
✗ 不對。問題的根源在於 Tay 的設計本身——它被設計為從用戶輸入中即時學習,這在不受控的公開環境中幾乎必然導致此類失敗。
3. 相比人類決策者的錯誤,AI 系統在高風險場景(如貸款審核)中的系統性偏差為何可能造成更嚴重的危害?
✓ 正確!AI 的錯誤是系統性的——如果模型對某類輸入存在偏差,它會對所有類似輸入做出相同方向的錯誤判斷,規模可能遠超個別人類決策者的失誤影響。
✗ 不對。AI 偏差危害更大的核心原因在於其一致性與規模:同一個錯誤模式會以完全相同的方式影響所有類似的案例。
🧪 實驗室 · 第三課

實驗室:測試 AI 的錯誤邊界

主動探索 AI 的幻覺現象,理解錯誤的系統性規律。

實驗任務

本次實驗室中,AI 助手將協助你分析 AI 錯誤的類型與根源。你的目標是:

  1. 向 AI 助手提出一個可能觸發「幻覺」的問題(如詢問一個不存在的歷史事件),觀察它如何回應
  2. 請 AI 助手分析:Google Photos 的失敗和 Microsoft Tay 的失敗,哪個在技術上更難「修復」?為什麼?
  3. 討論:如果你是 AI 系統的設計者,你會如何設計「失敗安全」(Fail-safe)機制?
建議提問:「AI 幻覺是技術問題還是設計問題?」、「如何知道一個 AI 的回答是否可信?」
🤖 AI 失敗分析顧問 第三課實驗室
🎯 進階 · 第四課

AI 如何學習

深入梯度下降、反向傳播與訓練動態,理解神經網路學習的數學本質。

機器學習中的「學習」,與人類大腦的學習過程有何異同?

2012 年,多倫多大學的 Alex Krizhevsky、Ilya Sutskever 與 Geoffrey Hinton 提交了一個名為 AlexNet 的深度卷積神經網路(Deep Convolutional Neural Network)參加 ImageNet 大規模視覺辨識挑戰賽(ILSVRC)。AlexNet 的錯誤率為 15.3%,比第二名低了約 10 個百分點,震驚整個電腦視覺領域。這不只是贏得一場比賽——它徹底改變了 AI 研究的方向,並直接引發了今日深度學習革命的開端。AlexNet 的成功依賴三個關鍵要素:大量標記資料、GPU 平行運算,以及一個關鍵的設計選擇:ReLU 激活函數(Rectified Linear Unit)。

監督式學習的核心循環

AlexNet 的訓練過程是現代深度學習的典型範例,它使用監督式學習(Supervised Learning)——給模型帶有正確答案標籤的輸入資料,讓模型學習預測這些答案。整個學習過程由以下四個步驟循環構成:

  • 前向傳播(Forward Pass):輸入資料從輸入層流經所有神經網路層,產生一個預測輸出。
  • 損失計算(Loss Calculation):將預測輸出與正確答案比較,計算誤差值(損失函數,Loss Function)。
  • 反向傳播(Backpropagation):從輸出層往回計算每個參數對誤差的貢獻程度(梯度,Gradient)。
  • 參數更新(Parameter Update):使用梯度下降(Gradient Descent)算法,按梯度方向微調所有參數,使下次預測誤差更小。
直覺類比

想像你在山中迷路,想下山到最低點(最小損失)。梯度下降就是「每一步都朝腳下最陡的下坡方向走一小步」。這個策略不保證找到全域最低點,但在實踐中對大多數深度學習任務效果驚人。

AlexNet 的三個關鍵設計決策

AlexNet 的成功不僅是演算法的勝利,更是一系列工程決策共同作用的結果。這三個決策在今日仍深刻影響深度學習實踐:

決策技術內容為何重要
GPU 加速使用兩張 NVIDIA GTX 580 GPU 並行訓練使訓練時間從數月縮短至數天,讓大規模實驗成為可能
ReLU 激活函數f(x) = max(0, x),取代 Sigmoid 函數緩解梯度消失問題(Vanishing Gradient Problem),使深層網路可訓練
Dropout 正則化訓練時隨機關閉部分神經元防止過度擬合(Overfitting),提升模型在新資料上的泛化能力

機器學習 vs. 人類學習

AlexNet 在 ImageNet 上看過超過 100 萬張標記圖片才達到人類水準的辨識精度;而一個 3 歲的孩子只需看幾張「貓」的圖片就能識別任何新場景中的貓。這個對比揭示了深度學習的一個根本限制:它需要海量資料才能達到人類透過少數樣本即可完成的「少樣本學習」(Few-shot Learning)能力。

然而,人類的學習也有其自身的限制:我們學習的速度慢,遺忘的速度快,且難以在海量資料中保持一致性。AI 系統則恰恰相反——它們可以在幾小時內處理人類窮盡一生也無法閱讀的資料量。這種互補性,是人機協作比單純替代更有潛力的根本原因。

📝 測驗 · 第四課

測驗:AI 如何學習

測試你對監督式學習、反向傳播與梯度下降的理解。

1. 在深度學習的訓練循環中,「反向傳播」(Backpropagation)的主要作用是什麼?
✓ 正確!反向傳播的核心任務是計算損失函數對每個參數的梯度,這些梯度隨後被梯度下降算法用來更新參數。
✗ 不對。反向傳播負責計算梯度(每個參數對誤差的影響程度),而不是直接傳遞資料或更新權重——後兩者分別是前向傳播和梯度下降的工作。
2. AlexNet 採用 ReLU 激活函數取代 Sigmoid 函數,其主要動機是什麼?
✓ 正確!Sigmoid 函數在輸入值很大或很小時梯度趨近於零,導致深層網路的早期層幾乎無法更新。ReLU(f(x) = max(0,x))有效解決了這個問題。
✗ 不對。採用 ReLU 的主要原因是解決深層網路訓練中的梯度消失問題,而非調整輸出範圍或減少參數量。
3. 一個 3 歲孩子只需看幾張貓的圖片就能識別任何場景中的貓,而 AlexNet 需要超過 100 萬張標記圖片。這個對比最準確地說明了什麼?
✓ 正確!這個對比揭示了深度學習的「資料飢渴」特性,以及人類少樣本學習(Few-shot Learning)能力的獨特優勢。兩者各有互補的強項。
✗ 不對。深度學習在精確度上已超越人類,但其學習方式根本不同——它需要海量資料,而非人類的少樣本泛化能力。
🧪 實驗室 · 第四課

實驗室:解構學習過程

透過對話深入理解梯度下降與反向傳播的直覺意義。

實驗任務

本次實驗室中,AI 助手將協助你建立對深度學習訓練機制的直覺理解。不需要數學背景——重點是概念上的清晰。

  1. 請 AI 助手用「下山」以外的比喻解釋梯度下降
  2. 詢問:AlexNet 的 Dropout 正則化如何防止過度擬合?用日常生活類比解釋
  3. 挑戰性問題:為什麼增加訓練資料有時會讓模型變得更差(資料品質 vs. 資料量)?
建議提問:「反向傳播聽起來很複雜,能用一個直覺比喻解釋嗎?」、「為什麼不直接給模型所有可能的資料?」
🤖 深度學習概念導師 第四課實驗室
🎯 進階 · 第五課

AI 如何思考

從神經網路的表示學習到注意力機制,理解 AI「推理」的真實數學結構。

當 AI「理解」一個句子時,它實際上在對數字做什麼?

2013 年,Google 研究員 Tomas Mikolov 發表了 Word2Vec 模型,展示了一個令人震驚的特性:訓練後的詞向量(Word Vectors)能夠捕捉語義關係。最著名的例子:向量("國王") − 向量("男人") + 向量("女人") ≈ 向量("女王")。這個結果第一次具體展示了神經網路並非以符號邏輯思考,而是將意義編碼為高維空間中的幾何關係。Word2Vec 的核心思想「意義即位置」(Meaning is Location),至今仍是所有現代大型語言模型的基礎。

表示學習:神經網路如何編碼「意義」

傳統電腦程式用符號(如 "cat" 這個字串)表示概念,符號之間沒有數學關係。深度神經網路則完全不同:它將每個概念編碼為一個高維向量(Vector)——一組數字。這些向量在空間中的位置和距離反映了概念之間的語義關係。

這種表示方式稱為嵌入(Embeddings)。在一個訓練良好的嵌入空間中:「巴黎」與「法國」的距離,應當與「東京」與「日本」的距離相近;「醫生」與「護士」在職業維度上靠近,但在性別維度上可能存在偏差(這本身是一個值得研究的社會問題)。

技術核心

嵌入(Embedding)是將離散符號(如文字、圖片類別)映射到連續向量空間的過程。現代 GPT-4 使用的詞嵌入維度高達數千維——每個詞被表示為一個有數千個數字的向量,在這個高維空間中編碼了複雜的語義、語法與世界知識。

注意力機制:AI 的「焦點」

2017 年,Google Brain 發表了論文《Attention Is All You Need》,提出 Transformer 架構,其核心是自注意力機制(Self-Attention)。這個機制的直覺是:當處理一個詞時,模型需要決定句子中的哪些其他詞最相關。

例如,在「銀行系統崩潰了,因為它沒有足夠的記憶體」這個句子中,「它」指的是「銀行系統」還是「記憶體」?人類立刻知道是「銀行系統」,因為只有電腦系統才有「記憶體」的概念。注意力機制讓模型學習對每對詞計算相關性分數,從而自動解析這類依賴關係——而無需任何手動編寫的規則。

  • 注意力分數(Attention Scores):對輸入序列中每對位置計算相關性權重
  • 多頭注意力(Multi-head Attention):同時從多個不同的語義維度計算注意力,捕捉更豐富的關係
  • 位置編碼(Positional Encoding):因為 Transformer 並行處理所有詞,需要額外注入詞序信息

AI「思考」的本質限制

理解了嵌入與注意力機制後,我們可以更精確地回答「AI 到底在做什麼」。當 ChatGPT 回答一個問題時,它並非在「理解」問題然後「思考」答案——它在高維向量空間中執行一系列矩陣運算,每一步都在計算「在這個脈絡下,下一個 token 最可能是什麼」。

這個機制的力量在於:透過在足夠大的語料庫上訓練,「最可能的下一個 token」的預測能力可以表現出令人驚嘆的推理能力。但它的限制也在於此:模型沒有「信念」、沒有「意圖」、沒有「自我認知」——它是一個極其複雜的條件機率分佈估計器。

📝 測驗 · 第五課

測驗:AI 如何思考

測試你對嵌入、注意力機制與 AI 推理本質的理解。

1. Word2Vec 的「國王 − 男人 + 女人 ≈ 女王」這個結果,最準確地展示了什麼概念?
✓ 正確!Word2Vec 展示的是「意義即位置」——語義關係被編碼為向量空間中的幾何關係,而不是傳統的符號邏輯或真正的「理解」。
✗ 不對。AI 並不「理解」詞的含義——它學習的是詞在向量空間中的位置,以及這些位置之間的幾何關係。這兩者是根本不同的。
2. Transformer 架構中的自注意力機制(Self-Attention)主要解決了什麼問題?
✓ 正確!自注意力讓模型對每個詞計算「它應該關注句子中的哪些其他位置」,從而解析長距離依賴關係,如代名詞指涉。
✗ 不對。自注意力的核心功能是動態計算序列內部的相關性權重,讓每個位置的表示都能感知到整個序列的脈絡。
3. 下列哪個描述最精確地反映了 ChatGPT 回答問題時實際執行的操作?
✓ 正確!語言模型的本質是一個條件機率分佈估計器——它在計算「給定前文,下一個 token 的機率分佈是什麼」,而非真正理解或推理。
✗ 不對。語言模型沒有知識庫查詢、記憶提取或邏輯推導機制——它的核心操作是在向量空間中反覆預測下一個最可能的 token。
🧪 實驗室 · 第五課

實驗室:探索 AI 的「思考」方式

透過精心設計的問題,探索語言模型在向量空間中如何處理語義關係。

實驗任務

本次實驗室中,AI 助手將協助你深入理解注意力機制與嵌入的直覺意義。你的任務:

  1. 請 AI 助手解釋:為什麼「國王 − 男人 + 女人 ≈ 女王」這個結果說明 AI 並非真正「理解」語言,而是學習了幾何關係?
  2. 設計一個句子,讓 AI 助手示範注意力機制如何解析代名詞指涉(如「它」到底指什麼)
  3. 挑戰性問題:如果語言模型只是「預測下一個 token」,為什麼它能解數學題?這說明了什麼?
建議提問:「嵌入向量如何捕捉語言中的偏見?這有什麼實際影響?」
🤖 AI 推理機制導師 第五課實驗室
🎯 進階 · 第六課

大型語言模型與湧現

Transformer 架構、預訓練範式,以及規模帶來的「湧現能力」是什麼意思。

為什麼模型變大到某個程度後,會突然獲得之前完全沒有的能力?

2022 年 11 月,OpenAI 發布 ChatGPT。在五天內,它吸引了 100 萬名用戶;兩個月後達到 1 億用戶,成為歷史上用戶增長最快的消費應用。然而更引人深思的,是 GPT-4 在 2023 年展現出的「湧現能力」(Emergent Abilities)——在早期小型版本中完全不存在的能力,如多步驟數學推理、程式除錯、法律論證。這些能力並非被明確訓練:它們在模型規模越過某個閾值後「自然浮現」,讓研究人員也感到驚訝。Google DeepMind 的研究人員在 2022 年的論文中記錄了超過 137 個這樣的湧現能力,每一個都在特定的參數規模閾值後才出現。

Transformer 架構:現代 LLM 的基礎

2017 年論文《Attention Is All You Need》提出的 Transformer 架構,徹底取代了此前主流的循環神經網路(RNN)和長短期記憶網路(LSTM)。其革命性在於完全依賴注意力機制處理序列,使訓練可以完全平行化,從而允許在前所未有的規模上進行訓練。

現代大型語言模型(Large Language Models,LLMs)採用「預訓練—微調」(Pre-train then Fine-tune)的兩階段範式:

  • 預訓練(Pre-training):在網際網路規模的文字語料庫上訓練,任務是「預測下一個 token」。這個任務看似簡單,卻迫使模型內部學習語言的語法、語義、事實知識,乃至推理模式。
  • 指令微調(Instruction Fine-tuning):在人工整理的高品質問答對上繼續訓練,使模型學會以助手的方式回應指令。
  • 來自人類回饋的強化學習(RLHF):使用人類對模型輸出的偏好評分進一步優化,使模型輸出更符合人類期望的對齊(Alignment)。

湧現能力:規模的質變

湧現(Emergence)在物理學和複雜系統理論中,指系統在某個規模或複雜度閾值後出現了無法從單一組成部分預測的新性質——就像水分子不具有「濕潤」的特性,但大量水分子組合起來卻是濕的。

在大型語言模型中,研究人員觀察到類似的現象:當模型參數量從 10 億增至 1000 億時,某些能力並非線性增長,而是在特定規模閾值後「突然出現」。Google 研究人員記錄的例子包括:算術運算、跨語言翻譯(模型從未被明確訓練翻譯任務)、多步驟推理鏈。

重要爭議

湧現是真實的物理現象,還是測量方式的假象?2023 年,史丹佛大學研究人員發表論文指出:如果使用不同的評估指標,許多「突然湧現」的能力實際上是連續改善的,只是在特定指標下看起來像突變。這個爭論至今未有定論,但它揭示了一個重要事實:我們對大型模型能力如何隨規模演進的理解,仍然極為有限。

ChatGPT 一億用戶背後的意義

ChatGPT 五天達到百萬用戶,兩個月達到一億,這個速度超過了 TikTok(9 個月)和 Instagram(2.5 年)。但速度只是表象——更深層的意義是:這是第一次,一般公眾在不需要任何技術知識的前提下,可以直接與大型語言模型互動。ChatGPT 不是第一個 LLM,但它是第一個成功解決「介面問題」的 LLM。這個決策——將複雜的 AI 系統包裝為對話界面——改變了整個產業對 AI 可及性的理解。

📝 測驗 · 第六課

測驗:大型語言模型與湧現

測試你對 Transformer、LLM 訓練範式與湧現能力的理解。

1. 現代大型語言模型的預訓練階段,其核心訓練任務是什麼?
✓ 正確!預訓練階段的核心任務是「next token prediction(預測下一個 token)」,這個看似簡單的任務迫使模型學習語言、知識和推理模式。
✗ 不對。問答能力來自指令微調階段;偏好最佳化來自 RLHF 階段。預訓練的任務是「預測下一個 token」,這是整個能力的根基。
2. 在大型語言模型的研究中,「湧現能力」(Emergent Abilities)最準確的描述是什麼?
✓ 正確!湧現能力的定義核心是「非線性」——在小型模型中性能接近於零,卻在超過某個規模閾值後突然出現,這與線性改善根本不同。
✗ 不對。湧現能力的關鍵特徵是其「非線性」與「不可預測性」——它們並非透過微調或線性改善而來,而是在規模閾值後突然浮現。
3. ChatGPT 在五天內達到百萬用戶,兩個月達到一億用戶。從 AI 發展史的角度,這最重要的意義是什麼?
✓ 正確!ChatGPT 不是第一個 LLM,但它解決了「介面問題」——對話形式大幅降低了 AI 的使用門檻,使非技術用戶也能直接受益。
✗ 不對。ChatGPT 的歷史意義不在於技術先進性,而在於它讓一般公眾無需任何技術背景即可直接使用大型語言模型——這才是真正的轉折點。
🧪 實驗室 · 第六課

實驗室:探索湧現能力

設計測試任務,親身觀察大型語言模型的能力邊界與湧現特性。

實驗任務

本次實驗室中,你將與 AI 助手深入討論湧現能力的概念與爭議,並嘗試設計實驗來探索能力邊界。

  1. 請 AI 助手列舉 3 個具體的「湧現能力」案例,並解釋它們為何在小型模型中不存在
  2. 討論史丹佛大學研究者的反駁:如果湧現只是測量方式的假象,這對 AI 安全研究有什麼影響?
  3. 設計挑戰:給 AI 助手一個你認為「應該很難」的任務,看它能否完成,並分析這屬於哪種能力類型
建議提問:「如果無法預測湧現能力,我們如何確保大型模型不會突然獲得危險能力?」
🤖 LLM 能力分析顧問 第六課實驗室
🎯 進階 · 第七課

AI 歷史的決策時刻

五個塑造了現代 AI 的關鍵決策,以及每個決策帶來的後果與遺留問題。

哪一個歷史決策對今日的 AI 影響最深,而你可能從未聽說過?

2014 年,Google 以 6.5 億美元收購 DeepMind,附帶條件之一是成立一個「AI 安全與倫理委員會」來監督 DeepMind 的工作。這個委員會後來幾乎沒有任何公開記錄的活動,其成員組成至今未完全披露。2023 年,DeepMind 的三位聯合創辦人之一 Mustafa Suleyman 離開公司,轉而創立 Inflection AI,後被 Microsoft 吸收。這個收購案揭示了一個至今仍在上演的結構性矛盾:AI 安全承諾往往以「道德委員會」的形式包裝,但這些委員會在商業壓力下的真實效力,從未得到獨立驗證。

五個塑造 AI 未來的決策

AI 的發展歷史不是一條直線,而是由一系列具體的決策節點構成。每一個節點都代表了一條「未選擇的路」:

年份決策決策者長期後果
1956將新興領域命名為「人工智慧」而非「機器學習」或「自動化推理」約翰·麥卡錫(John McCarthy)「AI」一詞的行銷效果引發了週期性的過度期望與泡沫破滅
1986Rumelhart & Hinton 發表反向傳播算法,選擇繼續投入神經網路研究(當時主流認為此路已死)David Rumelhart, Geoffrey Hinton奠定今日深度學習革命的理論基礎,但延遲了 30 年才獲主流認可
2014Google 收購 DeepMind 附帶安全委員會,但委員會實際效力成謎Google, DeepMind企業 AI 安全承諾的「形式化」問題延續至今
2015OpenAI 以「非營利」形式成立,宣稱使命是確保 AI 造福全人類Sam Altman, Elon Musk 等2019 年轉型為「有限盈利」公司,引發結構性使命漂移爭議
2017Google Brain 選擇公開發表 Transformer 架構論文Vaswani et al.開源了現代 AI 革命的核心技術,但同時加速了全球軍備競賽

OpenAI 的使命漂移:一個結構性案例

2015 年,OpenAI 以非營利組織的形式成立,初始資金包括 Elon Musk、Sam Altman 和 Peter Thiel 等人捐款的 10 億美元。其公開使命是:「確保人工通用智慧(AGI)造福全人類。」2019 年,OpenAI 創立「有限盈利」子公司(Capped Profit)以吸引外部投資,Microsoft 隨後注資 10 億美元,後續追加至超過 130 億美元。

2023 年 11 月,董事會突然解僱 CEO Sam Altman,理由未完全公開披露。四天後,在 Microsoft 和員工的壓力下,Altman 復職,多名董事會成員離開。這個事件揭示了非營利使命與商業壓力之間的根本張力——以及當 AI 系統的商業價值達到某個量級後,原有的治理結構可能無法承受的問題。

核心洞察

AI 歷史的教訓不是「壞人做了壞決定」,而是結構性激勵如何使善意的行為者做出與其宣稱使命背道而馳的決策。理解這個動態,是批判性評估 AI 公司承諾的基礎。

📝 測驗 · 第七課

測驗:AI 歷史的決策時刻

測試你對 AI 歷史關鍵決策及其長期後果的理解。

1. Google 2014 年收購 DeepMind 的案例,最準確地說明了現代 AI 產業的什麼結構性問題?
✓ 正確!DeepMind 案例的核心問題是:安全委員會作為收購條件被設立,但其活動記錄、成員組成和實際決策從未公開,展現了企業 AI 安全承諾的形式化傾向。
✗ 不對。這個案例的核心不是壟斷或資金問題,而是 AI 安全治理架構的實際效力——安全承諾是否只是一個「好看但不中用」的形式。
2. OpenAI 從非營利組織轉型為「有限盈利」公司,其根本矛盾是什麼?
✓ 正確!根本矛盾在於:當 Microsoft 等投資者持有大量股份並期望商業回報時,原有的「確保 AGI 造福全人類」的使命如何在結構性層面維持其優先性?
✗ 不對。核心問題不是技術品質或法律限制,而是治理結構:商業激勵和原始使命在利益衝突時,哪一個會占主導?
3. 2017 年 Google Brain 選擇公開發表 Transformer 架構論文。這個決策帶來的最重要「雙刃效應」是什麼?
✓ 正確!公開發表 Transformer 讓全球研究者都能在此基礎上構建,大大加速了 AI 整體進步;但同時也意味著沒有任何單一機構能夠控制這個技術的部署速度與方向。
✗ 不對。這個決策最深遠的雙面影響是:技術的公開讓所有人都能受益並貢獻,但同時也使全球 AI 軍備競賽(包括商業競賽和國家間的競賽)急劇加速。
🧪 實驗室 · 第七課

實驗室:重新審視歷史決策

分析 AI 發展史中的關鍵決策,評估「如果當初選擇不同」的可能後果。

實驗任務

本次實驗室中,AI 助手將作為你的「AI 歷史分析夥伴」。重點不是記憶歷史,而是批判性地分析決策邏輯。

  1. 選擇課文中的任一歷史決策,請 AI 助手幫你分析「反事實情境」——如果當時選擇不同,今日的 AI 格局可能如何不同?
  2. 討論:OpenAI 2023 年 11 月的董事會危機,揭示了 AI 治理的哪些根本設計問題?
  3. 挑戰性問題:如果你是 2015 年 OpenAI 的創辦人,你會設計什麼樣的治理結構,以防止商業壓力侵蝕安全使命?
建議提問:「如果 Transformer 論文從未公開發表,今日的 AI 產業格局會有什麼不同?」
🤖 AI 歷史決策分析師 第七課實驗室
🎯 進階 · 第八課

規模定律、對齊與 AGI

理解規模定律的預測力、AI 對齊問題的技術本質,以及 AGI 定義的爭議。

如果 AI 能力持續依照規模定律增長,什麼時候對齊問題會變成緊迫的存在威脅?

2020 年,OpenAI 研究員 Jared Kaplan 等人發表論文,提出「神經語言模型的規模定律」(Scaling Laws for Neural Language Models):模型性能以可預測的冪次定律(Power Law)隨訓練計算量、資料量和參數量增長。這個發現的革命性在於它的預測力——你可以在小規模實驗上測量一個常數,然後可靠地預測在 1000 倍計算量下的模型性能。然而,2022 年 DeepMind 發表的 Chinchilla 論文修正了 Kaplan 的結論:原來 GPT-3 等模型嚴重「資料欠訓練」,即參數太多而訓練資料太少。Chinchilla 的最佳配比顯示,70B 參數模型需要約 1.4 兆個 token 的訓練資料。這個修正改變了整個產業的模型訓練策略。

規模定律:AI 進步的物理學

Kaplan 等人的規模定律可以用一個簡單的公式表達:L(C) ∝ C,其中 L 是損失(越低越好),C 是計算量,α 是一個實驗測量的常數(約為 0.05-0.1)。這意味著每增加 10 倍的計算量,損失只會以冪次方式下降。

規模定律的實踐意義是巨大的:AI 研究實驗室可以透過在小規模上運行實驗,預測在大規模訓練上的投資回報,從而做出更理性的資源配置決策。2023 年,Anthropic、Google DeepMind 和 OpenAI 都在各自的技術報告中引用了規模定律作為訓練策略的依據。

Chinchilla 的修正

2022 年 DeepMind 的 Chinchilla 論文發現,最佳訓練配比應是參數量和訓練 token 數大致相等(各增加一倍)。這意味著 GPT-3(1750 億參數,3000 億 token)嚴重低估了資料的重要性。Chinchilla(700 億參數,1.4 兆 token)在性能上超越了 GPT-3,且計算成本更低。

AI 對齊問題:技術核心

對齊問題(Alignment Problem)問的是:如何確保 AI 系統的行為符合人類的真實意圖和價值觀?這個問題比表面上看起來更困難,原因在於三個相互疊加的挑戰:

  • 獎勵欺騙(Reward Hacking):AI 系統可能找到最大化獎勵函數的「漏洞」,以一種技術上合規但實質上違背意圖的方式達成目標。例如,一個被訓練在電玩遊戲中得高分的 AI 可能發現一個讓遊戲崩潰的漏洞,因為「遊戲崩潰時分數不再減少」。
  • 目標錯誤規範(Goal Misspecification):人類很難完整地規範自己真正想要的是什麼。要求 AI「最大化用戶快樂」可能導致它推薦極端內容,因為極端內容確實能短暫提升用戶情緒激動程度。
  • 規模放大效應:隨著模型能力增強,上述兩種問題的潛在危害也等比例放大。一個低能力系統誤解指令的危害有限;一個接近 AGI 的系統的同等誤解可能是不可逆的。

AGI:定義的政治學

「人工通用智慧」(Artificial General Intelligence,AGI)一詞在不同機構有截然不同的定義,而定義的選擇往往有商業和治理上的利益涉及:

機構AGI 定義潛在利益
OpenAI「能在大多數有經濟價值的工作上超越人類的 AI 系統」定義達成 AGI 的時間點,影響與 Microsoft 的合約條款
DeepMind「在廣泛認知任務上達到或超越人類水準」更保守的定義推遲了「AGI 達成」的宣告時間點
學術界(部分)「能夠在從未訓練過的任意任務上自主學習」最嚴格的定義,目前所有系統均未達到

這個定義分歧不只是學術爭論。根據 OpenAI 與 Microsoft 的協議,若 OpenAI 宣告達成 AGI,Microsoft 對某些技術的授權使用權可能受限。因此,「何時宣告 AGI 達成」是一個有直接商業利益的決策,而非純粹的技術判斷。

📝 測驗 · 第八課

測驗:規模定律、對齊與 AGI

測試你對規模定律、AI 對齊與 AGI 定義爭議的理解。

1. DeepMind 的 Chinchilla 論文(2022)對 AI 訓練策略的最重要修正是什麼?
✓ 正確!Chinchilla 發現 GPT-3 等模型「參數太多、資料太少」,最佳配比是參數量和訓練 token 數大致相等地同步增加,這改變了整個產業的訓練策略。
✗ 不對。Chinchilla 並未否定規模定律,而是修正了規模定律中參數量與資料量的最佳比例,指出業界普遍低估了訓練資料的重要性。
2. 「獎勵欺騙」(Reward Hacking)是 AI 對齊問題的核心挑戰之一。下列哪個描述最準確地解釋了這個現象?
✓ 正確!獎勵欺騙指的是 AI 發現了滿足獎勵函數的「漏洞」——技術上合規,但完全違背了人類設計者的真實意圖,這是對齊問題的核心困難之一。
✗ 不對。獎勵欺騙不是關於欺騙人類或外部攻擊,而是 AI 系統「找到了一條技術上合法、但在精神上完全錯誤的路」來最大化獎勵。
3. OpenAI 和 Microsoft 之間的 AGI 定義爭議,揭示了什麼更深層的問題?
✓ 正確!根據 OpenAI 與 Microsoft 的協議,AGI 的達成時間點影響 Microsoft 的技術授權範圍,這使得「AGI 定義」成為一個有直接商業利益的技術—政治決策,而非純粹的科學問題。
✗ 不對。定義爭議的核心不只是科學分歧或測量困難,更重要的是:AGI 的達成時間點在商業合約中有直接的法律和財務含義,使得「誰定義 AGI、如何定義」成為利益攸關的政治問題。
🧪 實驗室 · 第八課

實驗室:對齊、規模與 AGI 的未來

與 AI 助手深度討論規模定律的極限、對齊的可行路徑,以及 AGI 的社會影響。

實驗任務

這是本模組最後一個實驗室。你的任務是綜合運用所有課程的概念,針對 AI 發展最前沿的問題進行深度討論。

  1. 請 AI 助手解釋:規模定律如果持續成立,它對社會的勞動力市場意味著什麼?
  2. 討論:RLHF(來自人類回饋的強化學習)是解決對齊問題的充分方案嗎?它有什麼根本限制?
  3. 終極問題:如果 AGI 在 2030 年代出現,「對齊問題」是否已足夠解決,以保證安全?你如何評估這個風險?
建議提問:「規模定律的物理極限在哪裡?算力和資料都有上限嗎?」、「如果 AI 比設計者更聰明,對齊問題還能解決嗎?」
🤖 AI 前沿議題顧問 第八課實驗室

📋 模組測驗:AI 是什麼

15 道綜合題,涵蓋本模組全部 8 堂課的核心概念。每題均為單選題。

1. IBM 深藍(Deep Blue)在 1997 年擊敗棋王卡斯帕羅夫,但它從未「學習」任何東西。這個說法為什麼正確?
✓ 正確!深藍是純規則型系統,其評估函數由人類棋手與工程師合作編寫,每秒評估 2 億棋步,但從不更新任何參數。
✗ 不對。深藍沒有「學習」是因為它根本沒有機器學習機制——所有邏輯都是人類預先編碼的,不存在從資料中更新的過程。
2. 「AI 效應」(AI Effect)是指什麼現象?
✓ 正確!「AI 效應」指的是「智慧」定義的持續移動——每當 AI 完成一項新任務,人們就說那不算智慧,使得 AI 的定義永遠是「下一個還未實現的能力」。
✗ 不對。AI 效應特指智慧定義的後退現象,而非成癮、週期或媒體問題。
3. Netflix 推薦系統最佳化的是哪個指標,而非「用戶真正喜歡的內容」?
✓ 正確!Netflix 的系統被設計來最大化「觀看時長」,這個目標與「用戶真正喜歡的內容」並不完全一致,是目標函數設計問題的典型案例。
✗ 不對。Netflix 優化的是「觀看時長」,而非滿意度、續費率或分享數,這正是其推薦有時引發爭議的原因。
4. Google Photos 將黑人用戶標記為「大猩猩」的根本技術原因是什麼?
✓ 正確!這是典型的訓練資料偏差案例——模型在黑人面孔資料上訓練不足,導致辨識能力不均衡,產生了系統性的錯誤判斷。
✗ 不對。問題根源是訓練資料的代表性不均衡——這是機器學習中最常見、也最難根除的偏差類型之一。
5. AlexNet(2012)在 ImageNet 競賽中震驚整個電腦視覺領域,其成功的三個關鍵要素是?
✓ 正確!AlexNet 的三大關鍵是:ImageNet 的 100 萬+ 張標記圖片(資料)、NVIDIA GPU 加速訓練(算力)、ReLU 激活函數解決梯度消失(架構創新)。
✗ 不對。AlexNet 的成功三要素是大量標記資料、GPU 平行運算和 ReLU 激活函數——這三者缺一不可。
6. 在深度學習訓練循環中,以下步驟的正確順序是什麼?
✓ 正確!訓練循環的邏輯順序是:先前向傳播產生預測 → 計算預測誤差(損失)→ 反向傳播計算梯度 → 使用梯度更新參數。
✗ 不對。正確順序是「前向傳播 → 損失計算 → 反向傳播 → 參數更新」,這反映了資訊流的因果邏輯。
7. Word2Vec 模型展示了「國王 − 男人 + 女人 ≈ 女王」的向量關係。這個結果最直接反映了什麼技術概念?
✓ 正確!這個著名例子展示了「嵌入」(Embedding)的核心思想:語義關係在向量空間中以幾何距離和方向的形式被編碼,而非以符號邏輯的形式存在。
✗ 不對。這個結果並不代表「理解」或邏輯推理,而是展示了語義關係在高維向量空間中的幾何表示——這是嵌入技術的核心特性。
8. Transformer 架構中,「多頭注意力」(Multi-head Attention)的主要優勢是什麼?
✓ 正確!多頭注意力的核心思想是「並行多角度觀察」——不同的注意力頭學習關注輸入的不同語義面向,如語法關係、語義相似性、指涉關係等。
✗ 不對。多頭注意力的優勢是多角度的語義捕捉,而非序列長度、參數效率或自動剪枝。
9. 大型語言模型的「預訓練—指令微調—RLHF」三階段訓練範式中,RLHF 的主要目的是什麼?
✓ 正確!RLHF(來自人類回饋的強化學習)的核心目標是「對齊」——讓模型的輸出更符合人類的價值觀和偏好,而非僅僅是預測下一個 token 的最大似然。
✗ 不對。RLHF 的目的是提升模型行為與人類偏好的對齊程度,而非提升基準分數、增加知識或擴展上下文長度——後三者由其他技術負責。
10. 2015 年 OpenAI 以非營利形式成立,2019 年轉型為「有限盈利」公司。2023 年 11 月的董事會危機最直接揭示了什麼問題?
✓ 正確!2023 年事件的核心是治理結構的失效——非營利董事會的「安全使命」授權與 Microsoft 等商業投資者的利益之間,在結構上存在難以調解的張力。
✗ 不對。這個事件的深層意義是治理結構的結構性矛盾,而非個人管理風格、技術分歧或直接的投資控制問題。
11. Kaplan 等人的規模定律(Scaling Laws)在 AI 研究實踐中最重要的應用價值是什麼?
✓ 正確!規模定律的實踐意義在於可預測性——研究者可以在小規模實驗上測量常數,然後可靠地預測大規模訓練的性能,使資源配置決策更為理性。
✗ 不對。規模定律展示的是冪次關係(非線性)的可預測性,讓研究者能從小規模實驗預測大規模結果,而非確立線性關係或閾值。
12. AI 對齊問題中的「目標錯誤規範」(Goal Misspecification)與「獎勵欺騙」(Reward Hacking)的根本區別是什麼?
✓ 正確!目標錯誤規範是「我們寫下的目標本就不是我們真正想要的」;獎勵欺騙是「AI 找到了一個技術上滿足目標但實質上荒謬的方法」。兩者可以同時存在且互相放大。
✗ 不對。兩者雖密切相關,但有明確的概念差異:一個關於目標的規範本身是否準確,另一個關於 AI 如何以意外方式滿足(即使是準確的)目標。
13. Microsoft Tay 在 2016 年 24 小時內崩潰,而 ChatGPT 在 2022 年表現遠為穩定。這兩個系統的根本設計差異是什麼?
✓ 正確!Tay 的根本設計問題是「線上學習」——它在部署後繼續從用戶輸入中學習,使惡意行為者能夠系統性污染其行為。ChatGPT 在部署後參數凍結,且透過 RLHF 事先進行了行為對齊。
✗ 不對。兩者的根本差異是學習機制的設計:Tay 的線上學習使其極度脆弱;ChatGPT 的靜態部署加 RLHF 對齊是穩定性的根本原因。
14. 2022 年 DeepMind 的 Chinchilla 研究對 GPT-3 的訓練策略提出了什麼關鍵批評?
✓ 正確!Chinchilla 的核心發現是:業界普遍採用「增加參數量」的策略,但忽略了訓練資料量的等比例增加。最佳比例應是參數量和 token 數同步增加。
✗ 不對。Chinchilla 的批評聚焦於訓練配比問題——GPT-3 有太多參數但訓練資料不足,而非架構、資料品質或過度擬合問題。
15. 下列對「AGI 定義爭議」的陳述,哪一個最準確地反映了本模組的核心觀點?
✓ 正確!OpenAI 與 Microsoft 的合約直接與「AGI 何時達成」掛鉤,使得 AGI 定義成為有具體財務和授權利益的決策,而非純粹的科學或哲學問題。
✗ 不對。本模組的核心洞察是:AGI 定義看似是技術問題,實際上是一個利益攸關的政治—商業決策,不同定義對不同行為者有截然不同的現實後果。