好，那我們今天就來深入探討 AI。 我們有很多講座和文章，甚至有些是從中文翻譯過來的。這些都是非常有趣的東西。我們正在談論 AI 的實際運作方式。是的，特別是那些令人驚嘆的系統，比如 ChatGPT，它可以寫詩甚至進行對話。這真是太令人興奮了。而且，你知道，你挑戰我們要超越炒作。對的，你想了解這些看似神奇的 AI 系統背後的核心原理。因為老實說，看到 AI 生成創意文本或作曲時，確實感覺像魔法。是的，但你分享的講座實際上以一種幾乎可以理解的方式將事物分解。幾乎可以理解，是的。其中一個我覺得最根本的概念，貫穿所有這些來源，就是 AI 的核心是學習一個函數。 它是關於弄清楚如何將輸入映射到輸出。就像一個食譜，你有你的食材，也就是輸入，然後你按照一組指令，也就是函數，來創建你的美味輸出，也就是菜餚。沒錯。而且，這些來源實際上使用了這個我喜歡的類比，這個可愛的 AI 機器人。哦，我喜歡那個。說明了這一點。所以，如果我們要建造這個可愛的小 AI 機器人來識別不同種類的鳥，首先我們需要決定的是我們要餵它什麼？是鳥的照片？還是它的歌聲的錄音？是的，輸入是什麼？同樣重要的是定義輸出。 那麼我們想要從機器人得到什麼樣的答案？只是物種的名稱，還是每個可能物種的概率？所以我們必須非常清楚什麼進來，什麼出來。這適用於所有 AI 系統，而不僅僅是我們的識鳥機器人。絕對的。是的，他們，你知道，來源中有這個非常酷的例子，關於識別台灣不同種類的八哥鳥。哦，是的，我記得讀過那篇。所以在這種情況下，輸入將是八哥鳥的照片，對吧？完全正確。至於輸出，他們決定讓 AI 生成三個分數。好的，每個代表照片中的鳥屬於特定八哥鳥物種的可能性。啊，所以它不僅僅是吐出一個單一的答案。對的，它為每個可能性提供了信心度量。沒錯。這強調了 AI 通常在概率領域工作，而不是絕對值。它是根據從數據中學到的模式做出有根據的猜測。現在，這才是事情開始變得真正有趣的地方。 講座還談到了不同類型的 AI、基於規則的系統、機器學習和深度學習。就像 AI 隨著時間的推移而進化，對吧？絕對的。而我認為這裡的一個關鍵區別是，從明確編程規則轉向讓 AI 從例子中學習。所以對於基於規則的系統，就像給 AI 一本巨大的說明手冊，比如如果這樣，那麼那樣。是的，但是對於機器學習，更像是教一個孩子，給他們看例子，讓他們自己弄清楚其中的模式。這是一個很好的類比。而深度學習則更進一步。把它想象成一個具有多層的神經網絡，允許它學習非常複雜的模式。這就是我們在圖像識別和自然語言處理方面看到突破的背後。我感覺深度學習是一個我們可以深入研究的另一個領域。但講座中突出的一件事是我認為深度學習模型實際上可以預測他們從未見過的東西。 對吧，這不是很令人驚訝嗎？是的，它確實挑戰了傳統的預測觀點。是的，因為深度學習模型有時可以生成超出其訓練數據範圍的輸出。所以它不僅僅是記憶模式。它實際上正在外推並對它沒有明確遇到的事物進行推斷。這有點嚇人，老實說。這確實非常 remarkable。而且研究人員仍在努力完全理解它。為了更好地理解深度學習是如何做到這一點的，我認為我們需要深入研究這些模型的構建塊，即我們之前提到的那些神經網絡。好的，為我分解一下什麼是神經網絡？ 好的，每個神經網絡的核心都是這些叫做神經元的東西，它們是基本的處理單元，它們的行為非常簡單，想像每個神經元都是一個微小的決策者。好的，它接收來自其他神經元的信號，處理它們，然後根據一組簡單的規則生成自己的信號。好的，我正在想象這些微小的決策者的網絡，它們全部互連並相互發送信號。但這如何真正轉化為理解語言或生成文本？ 這才是真正有趣的地方。對於像文本生成這樣的任務，AI 需要理解上下文和單詞之間的關係，我們需要具有記憶力的模型。好的，這就是 RNN 和變壓器進場的地方。啊，是的，RNN，循環神經網絡。這些曾經不是 AI 的全部嗎？是的，RNN 具有這些反饋循環，允許信息隨著時間持續存在，為它們提供一種形式的記憶。但後來出現了變壓器。是的，一切都改變了。等等，變壓器，就像變形金剛？你說對了。而且這不是巧合。變壓器的中文意思是變形鋼。這太酷了。所以這些變壓器網絡是現在 AI 文本生成的主角。它們絕對掀起了波瀾。它們是我們今天擁有的最令人印象深刻的語言模型的幕後推手。那麼是什麼讓它們如此特別呢？它們的秘訣是什麼？ 它們的秘密武器是一種叫做注意力的機制。好的，這是一種讓模型在生成下一個單詞時關注輸入序列的不同部分，比如句子中的單詞的方法。好的，給我畫一幅畫。這個注意力是如何真正運作的？想像你正在試著理解一段複雜的文本。好的，你可能會在不同部分之間來回看，專注於某些單詞或短語以獲得完整的含義。注意力以類似的方式工作。模型主動選擇在每個步驟關注輸入的哪些部分。所以它不僅僅是線性地處理文本。對的，它是在來回跳躍，建立聯繫，並建立對上下文的更豐富的理解。沒錯，它是一個動態過程，而不是一條簡單的單向街道。而這種注意力機制正是變壓器優於那些較舊的 RNN 的關鍵。這是其中一個主要原因，是的，它允許它們更有效地處理信息，特別是在處理長序列的文本時，這對於像寫詩或作曲這樣的文本來說是必不可少的。 哇，真令人印象深刻。但我還是想知道，模型是如何決定關注什麼的？是什麼引導了這種關注？這變得更加技術化。好的，但核心思想是模型學習使用稱為 Q、K 和 V 向量來計算輸入不同點的相關性。好的，把它們想象成查詢、鍵和值的表示。好的，我現在相信你的技術細節。好的，但讓我們回到文本生成本身。我仍然很好奇它是如何結合在一起的。AI 是否只是根據之前的單詞選擇最有可能的下一個單詞？這比那更微妙一些。雖然選擇最有可能的下一個單詞似乎是顯而易見的方法，但它會導致非常重複和可預測的輸出。 對的，為了使文本更有趣和更有創意，AI 實際上從概率分佈中採樣。採樣。所以涉及到一些隨機性。它不僅僅是一個確定性過程。沒錯，有一點機會參與其中。這實際上是 AI 可以生成感覺更自然、更不像機器人的文本的原因。就像 AI 在添加自己的個性和風格。好的，這很有道理，但如果它是隨機的，我們如何控制輸出？我們如何確保 AI 不是只是吐出胡言亂語？這就是一些聰明的技巧進場的地方，來源提到了三個具體策略，溫度、top K 和 top 採樣。好的，聽起來有點嚇人，不用擔心，概念相當簡單。把它們想象成我們可以調整的旋鈕，以控制 AI 輸出的創意和隨機性。所以我們可以微調 AI 的想像力，可以這麼說。精確地說，我們可以通過調整這些參數來影響 AI 生成的文本的風格和語調。這一切都非常酷。 是的，但我忍不住想知道，比如，AI 如何真正理解單詞的含義？比如，它是如何知道貓比車更接近狗的？這是個很棒的問題。是的，它涉及到我們如何為 AI 表示語言。僅僅為單詞分配隨機數字是不夠的。我們需要一種方法來捕捉它們之間的語義關係。而這就是詞嵌入的作用。詞嵌入。聽起來像是將單詞的精髓封裝在數字形式中。這是個很好的表達方式。本質上，每個單詞都由一個向量表示，即一組數字，捕捉單詞的含義及其與其他單詞的關係。等等，所以 AI 是通過觀察單詞的使用方式來學習單詞的含義嗎？是的，這令人驚訝。是的，谷歌的 Word2Vec 使用的例子是，他們訓練了一個 AI 來預測句子中缺失的單詞。對的，通過這個過程，AI 學到了非常有意義的詞嵌入。所以，經常出現在相似上下文的單詞，比如貓和狗，最終會得到在這個高維空間中靠近的向量。是的，這就是 AI 開始掌握單詞之間的更深層關係的方式，比如國王對女王就像男人對女人