L1-4｜長文寫作｜從蒐集、生成到潤飾的完整步驟

各位大家好 今天歡迎各位 來到我們這個線上課程 我們會跟大家來討論 有關於怎麼樣子 可以透過語言模型 可以讓我們寫的長文 可以寫得更好 因為過去 大家常常會有一些經驗 就是讓它去寫一個長篇文章 看起來觀點就很鬆散 很淺薄 或者是 看起來就是一副機器寫的樣子 那我們今天會教大家很多的一些技巧 來去提升這個部分 寫出來的內容 那首先 我是尹相志 從我開始在做大數據 到現在是第二十五年 所以 不管是從所謂傳統的一些 BI 或者是統計 機器學習 一直到現在的深度學習 AI 那都是一路走過來 那這些都是我過去的一些相關的經驗 那我們今天 會主要來跟各位介紹一下 那我想生成式 AI 是這一陣子 非常非常紅的話題 大概已經紅 2 年多了 那很多人還是會覺得 它好像是魔法一樣的東西 會用玄學的角度來看它 但一切都是科學 所以我們來看到就是說 它到底本質上是什麼樣的東西 我們不談太複雜的原理 我們只是從一個最基本的概念 來去著手 所有的生成式 AI 它本質上就是一個 把有限的最小單位 去做重新地排列組合 把這個排列組合出來之後

會產生出無窮多的內容 那舉個例子來講 像我們在去生文字 ChatGPT 是一個很標準的以文生文 這樣子的一個功能 那我們所謂的生文字這件事情 文字的最小單位是什麼 英文是字母 那我們中文是漢字 那事實上來講 對機器來講 我們用的是一個介於其中的概念 一個叫 token 的東西 那 token 有點像英文的 字首 字尾 跟字根 那在中文來講 我們大概一個中文字 大概是 1～2 個 token 英文 大概就是一個單字 大概是 2～3 個 token 所以在這裡面 我們是用有限的 token 以 ChatGPT-4 來說的話 它的 token 數大概是 21 萬上下 那用這 21 萬個字 我們把它當作某種 通用性的字母概念 所以用這樣的概念 你可以用 21 萬 排列出無窮多的文字內容

那這個就是文字的生成 那圖像呢 圖像的最小單位是像素 可是用像素來去生成圖 實在是太沒效率了 因為像素太多了 所以 我們一般現在是 把 16×16 個像素 變成一個像素塊 它就是一個最小的單位 再把這個塊 再去做排列組合 就可以產生出無窮多的圖像 那所以 影片的最小單位是什麼 是幀 那我們把有限的幀 因為基本上圖像也是一樣 這個幀會經過縮放 把它縮小到 16×16 的大小 那這樣子就是有限的幀 可以長出無窮多的內容 所以 其實在所有的 生成式 AI 的本質都是這樣 所以 我們的重點是要找到 那個最小的單位是什麼 找到它們之間排列組合之間的 規則跟規律 怎麼樣子去產生有意義的內容 怎麼樣子互相影響 而這個影響 往往可能會隔得很遠 那舉個例來講 我就會告訴大家 今天我要請大家吃飯 才怪 後面的這個才怪 就把前面的整個句子給否定掉 很多像小說 你可能會有很多的伏筆 到了最後一刻突然 把這個人給怎樣 洗白了 或者是 做了一個大反轉 所以你會發現文字這種東西

其實它可以 相隔非常遠的情況之下 就給它一個意義的變動 那這個東西 其實也都是 在我們這種所謂的最小單位 在排列成 有意義的組合的過程當中 常常需要考慮到的 你必須要考慮到 你要隔很遠 還要能夠發生影響 這個在傳統的一些建模裡面 是比較困難 但是現在我們透過了 Transformer Transformer 是一種新型態的神經網路 就是各位畫面當中看到的 那個架構圖 那它其實最大的特色 就是它模仿人類的 一個很重要的特質 attention 注意力 也就是說 它的重點在於 它可以去關注到 過去的這些文字當中 哪些地方是需要被重視的 哪些東西是需要去關聯的 那它就可以利用這樣的方式 產生遠程的 遠距離的一種關聯性 那這樣子 它產生出來的東西 才特別有意義 也因此 現在的所有的 這種生成式 AI 基本上 全部都是用 Transformer 這樣的一個結構 來去做到的 那我們再來看到的就是 過去 我們在做所謂的一個 就是 AI 的這樣子 機器學習的過程裡面 有一個很重要的一個定理 我們叫作「沒有教過的就不會」

我們要教過機器 它才有辦法學得會 那所以 過去像谷歌 谷歌可能在 2016 年的時候 AlphaGo 很厲害 那可能它今年得了諾貝爾獎的 AlphaFold 也很厲害 但是問題是 有一個最大的問題 是在於說 AlphaGo 很厲害 但它只會下圍棋 你今天叫它下個五子棋 抱歉 你必須從頭學 那谷歌過去它是採取 以專業分工的方式 來實現所謂人工智慧 那當然 這樣的效果的確是好的 因為它可以一個一個地突破難關 可以去就是 可以打贏世界冠軍 可以打電動 也都得到世界冠軍 做任何事情都可以到世界冠軍 但是 這個世界上的難題 哪有數得完的一天 你基本上來講 你每次要設定一個題目 再去針對這個難題做訓練 那就意味著 你永遠沒有辦法養出 一個通用性的人工智慧 那因為你沒有辦法 每個題目看到了 你就會 你必須要從頭開始學 這個就是過去的這種 人工智慧的架構上面 一個最頭痛的地方 OpenAI 採用了一種完全不一樣的手法 Google 採用的是專業分工 我把一個看起來差不多的事情 再按照它的特徵 切得更細 更碎