Hey大家,
這週末我又跟幾個朋友們去加州滑雪勝地Tahoe滑雪了!
還記得上次我說我們去Tahoe滑雪的第二天因為雪下太大雪場關閉嗎?原本兩天的雪票只用了一天,剩下尷尬的一天要用。為了不浪費這一天的雪票,但又不想多住一天,我們就決定這次要當天來回灣區跟Tahoe。但因為Tahoe距離我們住的地方大概有4個小時的路程,所以我們凌晨三點多就從家裡出發(幾位開Tesla去的朋友們甚至兩點多就出發惹),一路開到Tahoe大概是早上八點左右。然後我們就從早上八點多開始一路滑到下午四點,之後再馬上從Tahoe開車回南灣,最後終於在晚上十點左右回到家,真的超級熱血🤣
這種熱血行程與其說是假日跟朋友出去玩,不如說是一個開/坐車8小時 + 滑雪8小時的體力鍛鍊營。不過雖然體力被消耗殆盡,但這次我們去的雪場真的很讚,人不多而且雪道很大,對新手很友善。我們不管是滑Ski還是Snowboard的人在這短短的一天內都進步神速,我的S Turn終於也越來越順了✌🏼
閒聊結束,我們進入本週呢喃吧!
最近科技業AI話題依舊火熱,像是OpenAI推出ChatGPT Plugins、Quora推出了自家的AI聊天機器人App — Poe,除了這些跟大型語言模型、生成式AI相關的應用之外,Facebook母公司Meta最近開源的Segment Anything Model (SAM)在物件分割(segmentation)這個電腦視覺問題上有了大突破,再次宣告Meta AI的雄厚技術底蘊。
除了AI在軟體(演算法、應用)方面的突破,我也想聊聊power這些AI應用的「硬體」。
隨著AI應用變得越來越複雜和精密,支撐它們的計算能力需求也在迅速增加。因此近年來,開發最快速且最有效率的AI晶片的競爭越來越激烈。許多科技巨頭正大力投入開發能處理AI應用所需複雜演算法的專用晶片。其中,NVIDIA和Google是這個領域中最著名的兩大競爭者。NVIDIA開發的Graphics Processing Unit(GPU,俗稱顯卡)目前在市場上佔據絕對的主導地位,而Google也早在2016年就開發了自家的Tensor Processing Unit(TPU)。
NVIDIA的GPU
NVIDIA的GPU多年來一直是高性能計算的行業標準。它是一種高度並行的處理器,旨在處理遊戲和其他圖形應用程式所需的複雜圖形操作。近年來,NVIDIA也開發專用於AI應用的GPU,就連其他科技巨頭的雲端部門,像是Amazon的AWS跟Mircorsoft的Azure都跟NVIDIA緊密地合作讓客戶能直接在雲端上訓練跟部署AI模型。更不用說基本上只要跟AI有關的公司、學校、研究機構、以及個人電腦,幾乎都能見到NVIDIA GPU的蹤影。不過除了AI以外,NVIDIA的GPU還可以用於其他應用,常見的像是3D渲染、遊戲場景等。
Google的TPU
Google的TPU是專門為AI應用設計的定制晶片。它針對機器學習操作進行了優化,可以以驚人的速度執行矩陣乘法(許多AI演算法中的基本操作)。TPU能與Google自己開發的機器學習框架 — TensorFlow無縫配合,讓開發人員能輕鬆使用。就純粹的AI工作負載而言,TPU在速度和能源效率方面略優於GPU,也更擅於訓練大型模型。不過相對地,TPU就沒有那麼多工,只能用於機器學習操作,不能像GPU一樣處理遊戲或圖形渲染。TPU目前也沒有開放外部購買,只能透過Google的雲端平台Google Cloud來使用TPU。
當然除了GPU跟TPU之外還有許多公司也在做為機器學習優化的晶片。如果你對TPU vs GPU vs 其他AI硬體有興趣的話,我上週跟朋友們的讀書會有做了一個投影片 TPU Intro,歡迎大家參考~~
在AI應用百家爭鳴的時代,計算能力的需求正在迅速增加。為了要處理AI工作負載,GPU、TPU等AI晶片變得越來越重要。隨著AI的不斷發展,對更強大和專門的硬體的需求只會日益增加。並且除了雲端、工作站所需的強力AI運算晶片之外,手機、平板、筆記型電腦上的AI運算單元也是一個很大的戰場。
最近Elon Musk也為Twitter買進了大約10,000張GPU,並且他表示
Everyone and Their Dog is Buying GPUs.
— Elon Musk
在他呼籲大家暫停訓練比GPT-4更強的大型語言模型 (Pause Giant AI Experiments: An Open Letter)的同時,他反而默默地正幫旗下幾間公司加碼投入AI開發,還創立了自己的AI公司X.A,並從DeepMind(創造AlphaGO的公司 / Google母公司Alphabet的另一間子公司)挖角了幾位AI大神加入。
再往更底層看,當AI越來越發達,AI運算晶片需求越來越高的同時,晶片製造商例如台積電也很可能會在這個科技的推進中扮演非常重要的角色。我最近也開始在讀 Chip War: The Fight for the World's Most Critical Technology (中文書名是:晶片戰爭),之後讀完有什麼心得再來跟大家分享嘍~
Have a great week :)
-KY