2024年6月4日 星期二

nVidia建立了CUDA生態系,已經在提供各式AI解決方案了,別的公司才開始組成各種AI軟硬體聯盟,想要跟nVidia拼搏,我說很拼啦!

 《nVidia建立了CUDA生態系,已經在提供各式AI解決方案了,別的公司才開始組成各種AI軟硬體聯盟,想要跟nVidia拼搏,我說很拼啦!》

對呀!nVidia是花了二十年組成CUDA生態系,而且已經在提供各式AI解決方案(以前是叫做轉鑰系統Turnkey system ,就是使用者轉鑰匙打開系統就能夠使用的意思),獨佔80%以上的市場時,別的公司才開始組成各種AI軟硬體聯盟,想要跟nVidia拼搏,我說真的會很拼,而且不被看好。
另外,當nVidia已經在提供各式AI解決方案,並與眾多客戶合作在進行各專業領域的應用,而且昨天已經展示其將要推出的AI解決方案(Blackwell),比起其舊解決方案(Harper)可以提升使用者35倍的工作效能時,AMD在今天還是強調說它的新AI加速器比nVidia的舊AI加速器(H200)快了30%,兩者之間高下立判,市場地位也大不相同,當然這也會反映在其股價上。
這個35倍的運算速率差距與立即可用性的差別,就好像一群乘客們要去搭乘nVidia經營的高鐵一小時直達快車時,在門口碰到一個黃牛跟他們說,千萬不要花大錢去坐高鐵,太浪費錢了。他推薦這些乘客去搭乘他們組成的野雞車大聯盟的計程車,只要等他們找好司機並談好逐站接駁的合作運送方案,應該今晚就可以出發了,只是慢一點,經過35小時車程的後天就能到了,但是很省錢。你覺得這些乘客會理他嗎?
更誇張的是,旁邊有一群貌似口國人的駕駛,竟然組成一個馬車隊,圍上來說他們保證能以超越高鐵的速度把你送達任何地點,而且車資你隨意給,免費蘋果西打飲料還讓你隨便喝,只要你上車一切好談,那你認為這些乘客會傻到去上口國的馬車給口國人拆零件嗎?




2024年6月3日 星期一

台灣隊長在Computex 2024發聲了! 非常值得一看!

生成式(generative)AI是能聽得懂你的意圖也能跟你對話與不斷修正其執行結果的工作夥伴》 

https://www.youtube.com/live/pKXDVsWZmUU

台灣隊長在Computex 2024發聲了!
非常值得一看!……
查看更多
NVIDIA CEO Jensen Huang Keynote at COMPUTEX 2024

YOUTUBE.COM
NVIDIA CEO Jensen Huang Keynote at COMPUTEX 2024
NVIDIA founder and CEO Jensen Huang will deliver a live keynote address ahead of COMPUTEX 2024 on June 2 at 7 p.m. in Taipei, Taiwan, outlining what’s next f...
所有
昨天黃仁勳的演講原音一直被口譯干擾,看了30多分鐘就放棄,今早重看原音的錄影好多了。
容我職業病上身,糾正一下微不足道的錯誤。屬於 NPC 的「銷售員問題 」(TSP) 無法用量子計算 (QC) 加速,也就是說目前沒有人知道有任何NPC問題可以從QC中得到好處,未來也許會找到方法,但目前無解,而且我不看好。又,模擬 QC 只有教育用途,就算要驗證 量子算法的正確性與潛在的加速效果,一般仰賴解析分析,不必用模擬,模擬量子算法無法真正加速。
除此之外,黃仁勳這場演講非常精采,一開始就有點到重要的一點,希望有 CS 專業的不要只看動畫,忽略這點。那就是,這些美好的承諾,只能線性加速,絕大多數的問題非但不是線性,連 P 都不是,但這就夠了,有大量的實際應用問題只需線性加速,客製化解決這些問題的處理器就能讓 NVIDIA 吃不完。同時,也不斷有新的算法把過去不可能的問題變成線性。例如去年我個人最興奮的事是,有人找到幾乎是線性的算法解決最大流量問題,我認為這是近年我所知道最大的突破,這個問題的應用無限多,從排班到圖形辨識都能用,我猜 NVIDIA 很快就要弄一顆算最大流量的GPU,股票又要上翻了。也許人家早就做出來了。
我也很高興感受到理論電腦暫時還不會消失,繼續研究算法,繼續指出哪個方向是理論上可行,哪個方向不可行,研究者與業界必須很清楚。
我會讓我的美國學生看這場演講。超棒,生為台灣人超得意。
揚昇法律專利事務所
同意,量子運算的emulator沒有什麼意義,其他的感想如下。
1、AI平行處理的任務化,難的是軟體需要重新寫作,CUDA函數館大幅簡化與標準化此一改寫作業:
線型的Von Neumann架構中央處理器,只能一步一步的執行指令,直到程式結束,GPU或DSP出現,就是能「平行處理」對於螢幕上每一個畫素(pixel)或資料庫裡面每一個資料的同樣運算(例如將各個畫素跟相鄰的8個畫素做平均),來大幅加速圖形運算與顯示的速度。所以,黃仁勳一直強調他只是放大了原始的GPU概念,nVidia只是提供了更快更好的GPU給客戶使用而已。
所謂AI加速器,就是將這一概念推廣,將使用者輸入的一件任務的程式,拆解成許多子任務,同時將其各式組合交給各個AI加速器單元去進行「平行運算」,再挑選其中最佳解,然後提供使用者該答案,然後再依據使用者的進一步指示,逐步完善與修正其答案。
這個加速運算的過程中,最難的是將線性的軟體,將其任務拆解與平行化的改寫,而nVidia已經藉由提出CUDA函式庫,將此一過程簡化與標準化了,它現在就可以提供了多達350個,經過預訓練而具備各個領域知識(domain Knowledge)的各式CUDA函數庫與NIM,方便各個領域的專家/公司使用其來再精進其各自的AI實際應用(自動倉儲,藥品研發,自駕車等)。
另外,黃仁勳的第一個展示是失敗的,沒有講出重點,螢幕左方是上一代AI加速器(Harper)在做自動程式除錯與產生器,而螢幕右方是用這一代(Blackwell) AI加速器做同一件工作,你可以看到幾乎瞬間,大概一秒,螢幕右方新一代的(Blackwell)AI加速器就完成此工作了,而左方的上一代(Harper)AI加速器,到黃仁勳受不了而關掉前,只跑到2%的進度。這個加速是達到nVidia所宣稱的35倍加速,並沒有錯!
2、生成式(generative)AI,從單純的工具提昇為能聽得懂你的意圖也能跟你對話與不斷修正其執行結果的工作夥伴:
如黃仁勳所正確描述的,由於算力的大幅增加,以前看起來沒有什麼用的深層學習與類神經網路技術,現在變成了經過巨量資料預訓練而具備基本物理與社會知識,還有某專門領域的廣泛知識,且能夠與人以自然語言互動的生成式(有產出能力的)AI,這是人類第一次有機會不是使用工具,而是得到一個可以能聽得懂你的意圖也能跟你對話與不斷修正其執行結果的工作夥伴,而且他不會抱怨也不會偷懶(但這點還要再研究,因為ChatGPT 4.0已經被證實會抱怨與偷懶),這個對於工作效率的提升,快速聚焦於最佳方案,提前推出有用(能賺錢或省錢)的應用,減少無效研究的浪費,也是功德無量。
3、nVidia的NIMs,已經可以自己分拆任務,自己排程與檢核,互相溝通與競爭,來完成交付的任務了:
在展示中,最讓我覺得震撼的,是黃仁勳提到nVidia所提供的各專門領域的NIMs,已經可以自己分拆任務,自己排程與檢核,互相溝通與競爭,來完成交付的任務了,這是軟體研發經理的天堂呀!都不要再理會這些難搞又懶惰的程式設計師了,找NIMs自己做就行了。

所以,最先失業的,是能力普通到能力低劣的程式設計師,而頂尖高手是永遠很搶手的。因此,能力低劣的程式設計師要趕快轉職改行,能力普通的程式設計師,要趕快學習生成式AI,並應用在自己的工作上,好加速提昇自己的程式寫作能力。
4、機器人的定義要改寫,人類的形象適合溝通,但各種專門領域,有適合其形象的機器人:
凡具備與人類溝通的能力,能夠自我改善與學習,完成任務的生成式AI軟硬體系統,都是機器人。
再說一次,黃仁勳的keynote speech ,非常值得一看!