2024年6月4日 星期二

nVidia建立了CUDA生態系,已經在提供各式AI解決方案了,別的公司才開始組成各種AI軟硬體聯盟,想要跟nVidia拼搏,我說很拼啦!

 《nVidia建立了CUDA生態系,已經在提供各式AI解決方案了,別的公司才開始組成各種AI軟硬體聯盟,想要跟nVidia拼搏,我說很拼啦!》

對呀!nVidia是花了二十年組成CUDA生態系,而且已經在提供各式AI解決方案(以前是叫做轉鑰系統Turnkey system ,就是使用者轉鑰匙打開系統就能夠使用的意思),獨佔80%以上的市場時,別的公司才開始組成各種AI軟硬體聯盟,想要跟nVidia拼搏,我說真的會很拼,而且不被看好。
另外,當nVidia已經在提供各式AI解決方案,並與眾多客戶合作在進行各專業領域的應用,而且昨天已經展示其將要推出的AI解決方案(Blackwell),比起其舊解決方案(Harper)可以提升使用者35倍的工作效能時,AMD在今天還是強調說它的新AI加速器比nVidia的舊AI加速器(H200)快了30%,兩者之間高下立判,市場地位也大不相同,當然這也會反映在其股價上。
這個35倍的運算速率差距與立即可用性的差別,就好像一群乘客們要去搭乘nVidia經營的高鐵一小時直達快車時,在門口碰到一個黃牛跟他們說,千萬不要花大錢去坐高鐵,太浪費錢了。他推薦這些乘客去搭乘他們組成的野雞車大聯盟的計程車,只要等他們找好司機並談好逐站接駁的合作運送方案,應該今晚就可以出發了,只是慢一點,經過35小時車程的後天就能到了,但是很省錢。你覺得這些乘客會理他嗎?
更誇張的是,旁邊有一群貌似口國人的駕駛,竟然組成一個馬車隊,圍上來說他們保證能以超越高鐵的速度把你送達任何地點,而且車資你隨意給,免費蘋果西打飲料還讓你隨便喝,只要你上車一切好談,那你認為這些乘客會傻到去上口國的馬車給口國人拆零件嗎?




2024年6月3日 星期一

台灣隊長在Computex 2024發聲了! 非常值得一看!

生成式(generative)AI是能聽得懂你的意圖也能跟你對話與不斷修正其執行結果的工作夥伴》 

https://www.youtube.com/live/pKXDVsWZmUU

台灣隊長在Computex 2024發聲了!
非常值得一看!……
查看更多
NVIDIA CEO Jensen Huang Keynote at COMPUTEX 2024

YOUTUBE.COM
NVIDIA CEO Jensen Huang Keynote at COMPUTEX 2024
NVIDIA founder and CEO Jensen Huang will deliver a live keynote address ahead of COMPUTEX 2024 on June 2 at 7 p.m. in Taipei, Taiwan, outlining what’s next f...
所有
昨天黃仁勳的演講原音一直被口譯干擾,看了30多分鐘就放棄,今早重看原音的錄影好多了。
容我職業病上身,糾正一下微不足道的錯誤。屬於 NPC 的「銷售員問題 」(TSP) 無法用量子計算 (QC) 加速,也就是說目前沒有人知道有任何NPC問題可以從QC中得到好處,未來也許會找到方法,但目前無解,而且我不看好。又,模擬 QC 只有教育用途,就算要驗證 量子算法的正確性與潛在的加速效果,一般仰賴解析分析,不必用模擬,模擬量子算法無法真正加速。
除此之外,黃仁勳這場演講非常精采,一開始就有點到重要的一點,希望有 CS 專業的不要只看動畫,忽略這點。那就是,這些美好的承諾,只能線性加速,絕大多數的問題非但不是線性,連 P 都不是,但這就夠了,有大量的實際應用問題只需線性加速,客製化解決這些問題的處理器就能讓 NVIDIA 吃不完。同時,也不斷有新的算法把過去不可能的問題變成線性。例如去年我個人最興奮的事是,有人找到幾乎是線性的算法解決最大流量問題,我認為這是近年我所知道最大的突破,這個問題的應用無限多,從排班到圖形辨識都能用,我猜 NVIDIA 很快就要弄一顆算最大流量的GPU,股票又要上翻了。也許人家早就做出來了。
我也很高興感受到理論電腦暫時還不會消失,繼續研究算法,繼續指出哪個方向是理論上可行,哪個方向不可行,研究者與業界必須很清楚。
我會讓我的美國學生看這場演講。超棒,生為台灣人超得意。
揚昇法律專利事務所
同意,量子運算的emulator沒有什麼意義,其他的感想如下。
1、AI平行處理的任務化,難的是軟體需要重新寫作,CUDA函數館大幅簡化與標準化此一改寫作業:
線型的Von Neumann架構中央處理器,只能一步一步的執行指令,直到程式結束,GPU或DSP出現,就是能「平行處理」對於螢幕上每一個畫素(pixel)或資料庫裡面每一個資料的同樣運算(例如將各個畫素跟相鄰的8個畫素做平均),來大幅加速圖形運算與顯示的速度。所以,黃仁勳一直強調他只是放大了原始的GPU概念,nVidia只是提供了更快更好的GPU給客戶使用而已。
所謂AI加速器,就是將這一概念推廣,將使用者輸入的一件任務的程式,拆解成許多子任務,同時將其各式組合交給各個AI加速器單元去進行「平行運算」,再挑選其中最佳解,然後提供使用者該答案,然後再依據使用者的進一步指示,逐步完善與修正其答案。
這個加速運算的過程中,最難的是將線性的軟體,將其任務拆解與平行化的改寫,而nVidia已經藉由提出CUDA函式庫,將此一過程簡化與標準化了,它現在就可以提供了多達350個,經過預訓練而具備各個領域知識(domain Knowledge)的各式CUDA函數庫與NIM,方便各個領域的專家/公司使用其來再精進其各自的AI實際應用(自動倉儲,藥品研發,自駕車等)。
另外,黃仁勳的第一個展示是失敗的,沒有講出重點,螢幕左方是上一代AI加速器(Harper)在做自動程式除錯與產生器,而螢幕右方是用這一代(Blackwell) AI加速器做同一件工作,你可以看到幾乎瞬間,大概一秒,螢幕右方新一代的(Blackwell)AI加速器就完成此工作了,而左方的上一代(Harper)AI加速器,到黃仁勳受不了而關掉前,只跑到2%的進度。這個加速是達到nVidia所宣稱的35倍加速,並沒有錯!
2、生成式(generative)AI,從單純的工具提昇為能聽得懂你的意圖也能跟你對話與不斷修正其執行結果的工作夥伴:
如黃仁勳所正確描述的,由於算力的大幅增加,以前看起來沒有什麼用的深層學習與類神經網路技術,現在變成了經過巨量資料預訓練而具備基本物理與社會知識,還有某專門領域的廣泛知識,且能夠與人以自然語言互動的生成式(有產出能力的)AI,這是人類第一次有機會不是使用工具,而是得到一個可以能聽得懂你的意圖也能跟你對話與不斷修正其執行結果的工作夥伴,而且他不會抱怨也不會偷懶(但這點還要再研究,因為ChatGPT 4.0已經被證實會抱怨與偷懶),這個對於工作效率的提升,快速聚焦於最佳方案,提前推出有用(能賺錢或省錢)的應用,減少無效研究的浪費,也是功德無量。
3、nVidia的NIMs,已經可以自己分拆任務,自己排程與檢核,互相溝通與競爭,來完成交付的任務了:
在展示中,最讓我覺得震撼的,是黃仁勳提到nVidia所提供的各專門領域的NIMs,已經可以自己分拆任務,自己排程與檢核,互相溝通與競爭,來完成交付的任務了,這是軟體研發經理的天堂呀!都不要再理會這些難搞又懶惰的程式設計師了,找NIMs自己做就行了。

所以,最先失業的,是能力普通到能力低劣的程式設計師,而頂尖高手是永遠很搶手的。因此,能力低劣的程式設計師要趕快轉職改行,能力普通的程式設計師,要趕快學習生成式AI,並應用在自己的工作上,好加速提昇自己的程式寫作能力。
4、機器人的定義要改寫,人類的形象適合溝通,但各種專門領域,有適合其形象的機器人:
凡具備與人類溝通的能力,能夠自我改善與學習,完成任務的生成式AI軟硬體系統,都是機器人。
再說一次,黃仁勳的keynote speech ,非常值得一看!

2024年5月30日 星期四

憲法法庭將會宣告立院擴權違憲!

憲法法庭將會宣告立院擴權違憲!

先不要說這次立法院修法擴權,是明顯與重大的侵害監察院與司法院賴以存在的憲法制度設計,又破壞權力分立與互相制衡的憲法基本原則(參註1),假借查弊之名架空司法權,將立法院變成東廠(參註2),「當然違憲!」,單單就這次立院修法與三讀通過過程,就有多處明顯重大的違反程序正義的「當然違憲」行為(詳註3),所以憲法法庭會宣告違憲,是理所當然,而無庸置疑之事,大家看著吧。

註1:報呱 Pourquoi.tw :「立法院昨天三讀通過修正立法院職權行使法部分條文。針對立法院擴權法案,本篇整理相關聲明,截至今日共有監察院、國家人權委員會、公民團體以及法界人士,都發表聲明譴責。並針對職權與關注面向不同,譴責本次立院擴權法案。」

「120位法學者與律師公會見解一致,且30位國際學者聲明藍白擴權不符程序正義、內容違憲。今天200位律師也連署發聲。」 全文連結:https://www.cna.com.tw/news/aipl/202405310060.aspx

另參《https://www.facebook.com/share/p/7Qvt7YV95oA1BXfW/》,此文作者張權先生,以條列方式簡要的將立院擴權五法為什麼一定會違憲說明得很清楚。

註2:@Taiwandreamer:「釋字第633號解釋明確說明,國會調查權不是司法調查權。然而,藍白每個立委都公開喊說「查弊案」,調查弊案從來就都不是立法院的職權,如果你們真的想查弊案,可以去考司法官。
這樣的修法最大的問題是什麼?就是立委可以毫無節制地行使類似於司法的權力,他可以用「查弊案」之名,恣意傳喚政府人員、平民或企業到立法院配合他「查案」,把被傳喚人未審先判作為潛在的犯罪行為人。更誇張的是,在調查程序的保障,遠低於司法程序,除了辯護權不受保障,主席的決定更是一切。
除了拿來架空司法之外,也可以拿來作為打擊異己,或是欺壓民間企業的工具。不僅是大家擔心的營業秘密問題,另假設立委不爽某企業捐政治獻金給對手,是不是也可以叫負責人來立院讓他調查,以收恫嚇之效?這就是一部如此離譜的法律,惡法被惡人使用,將更加恐怖。」
註3:來自沃草 Watchout ,關於立院擴權五法之修法程序的明顯重大不遵守程序正義之整理文:「
🚩藍白「國會擴權」法案怎麼通過的?程序一路惹爭議!
━━看全文:https://waa.tw/QBh72b
藍白「國會擴權」法案成最壞示範 程序爭議不斷《沃草》懶人包一次看/沃草
WATCHOUT.TW
藍白「國會擴權」法案成最壞示範 程序爭議不斷《沃草》懶人包一次看/沃草

2024年5月10日 星期五

VISA使用AI模型來自動偵測信用卡交易是否涉及詐欺/洗錢。

任何銀行都不可能把客戶與交易資料外流到雲端運用,因為這一定是違法的,敢這樣做的銀行會被罰到關門,也會被擠兌倒閉。這是銀行監理的最基本原則,銀行一定要對客戶與交易資料保密,雙方之間才有信任(trust),你才會放心把錢放到銀行,信任它不會拿去亂搞,或領不出來。

所以任何金融業的AI運用,一定是先把AI模型訓練好(VISA擁有最龐大的實際信用卡交易資訊,所以它能做好訓練),然後將該AI模型,在銀行本身所設的機房裡的AI伺服器上,運用在該銀行本身客戶的實際信用卡交易上,來即時判斷是否牽涉到詐欺/洗錢,發出警報,然後由人工來進行審查與處理。

在維持同樣的正確警報率的情況下,VISA做的這AI模型還能降低自動監測信用卡交易,是否涉及詐欺/洗錢的誤警率85%,這是很大的成就,而且應該隨著運用的銀行增多,在隱去客戶個資後,所回饋的實際案例,就可以成為VISA後續的訓練資料,因此這AI模型就會越來越準,也會越少誤警。

當然,各銀行可以自行使用該銀行的實際交易資料再訓練與精進該AI模型,而不回饋訓練資料給VISA,把所得的精進版AI模型列為各銀行的營業秘密來保護。這是因為VISA僅負責進行信用卡交易的國際清算,而各國的國內信用卡與各銀行的客戶交易習慣其實都有所不同,在判斷該筆信用卡交易是否是詐欺/洗錢上,各銀行是可以各自努力的。

Visa使用150億筆交易資料訓練了一個生成式AI模型,比舊的風險模型降低85%誤報率,去年Visa鎖住400億美元詐欺風險交易,但沒說有多少是誤判(正常交易被誤判為詐欺而鎖住)
這個AI模型將先交給美國地區金融機構客戶,就是說,模型由Visa訓練training,交給千百家美國銀行客戶執行交易時推論inference,顯然(貼文沒說),基於刷卡交易的低延遲和機密資料需求,這一定是由銀行端的AI server做本地推論,不可能用雲端推論
模型一定有進步空間
(1)詐欺誤放率和正常誤判率兩個機率都一定可以不斷改進,通常一個低另一個就高,兩者都要越低越好,如果貼文所說降低正常誤判率85%時仍能維持相等的詐欺誤放率,那是很大的改進
(2)這類就是AI應用最期待的攸關競爭力不可或缺(相對有些應用可有可無或純省錢)的應用,發卡銀行中間,Visa和Master,AE等系統之間的競爭,而且銀行也不一定要用發卡系統商的模型,同理也可以訓練自己更好的模型增強自身競爭力
(3)貼文沒說模型大小,不知道適合那種推論型AI server,但這是企業端的需求,不是雲端Hyperscaler需求,每家銀行可能都需要一套
摘錄Google翻譯
"新的人工智慧工具可以學習持卡人的交易模式,並識別他們的正常和異常消費習慣。該工具會根據詐欺的可能性,在大約四毫秒內自動為支付分配風險評分,標記可能是攻擊的交易。
該工具接受了超過 150 億筆交易的訓練。它透過將交易與歷史枚舉模式進行比較來產生分數,使模型能夠預測購買實際上是枚舉攻擊的可能性。
Visa 表示,與其他風險模型相比,該工具將誤報詐欺偵測率降低了 85%。"