AI 大模型背后的驚人數(shù)字：問 ChatGPT 5 個問題，耗水 500 毫升？訓(xùn)練一次 GPT-3，碳排放量相當(dāng)于開車往返月球？
發(fā)布時間：2023-09-21 15:25:26
近日，外媒報道稱，微軟用于支持 OpenAI 的技術(shù)設(shè)施需要大量用水，這些水抽取自愛荷華州中部浣熊河和得梅因河的分水嶺處，被用于冷卻一臺強(qiáng)大的超級計算機(jī)。一份研究顯示，ChatGPT 這類 AI 大模型耗水量驚人：用戶每向 ChatGPT 提出 5-50 條提示詞或問題，ChatGPT 就會消耗掉 500 毫升的水。
問 ChatGPT 5-50 個問題，耗水 500 毫升
日前，微軟在其最新環(huán)境報告中透露，從 2021 年到 2022 年，公司全球設(shè)施用水量猛增了 34%（達(dá)到近 17 億加侖，相當(dāng)于 2500 多個奧運會級別的賽級泳池）。這個數(shù)字遠(yuǎn)遠(yuǎn)高于幾年前外部研究人員的統(tǒng)計，而背后的驅(qū)動力量自然就是 AI 構(gòu)建的需求。
對此，加州大學(xué)河濱分校研究員 Shaolei Ren 表示，“可以合理推斷，（用水量）大部分增長要歸功于 AI”，包括“對生成式 AI 的大量投入以及同 OpenAI 公司的合作?！?/p>
谷歌報告稱用水量同比增長了 20%，Ren 認(rèn)為這很大程度上也源自 AI 研究需求。當(dāng)然，谷歌的用水量增長并不均勻——其俄勒岡州基礎(chǔ)設(shè)施的用水量保持穩(wěn)定，但拉斯維加斯周邊地區(qū)的用量則翻了一番。愛荷華州同樣成為用水大戶，谷歌在這里的康瑟爾布拉夫斯數(shù)據(jù)中心消耗的水資源比其他任何地方都要多。
在即將于今年晚些時候發(fā)表的論文中，Ren 研究團(tuán)隊估計用戶每向 ChatGPT 提出 5-50 條提示詞或問題，ChatGPT 就會消耗掉 500 毫升的水（具體數(shù)字取決于基礎(chǔ)設(shè)施所在位置和季節(jié)氣候）。這一估算還未包含未經(jīng)測量的間接用水，例如數(shù)據(jù)中心冷卻電力所對應(yīng)的發(fā)電耗水。
Ren 表示，“大多數(shù)人并不清楚 ChatGPT 的資源消耗情況。但如果我們不了解資源用量，就沒辦法幫助節(jié)約資源。”
據(jù)了解，微軟于 2019 年向總部位于舊金山的 OpenAI 劃撥了首筆 10 億美元投資。隨后，OpenAI 正式發(fā)布了 ChatGPT。作為合作協(xié)議的一部分，微軟負(fù)責(zé)為 OpenAI 提供 AI 模型訓(xùn)練所需要的算力。
為了踐行承諾，兩家公司紛紛將目光投向愛荷華州的西得梅因——十多年來，這座擁有 6.8 萬人口的市鎮(zhèn)一直是微軟的數(shù)據(jù)中心聚集地，負(fù)責(zé)為其云計算服務(wù)提供支持。微軟的第四和第五處數(shù)據(jù)中心將于今年晚些時候在這里開放。
據(jù)了解，一年中的大部分時間里，愛荷華州當(dāng)?shù)氐臍夂蚨枷喈?dāng)涼爽，微軟可以直接利用室外空氣來保持超級計算機(jī)正常運行，并將產(chǎn)生的熱量直接排放出去。該公司在一份披露報告中表示，只有在溫度超過 29.3 攝氏度時，他們才需要切換為水冷模式。
但即便如此，當(dāng)?shù)卦O(shè)施在夏天的用水量仍然相當(dāng)驚人。據(jù)西得梅因水廠介紹，2022 年 7 月，也就是 OpenAI 正式完成 GPT-4 訓(xùn)練的前一個月，微軟向其愛荷華州數(shù)據(jù)中心集群泵入約 1150 萬加侖的水，約占該地區(qū)總用水量的 6%。
2022 年，該水廠的一份文件提到，除非微軟能夠“證明并落實能夠顯著降低峰值期用水量的技術(shù)”，否則該公司及當(dāng)?shù)卣畬⒉辉佟翱紤]批準(zhǔn)微軟未來的數(shù)據(jù)中心項目”。因為只有這樣，他們才能保障當(dāng)?shù)刈≌推渌虡I(yè)運營的供水需求。
微軟表示，他們正與水廠直接合作以解決對方反饋的問題。水廠方面則通過書面聲明指出，微軟一直是其良好合作伙伴，也始終在與當(dāng)?shù)毓賳T合作，探討如何在滿足需求的同時減少水資源消耗。
大模型的碳排放量有多少？
除了能源消耗，ChatGPT 這類 AI 大模型的碳排放量也曾引發(fā)大眾擔(dān)憂。此前曾有計算機(jī)科學(xué)家稱，GPT-3 整個訓(xùn)練周期的碳排放量，相當(dāng)于開車到月球再返回地球；GPT-3 一輪訓(xùn)練所消耗的電量，足以支撐丹麥 126 個普通家庭度過一整年。
做出這一猜測的專家來自丹麥哥本哈根大學(xué)，他們開發(fā)出名為 Carbontracker 的開源工具，用于預(yù)測 AI 算法的碳足跡。Carbontracker 估計，微軟數(shù)據(jù)中心內(nèi)使用英偉達(dá) GPU 構(gòu)建的神經(jīng)超級網(wǎng)絡(luò)運行功率約為 19 萬千瓦時，如果按照美國的平均碳排放水平計算，這將產(chǎn)生 8.5 萬公斤（85 噸）的二氧化碳，相當(dāng)于 2017 年制造一輛新車所產(chǎn)生的排放量。這樣的排放量相當(dāng)于車輛在歐洲行駛 80 萬公里，基本相當(dāng)于開車到月球再返回地球的總行駛距離。
Carbontracker 的創(chuàng)造者之一、AI 電力消耗研究論文聯(lián)合作者 Lasse Wolff Anthony 認(rèn)為，社區(qū)必須認(rèn)真對待資源消耗問題。文章提到，從 2012 年到 2018 年之間，AI 研究的能源成本增長了約 30 萬倍。
Anthony 在采訪中表示，“二氧化碳估值是根據(jù)模型訓(xùn)練期間，當(dāng)?shù)匕l(fā)電的平均碳排放量再加上運行模型的硬件總功耗所計算得出?！薄拔覀兺ㄟ^多個 API 來跟蹤碳排放強(qiáng)度。如果模型訓(xùn)練所在地區(qū)沒有 API 可用時，我們則會默認(rèn)取歐洲平均值，因為目前還沒有免費開放的全球監(jiān)測數(shù)據(jù)。這些 API 會在訓(xùn)練期間定期查詢硬件能耗，以準(zhǔn)確估算總體碳足跡?！?/p>
當(dāng)然，上述結(jié)果的前提是假設(shè)訓(xùn)練 GPT-3 的數(shù)據(jù)中心完全依賴于化石燃料，這跟實際情況可能有所出入。
有分析認(rèn)為，當(dāng)前大模型的碳排放量可能被嚴(yán)重夸大。事實上，全球科技行業(yè)占總體溫氣體排放量的比例僅為 1.8%-3.9%，而其中又只有一小部分與 AI 相關(guān)。在規(guī)模層面，AI 的碳排放還遠(yuǎn)無法與航空等其他主要碳源頭相提并論。相較于隨時運行的汽車和飛機(jī)，訓(xùn)練 GPT 這類模型所對應(yīng)的碳排放量絕對稱不上主要矛盾。
相較于隨時運行的汽車和飛機(jī)，訓(xùn)練 GPT 這類模型所對應(yīng)的碳排放量絕對稱不上主要矛盾。
誠然，目前我們并不清楚到底有多少大 AI 模型正在訓(xùn)練當(dāng)中，但如果只考慮 GPT-3 或其他規(guī)模更大的模型，那么此類模型成果總計還不到 1000 個。這里我們可以做個簡單計算：
最近一項評估認(rèn)為，訓(xùn)練 GPT-3 排放了 500 噸二氧化碳，Meta 的 Llama 模型則估計排放 173 噸。如果訓(xùn)練 1000 個這樣的模型，那么總二氧化碳排放量約為 50 萬噸。2019 年，商業(yè)航空業(yè)排放了約 9.2 億噸二氧化碳，幾乎是大語言模型訓(xùn)練的 2000 倍。而且要注意，這是一年的航空業(yè)運營對比多年來的大語言模型訓(xùn)練。雖然后者的環(huán)境影響值得關(guān)注，但過度夸大明顯有違客觀公平，需要更細(xì)致地斟酌考量。
當(dāng)然，這里討論的還只是模型訓(xùn)練階段。模型的運行和使用同樣要消耗電力并產(chǎn)生相關(guān)排放。根據(jù)一項分析，ChatGPT 運行一年可能會排放約 1.5 萬噸二氧化碳。但另一項分析結(jié)果則樂觀得多，認(rèn)為約在 1400 噸左右。但無論取哪個數(shù)字，雖然沒有低到忽略不計的程度，但與航空業(yè)相比仍有幾個數(shù)量級的差距。
需要強(qiáng)調(diào)的是，問題的重點并不在于探索 GPT-3 這類大模型的碳足跡，而是希望引起人們對于訓(xùn)練先進(jìn)神經(jīng)網(wǎng)絡(luò)所消耗的巨量資源的關(guān)注。
目前，不少企業(yè)已開始重視能源消耗和環(huán)境污染問題，并在制定相應(yīng)解決方案。微軟在一份聲明中稱，正在資助研究以測量 AI 開發(fā)所對應(yīng)的能耗和碳足跡，“同時致力于提升大語言模型系統(tǒng)的訓(xùn)練和應(yīng)用效率?！?/p>
微軟表示，“我們將繼續(xù)監(jiān)測自身排放、加快進(jìn)展，同時更多使用清潔能源為數(shù)據(jù)中心供電、采購可再生能源，借此實現(xiàn)到 2030 年的碳負(fù)排放、水資源正循環(huán)和零浪費的可持續(xù)發(fā)展目標(biāo)。”
OpenAI 也回應(yīng)了這些評論，稱正“認(rèn)真考慮”如何更好地運用寶貴算力?！拔覀円庾R到訓(xùn)練大模型可能會消耗電力和水資源”，因此正在努力提高效率。”
需要建立透明的排放制度
隨著 AI 系統(tǒng)的不斷開發(fā)和應(yīng)用，我們的確需要關(guān)注它對環(huán)境的影響。除了傳統(tǒng)上行之有效的實踐之外，我們還應(yīng)探索出特定于生成式 AI 的減排思路。
首先，透明排放將至關(guān)重要。有了這種透明度保障，我們才能監(jiān)控與 AI 模型訓(xùn)練和使用相關(guān)的碳排放量，確保模型部署者和最終用戶能夠根據(jù)這些數(shù)字制定 AI 使用策略。此外，還應(yīng)將 AI 相關(guān)排放納入溫室氣體清單與凈零目標(biāo)，將此作為 AI 整體透明制度的組成部分。
法國最近就通過一項法律，要求電信企業(yè)提交關(guān)于其可持續(xù)發(fā)展的透明度報告。類似法律未來可能要求采用 AI 技術(shù)的產(chǎn)品向客戶報告其碳排放量，并要求模型提供商通過 API 開放碳排放數(shù)據(jù)。
更高的透明度將會帶來更強(qiáng)有力的激勵措施，借此建立起愈發(fā)節(jié)能的生成式 AI 系統(tǒng)，同時探索新的效率提升途徑。InfoQ 最近發(fā)表的一篇文章提到，微軟高級軟件工程師 Sara Bergman 呼吁人們關(guān)注 AI 系統(tǒng)的整個生命周期，并建議采用綠色軟件基金會提出的工具和實踐以改善 AI 系統(tǒng)的能源效率。具體條款包括認(rèn)真考量服務(wù)器硬件與架構(gòu)選擇、關(guān)注時間/區(qū)域間的發(fā)電排碳量差異等。更重要的是，生成式 AI 本身也有望在提高能效當(dāng)中做出獨特的貢獻(xiàn)。
