Google: ustvarjanje besedila z LLM letos že 33-krat manj potratno kot lani

Google je izdal krajše poročilo o okoljskih vplivih umetne inteligence, v katerem so ocenili tudi porabo energije za ustvarjanje besedila z velikimi jezikovnimi modeli. Čeprav celokupna poraba električne energije raste, je to posledica večje razširjenosti modelov, medtem ko posamezne poizvedbe porabijo čedalje manj energije. V letu dni se je potratnost poizvedb znižala za 33-krat, so ugotovili. Energija se ne troši le za delovanje čipov, na katerih teče veliki jezikovni model, temveč tudi za podporni infrastrukturi. To so tako drugi deli strojne opreme, kot pomnilnik, shranjevanje podatkov in prenos podatkov, kot tudi hlajenje, transformatorji in ostalo. Google ocenjuje, da ena poizvedba v Geminiju potroši 0,24 Wh električne energije, kar ustreza nekaj sekundam dela na prenosnem računalniku. Temu pripada ogljični odtis 0,03 grama CO2 in 0,26 mililitra porabe vode. Razčlemba po podatkovnem centru pa pokaže, da 58 odstotkov energije porabijo delujoči čipi za AI, 24 odstotkov pomnilnik in centralne procesorske enote, 10 odstotkov računalniki brez aktivnih nalog (idle), osem odstotkov pa podporna infrastruktura. Google se trudi še naprej zmanjšati porabo energije, so dodali, k čemur sodi tudi razvoj bolj specializiranih modelov za posamezne naloge, ki so lahko manjši. [st.slika 75745][st.slika 75746]