ChatGPT jest drogi w utrzymaniu. Już trwają prace, żeby to zmienić.
ChatGPT szybko stał się sensacją ostatnich miesięcy. Wszyscy o nim mówią, a jego możliwości wciąż rosną. Jednak czy zastanawialiście, jaki jest koszt jego codziennego utrzymania? Okazuje się, że są to ogromne sumy.
Według badań przeprowadzonych przez SemiAnalysis, OpenAI wydaje codziennie niemal 700 tys. dolarów, żeby utrzymać chatbota. Szacuje się, że system składa się z ponad 3600 serwerów HGX A100 zawierających 28936 procesorów graficznych, a koszt jednego zapytania wynosi około 0,36 centa.
Szacunki oparte są o analizę modelu GPT-3, ale OpenAI wdrożyło już wersję GPT-4, dostępną dla subskrybentów, która może być jeszcze droższa.
Jednym z głównych powodów tak dużych kosztów są energochłonne specjalistyczne układy scalone wymagane do obsługi systemu. Microsoft, jeden z najważniejszych udziałowców OpenAI, pracuje nad własnym chipem SI o nazwie Athena, który mógłby zastąpić procesory graficzne NVIDIA i drastycznie obniżyć koszty eksploatacji ChatGPT.