Вычислительная мощность услуг: новая бизнес-модель в эпоху больших моделей
Требования к вычислительной мощности для обучения больших моделей способствуют тому, что вычислительная мощность становится новой бизнес-моделью. Хотя текущая волна "алхимии" больших моделей может утихнуть, поставщикам вычислительной мощности необходимо заранее подготовиться к изменениям в рыночном спросе.
Недавно исследователи использовали данные о погоде за 40 лет по всему миру и провели предобучение на 200 графических процессорах (GPU) в течение примерно 2 месяцев, в результате чего был создан большой метеорологический модель с количеством параметров в миллиарды. Если учитывать стоимость использования GPU в 7.8 юаней в час, стоимость обучения этой модели в узкой области может превысить 2 миллиона юаней. Если бы речь шла о обучении универсальной модели, стоимость могла бы увеличиться в сто раз.
В настоящее время в Китае существует более ста крупных моделей с масштабом в 10 миллиардов параметров. Однако, стремясь разработать крупные модели, отрасль сталкивается с нехваткой высокопроизводительных графических процессоров. Высокие затраты на вычислительную мощность и нехватка вычислительной мощности и средств становятся самой насущной проблемой для отрасли.
Проблема нехватки высококачественных GPU в краткосрочной перспективе трудно решаема. Взрывной рост больших моделей привел к быстрому увеличению спроса на вычислительную мощность, но темпы роста предложения значительно отстают. Хотя в долгосрочной перспективе предложение вычислительной мощности обязательно перейдет из рынка продавцов на рынок покупателей, остается неизвестным, сколько времени займет этот процесс.
С учетом этой ситуации, в отрасли широко считается, что с усилением конкуренции на рынке крупных моделей рынок постепенно вернется к рациональности, а компании будут контролировать затраты и корректировать стратегии в соответствии с изменениями ожиданий.
Для борьбы с нехваткой вычислительной мощности компании применили различные методы:
Используйте данные более высокого качества для обучения, чтобы повысить эффективность обучения.
Повышение инфраструктурных возможностей для обеспечения стабильной работы крупномасштабных кластеров GPU.
Оптимизация распределения ресурсов вычислительной мощности, повышение коэффициента использования ресурсов.
Улучшение сетевой производительности, повышение эффективности масштабного распределенного обучения.
Переход от облачной архитектуры к суперкомпьютерной архитектуре, снижение затрат.
Использование отечественной платформы для обучения и вывода больших моделей, заменяя GPU от NVIDIA.
Вычислительная мощность уже на рынке спроса и технологической итерации постепенно сформировала новую модель обслуживания. Служба вычислительной мощности основана на разнообразной вычислительной мощности, связана сетью вычислительной мощности и направлена на эффективное обеспечение вычислительной мощности. Она включает не только вычислительную мощность, но и унифицированно упаковывает такие ресурсы, как хранилище, сеть и другие, в форме обслуживания (, например, API ) для выполнения доставки вычислительной мощности.
В цепочке поставок вычислительной мощности upstream компании в основном поставляют базовые ресурсы вычислительной мощности, компании среднего звена отвечают за производство и поставку вычислительной мощности, а downstream компании зависят от услуг вычислительной мощности для предоставления добавленной стоимости. Эта модель более выгодна по затратам и технологиям по сравнению с созданием собственных вычислительных сред предприятиями.
С учетом нормализации высокопроизводительных вычислительных требований крупных моделей, вычислительная мощность быстро формирует уникальную промышленную цепочку и коммерческую модель. Хотя в настоящее время все еще существуют проблемы нехватки высококлассных графических процессоров и высоких затрат на вычислительную мощность, в долгосрочной перспективе тенденция к вычислительной мощности как услуге уже установлена. Провайдеры вычислительной мощности должны быть всегда готовы своевременно корректировать свою стратегию в ответ на изменения рыночного спроса.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
8 Лайков
Награда
8
6
Репост
Поделиться
комментарий
0/400
FOMOSapien
· 4ч назад
Король сжигания денег пришел
Посмотреть ОригиналОтветить0
SignatureVerifier
· 4ч назад
*вздох* технически говоря, еще один несостоятельный вычислительный пузырь, смх
Вычислительная мощность сервисов на подъеме: новые возможности и вызовы эпохи больших моделей
Вычислительная мощность услуг: новая бизнес-модель в эпоху больших моделей
Требования к вычислительной мощности для обучения больших моделей способствуют тому, что вычислительная мощность становится новой бизнес-моделью. Хотя текущая волна "алхимии" больших моделей может утихнуть, поставщикам вычислительной мощности необходимо заранее подготовиться к изменениям в рыночном спросе.
Недавно исследователи использовали данные о погоде за 40 лет по всему миру и провели предобучение на 200 графических процессорах (GPU) в течение примерно 2 месяцев, в результате чего был создан большой метеорологический модель с количеством параметров в миллиарды. Если учитывать стоимость использования GPU в 7.8 юаней в час, стоимость обучения этой модели в узкой области может превысить 2 миллиона юаней. Если бы речь шла о обучении универсальной модели, стоимость могла бы увеличиться в сто раз.
В настоящее время в Китае существует более ста крупных моделей с масштабом в 10 миллиардов параметров. Однако, стремясь разработать крупные модели, отрасль сталкивается с нехваткой высокопроизводительных графических процессоров. Высокие затраты на вычислительную мощность и нехватка вычислительной мощности и средств становятся самой насущной проблемой для отрасли.
Проблема нехватки высококачественных GPU в краткосрочной перспективе трудно решаема. Взрывной рост больших моделей привел к быстрому увеличению спроса на вычислительную мощность, но темпы роста предложения значительно отстают. Хотя в долгосрочной перспективе предложение вычислительной мощности обязательно перейдет из рынка продавцов на рынок покупателей, остается неизвестным, сколько времени займет этот процесс.
С учетом этой ситуации, в отрасли широко считается, что с усилением конкуренции на рынке крупных моделей рынок постепенно вернется к рациональности, а компании будут контролировать затраты и корректировать стратегии в соответствии с изменениями ожиданий.
Для борьбы с нехваткой вычислительной мощности компании применили различные методы:
Используйте данные более высокого качества для обучения, чтобы повысить эффективность обучения.
Повышение инфраструктурных возможностей для обеспечения стабильной работы крупномасштабных кластеров GPU.
Оптимизация распределения ресурсов вычислительной мощности, повышение коэффициента использования ресурсов.
Улучшение сетевой производительности, повышение эффективности масштабного распределенного обучения.
Переход от облачной архитектуры к суперкомпьютерной архитектуре, снижение затрат.
Использование отечественной платформы для обучения и вывода больших моделей, заменяя GPU от NVIDIA.
Вычислительная мощность уже на рынке спроса и технологической итерации постепенно сформировала новую модель обслуживания. Служба вычислительной мощности основана на разнообразной вычислительной мощности, связана сетью вычислительной мощности и направлена на эффективное обеспечение вычислительной мощности. Она включает не только вычислительную мощность, но и унифицированно упаковывает такие ресурсы, как хранилище, сеть и другие, в форме обслуживания (, например, API ) для выполнения доставки вычислительной мощности.
В цепочке поставок вычислительной мощности upstream компании в основном поставляют базовые ресурсы вычислительной мощности, компании среднего звена отвечают за производство и поставку вычислительной мощности, а downstream компании зависят от услуг вычислительной мощности для предоставления добавленной стоимости. Эта модель более выгодна по затратам и технологиям по сравнению с созданием собственных вычислительных сред предприятиями.
С учетом нормализации высокопроизводительных вычислительных требований крупных моделей, вычислительная мощность быстро формирует уникальную промышленную цепочку и коммерческую модель. Хотя в настоящее время все еще существуют проблемы нехватки высококлассных графических процессоров и высоких затрат на вычислительную мощность, в долгосрочной перспективе тенденция к вычислительной мощности как услуге уже установлена. Провайдеры вычислительной мощности должны быть всегда готовы своевременно корректировать свою стратегию в ответ на изменения рыночного спроса.