最大CLIP！LAION发布CLIP的扩增定律

2022-12-24 23:17:33 来源：

(相关资料图)

点蓝色字关注“机器学习算法工程师”

设为星标，干货直达！

近日，LAION等机构在Reproducible scaling laws for contrastive language-image learning发布了CLIP的扩增定律（scaling law），其中最大的CLIP为ViT-H/14，基于LAION-2B数据集训练，可以在ImageNet1K数据集上到78.0%的zero-shot准确度，性能超过OpenAI目前开源的CLIP L/14，和Meta AI的FLIP Huge模型性能相当，但是模型已经开源在https://github.com/LAION-AI/scaling-laws-openclip。

论文的实验采用开源数据集LAION-400M和LAION-2B数据集，训练框架采用开源的OpenCLIP，所以论文的实验是可以复现的。

训练在1520 NVIDIA A100 GPUs上进行，采用PyTorch DDP分布式训练策略，采用混合精度（但是fp16会不稳定，所以采用bf16，或者基于TF32的float32），训练的batch size在 86-88K之间。

实验的总体结论是：扩增定律也明显适用CLIP，当扩增模型，训练数据和算力时，模型在下游任务上有一致性的提升。但是不同的训练数据集表现出不同的扩增系数：OpenCLIP的模型（基于LAION-2B数据集）在图文检索任务上有较大的扩增系数，而OpenAI CLIP模型（基于私有的WebImageText 400M数据集）在zero-shot分类任务上有较强的扩增系数。

这个结论和FLIP的结论比较吻合，这说明训练数据集对CLIP的性能确实有比较大的影响。用论文结论的一句话来说就是：Scaling behavior depends on task type and pre-training dataset。

更多内容可见论文：https://arxiv.org/abs/2212.07143

标签：

(责任编辑：)

最大CLIP！LAION发布CLIP的扩增定律

相关文章

摩洛哥地震遇难人数已升至632人，还有329人受伤

1983年4月，挪威海军对外宣称，他们决定将那艘侵入领海的潜艇彻

摩洛哥地震已致296人死亡，另有153人不同程度受伤

外资疯狂撤离新台币又贬　最低创十个月新低

2023年09月09日(10至14公斤)仔猪价格行情走势

淋浴房玻璃水垢清除妙方（淋浴房玻璃上的水垢清洗妙招）

时政微视频丨瞰黑龙江

货物物流货运平台）

今日待机时间长的安卓手机排名（有没有待机时间长的安卓手机）

象冢课文象冢

2023年9月8日上海市异氟尔酮价格最新行情预测

交汇点调查｜什么？新疆也产大螃蟹？还打进了江苏市场？背后究竟有怎样的故事

吉县农商银行：红苹果挑起服务三农的金扁担

江西省交通运输执法局：小型船舶检验新模式让便民服务更高效（图）

郑州开辟高速与路政、交警“无缝对接”道路管控模式

掘金全队2K24能力值：约基奇98 穆雷88 戈登84 小波特83

刚刚，华为官宣：华为Mate60Pro+ 华为MateX5正式开启预订！有这几款配置，速看......

2023全国家居焕新消费季暨上海家居消费节正式启动

河南汉服爱好者演绎海外流失文物“归乡” 与河南博物院的“兄弟姐妹”跨时空重逢

这两个风口行业，你喜欢哪个？

杭州地铁四期站点分布草案公示萧山南部八镇首通地铁

全球最大乐高乐园主供电源工程开工

欧冠抽签：拜仁PK曼联，巴黎多特米兰纽卡死亡之组，曼城巴萨好签！

基本情绪有哪些政治基本情绪有哪些

2023年8月31日线材价格最新行情预测

鲲鹏此日乘风起红小学子扬帆行——红山根小学2023年秋季开学典礼暨一年级新生入学仪式

股价暴跌44%！市值一夜蒸发6050亿元！越南造车新势力被“打回原形”？

四川省第十四届人民代表大会常务委员会任命名单

河南9名金融机构高管任职资格获批

影坛不乏新人出头，独挑大梁尚需时日，香港新演员如今从哪来？

热门文章

热点排行