您现在的位置： 主页 资讯 > 正文

当前热议!最大CLIP！LAION发布CLIP的扩增定律

来源：2022-12-22 21:28:08    时间：


【资料图】

点蓝色字关注“机器学习算法工程师”

设为星标，干货直达！

近日，LAION等机构在Reproducible scaling laws for contrastive language-image learning发布了CLIP的扩增定律（scaling law），其中最大的CLIP为ViT-H/14，基于LAION-2B数据集训练，可以在ImageNet1K数据集上到78.0%的zero-shot准确度，性能超过OpenAI目前开源的CLIP L/14，和Meta AI的FLIP Huge模型性能相当，但是模型已经开源在https://github.com/LAION-AI/scaling-laws-openclip。

论文的实验采用开源数据集LAION-400M和LAION-2B数据集，训练框架采用开源的OpenCLIP，所以论文的实验是可以复现的。训练在1520 NVIDIA A100 GPUs上进行，采用PyTorch DDP分布式训练策略，采用混合精度（但是fp16会不稳定，所以采用bf16，或者基于TF32的float32），训练的batch size在 86-88K之间。实验的总体结论是：扩增定律也明显适用CLIP，当扩增模型，训练数据和算力时，模型在下游任务上有一致性的提升。但是不同的训练数据集表现出不同的扩增系数：OpenCLIP的模型（基于LAION-2B数据集）在图文检索任务上有较大的扩增系数，而OpenAI CLIP模型（基于私有的WebImageText 400M数据集）在zero-shot分类任务上有较强的扩增系数。这个结论和FLIP的结论比较吻合，这说明训练数据集对CLIP的性能确实有比较大的影响。用论文结论的一句话来说就是：Scaling behavior depends on task type and pre-training dataset。更多内容可见论文：https://arxiv.org/abs/2212.07143

关键词：

上一篇：

下一篇：

文章推荐

  • 当前热议!最大CLIP！LAION发布CLIP的扩增定律

    点蓝色字关注“机器学习算法工程师”设为星标，干货直达！近日，LAION等机构在Reproduciblescalinglawsforcontrastive

    2022-12-22

  • 一图读懂中国电信2023年度工作会:世界聚看点

    一图读懂中国电信2023年度工作会,12月19日至21日中国电信集团有限公司2023年度工作会在京召开今天为您一图解读

    2022-12-22

  • 每日时讯!【科学的温度】ChatGPT走红，人工智能离通过图灵测试还有多远？

    如果要让L5全自动驾驶实现社会面的大规模落地，聂再清认为，有几大“注意事项”。俞靖摄　　第二，一旦自动驾驶大规模落地，需要有一个远程控

    2022-12-22

  • 捷安高科(300845)：补选公司第四届董事会独立董事

    2022年12月22日公告发布

    2022-12-21

  • 每日动态!丽年国际(09918.HK)发布公告，股份合并的所有条件已获达成，而股份合并将于2022年9月16日生效

    丽年国际(09918 HK)发布公告，股份合并的所有条件已获达成，而股份合并将于2022年9月16日生效。合并股份将于2022年9月16日上午九时正开始买卖。截

    2022-12-21

    • 广告

    X 关闭

  • 科技
  • 数码
    • more+
  • 产品
    • more+

    X 关闭

  • 众测
    • more+

    京张高铁每日开行17对冬奥列车

    　　京张高铁每日开行17对冬奥列车　　预计冬奥服务保障期运送运动员、技术官员、持票观众等20万人次　　2月6日，2022北京新闻中心举行“北

    北京冬奥会开幕式上 小学生朱德恩深情演绎《我和我的祖国》

    　　北京冬奥会开幕式上 小学生朱德恩深情演绎《我和我的祖国》　　9岁小号手苦练悬臂吹响颂歌　　2月4日晚，在北京冬奥会开幕式上，9岁的

    2022北京冬奥会开幕式这19首乐曲串烧不简单

    　　多名指挥家列曲目单 再由作曲家重新编曲 本报专访冬奥开幕式音乐总监赵麟　　开幕式这19首乐曲串烧不简单　　“二十四节气”倒计时、

    “一墩难求” 冰墩墩引爆购买潮

    设计师：没想到冰墩墩成爆款一墩难求冰墩墩引爆购买潮 北京冬奥组委：会源源不断供货北京冬奥会吉祥物冰墩墩近日引爆购买潮，导致一墩难求

  • 排行
    • more+