品牌 资讯 搭配 材料 时尚 热点 行业 首饰 玉石 行情

焦点滚动:最大CLIP!LAION发布CLIP的扩增定律

2022-12-27 03:47:26 来源:


(资料图片仅供参考)

点蓝色字关注“机器学习算法工程师”

设为星标,干货直达!

近日,LAION等机构在Reproducible scaling laws for contrastive language-image learning发布了CLIP的扩增定律(scaling law),其中最大的CLIP为ViT-H/14,基于LAION-2B数据集训练,可以在ImageNet1K数据集上到78.0%的zero-shot准确度,性能超过OpenAI目前开源的CLIP L/14,和Meta AI的FLIP Huge模型性能相当,但是模型已经开源在https://github.com/LAION-AI/scaling-laws-openclip。

论文的实验采用开源数据集LAION-400M和LAION-2B数据集,训练框架采用开源的OpenCLIP,所以论文的实验是可以复现的。训练在1520 NVIDIA A100 GPUs上进行,采用PyTorch DDP分布式训练策略,采用混合精度(但是fp16会不稳定,所以采用bf16,或者基于TF32的float32),训练的batch size在 86-88K之间。实验的总体结论是:扩增定律也明显适用CLIP,当扩增模型,训练数据和算力时,模型在下游任务上有一致性的提升。但是不同的训练数据集表现出不同的扩增系数:OpenCLIP的模型(基于LAION-2B数据集)在图文检索任务上有较大的扩增系数,而OpenAI CLIP模型(基于私有的WebImageText 400M数据集)在zero-shot分类任务上有较强的扩增系数。这个结论和FLIP的结论比较吻合,这说明训练数据集对CLIP的性能确实有比较大的影响。用论文结论的一句话来说就是:Scaling behavior depends on task type and pre-training dataset。更多内容可见论文:https://arxiv.org/abs/2212.07143

标签:

相关文章

焦点滚动:最大CLIP!LAION发布CLIP的扩增定律

​点蓝色字关注“机器学习算法工程师”设为星标,干货直达!近日,LAION等机构在Reproduciblescalinglawsforcontrastive

2022-12-27 03:47:26

百事通!皇马科技: 皇马科技独立董事关于第七届董事会第五次会议相关事项的独立意见

​浙江皇马科技股份有限公司独立董事         关于第七届董事会第五次会议           相关事项的独立意见  根据中国证监

2022-12-26 17:25:09

焦点速读:脉动饮料有糖吗 脉动饮料对身体有什么影响

​我们都知道饮料里面的含糖量是比较高的,但是听说也有些低糖饮料的,这个脉动饮料里面糖的成分含量高吗?长期喝脉动对身体会有什么样的影响?

2022-12-26 11:38:50

最资讯丨发挥好消费的基础性作用

​随着疫情防控政策的调整优化,各地消费市场开始回暖。疫情防控政策调整优化之后,人们的消费意愿和消费能力都发生了变化。发挥消费的基础性作

2022-12-26 05:39:59

【世界聚看点】棉衣洗成坨了怎么处理

​关于棉衣洗成坨了怎么处理的内容,包含棉衣洗了成一坨怎么办棉衣洗完一坨一坨的方法棉衣里面的棉絮洗成一坨了怎么办?棉衣洗了成一坨怎么办棉衣

2022-12-25 12:10:56

全球新动态:小袋鼠借款逾期六年多久会上征信系统

​网贷逾期一般会上征信,有些借贷机构在用户逾期后一天后就会上报给征信机构,而有些借贷机构则是会在几天后上报给征信机构,因为有些借贷机构可

2022-12-24 14:04:55

头条焦点:网红「蹭」世界杯,为何频翻车?

​网红「蹭」世界杯,为何频翻车?

2022-12-23 21:05:21

当前讯息:水晶光电董秘回复:近5年公司营业收入复合增长率15.43%,净利润复合增长率6.20%

​水晶光电(002273)12月23日在投资者关系平台上答复了投资者关心的问题。投资者:你好,请问贵公司的年收益增长率是多少水晶光电董秘:您好:近5

2022-12-23 15:31:08

全球头条:异动快报:浙江正特(001238)12月23日9点32分触及涨停板

​12月23日盘中消息,9点32分浙江正特(001238)触及涨停板。目前价格29 51,上涨9 99%。12月22日的资金流向数据方面,主力资金净流出1008 6万元

2022-12-23 09:48:48

全球今头条!境内首只中韩合编指数产品中韩半导体ETF在上交所上市

​中新社上海12月22日电(高志苗)华泰柏瑞中证韩交所中韩半导体交易型开放式指数证券投资基金(以下简称中韩半导体ETF)22日在上海证券交易所上市。

2022-12-22 21:41:45

当前资讯!复星旅游文化(01992.HK)温和走高,午后涨约6%

​复星旅游文化(01992 HK)温和走高,午后涨约6%。机构指,12月下半月以来,旗下亚特兰蒂斯客户预定量持续攀升。同时,海外业务预计快速回暖。维

2022-12-22 15:39:24

观热点:千金药业:公司的并购计划主要围绕呼应主业、补强产业链的标的开展

​千金药业(600479)12月22日在投资者关系平台上答复了投资者关心的问题。投资者:请问贵公司提出积极开展并购重组,请问公司计划是集团内并购还

2022-12-22 09:16:11

世界热推荐:2天超5万条新冠药物互助信息发布 背后团队这样思考

​12月20日,腾讯上线了一款药物共享平台“新冠防护药物公益互助平台”,用户完成实名认证后,通过微信小程序即可快速进行药物求助,而有多余...

2022-12-21 19:46:16

最资讯丨最新!全国多场马拉松延期或取消

​最新!全国多场马拉松延期或取消

2022-12-21 14:22:15

环球要闻:法国双星太傲慢?拒换球衣+羞辱对手!梅西暖心1举:欣然与他合影

​法国双星太傲慢?拒换球衣+羞辱对手!梅西暖心1举:欣然与他合影

2022-12-21 08:18:25

天天快报!佳力图: 603912:佳力图关于公司及子公司使用部分闲置可转换公司债券募集资金进行现金管理的公告

​佳力图:603912:佳力图关于公司及子公司使用部分闲置可转换公司债券募集资金进行现金管理的公告

2022-12-20 18:55:22

天天快看:晓鸣股份(300967):重要项目的投资进展公告

​证券代码:300967证券简称:晓鸣股份公告编号:2022-176宁夏晓鸣农牧股份有限公司

2022-12-20 11:45:02

天天日报丨防护服板块12月19日跌2.98%,贵州百灵领跌,主力资金净流出7.56亿元

​12月19日防护服板块较上一交易日下跌2 98%,贵州百灵领跌。当日上证指数报收于3107 11,下跌1 92%。深证成指报收于11124 7,下跌1 51%。防护服

2022-12-20 05:32:03

当前热文:水韵林海 千年绿城

​“不出城郭而获山水之怡,身居闹市而有林泉之致”。近日,北京城市副中心获批“国家森林城市”,成为北京平原地区首个高标准、高品质、高效...

2022-12-19 17:48:05

实时焦点:花园生物:花园生物主要从事VD3上下游系列产品的研发、生产和销售

​花园生物(300401)12月19日在投资者关系平台上答复了投资者关心的问题。投资者:随着国家疫情防控政策的调整,目前市场对解热镇痛类药物需求增

2022-12-19 12:31:58

全球快消息!卡塔尔世界杯各奖项公布 梅西两度荣膺金球奖创历史

​中新网12月19日电卡塔尔世界杯决赛于北京时间今晨结束,阿根廷击败法国(加时赛3:3,点球大战4:2),队史第三次问鼎世界杯冠军

2022-12-19 06:53:10

环球播报:华统股份: 万联证券关于华统股份新增日常关联交易预计额度的核查意见

​华统股份:万联证券关于华统股份新增日常关联交易预计额度的核查意见

2022-12-18 18:42:33

环球最新:嗨袋网贷逾期6个月会影响征信吗

​网贷逾期一般会上征信,有些借贷机构在用户逾期后一天后就会上报给征信机构,而有些借贷机构则是会在几天后上报给征信机构,因为有些借贷机构可

2022-12-17 20:31:35

全球观热点:中恒集团(600252)12月16日主力资金净买入331.34万元

​截至2022年12月16日收盘,中恒集团(600252)报收于2 95元,上涨2 08%,换手率1 17%,成交量40 14万手,成交额1 18亿元。

2022-12-17 07:53:43

环球快播:海天瑞声(688787.SH):210万股限售股将于12月26日解禁

​格隆汇12月16日丨海天瑞声(688787 SH)发布首次公开发行部分限售股上市流通公告,此次上市流通的限售股份数量为210万股,占公司股份总数的4 91%,限

2022-12-16 18:56:37

每日热议!怎么查老婆是否出轨(如何察觉老婆有外遇)

​如何检查一个女人是否出轨?女人突然变得浓妆艳抹,对老公变得冷漠,十有八九有外遇,于是处处看着老公。女人有了外遇,家庭一般都会破裂,可

2022-12-16 12:04:27

全球最新:化学纤维板块12月15日跌0.57%,*ST尤夫领跌,主力资金净流出5042.6万元

​12月15日化学纤维板块较上一交易日下跌0 57%,*ST尤夫领跌。当日上证指数报收于3168 65,下跌0 25%。深证成指报收于11358 11,上涨0 32%。化学

2022-12-16 03:44:16

世界即时看!再婚后没有共同孩子财产如何分

​无论谁先死谁后死都是一样的道理一:先区分并平分夫妻合法财产,再把死者的合法财产平均分配给法定继承人(ps:有困难的、属于未成年人的、年

2022-12-15 17:09:19

环球快看:闽威实业北交所拟发行方案出炉:发行底价为11.5元/股

​挖贝网12月15日消息,新三板创新层公司闽威实业(871927)董事会审议通过了北交所拟发行方案,发行底价为11 5元 股,募资用于福建闽威海洋产业

2022-12-15 11:39:58

环球资讯:王源×1900×聂耳:愿每个人都能在精神乐园中找到真我与自由

​“‘1900’,这个主角名看似随意不着边际,实则意味深长。它代表20世纪的开端,第二次工业革命行至巅峰,人类的生活方式天翻地覆:有人被裹挟

2022-12-15 02:48:30