Github 开源趋势榜 TOP 1:英伟达升级发布二代 StyleGAN!_stylegan模型什么时候提出来的-程序员宅基地

技术标签: 技术之路  行业热点  

format,png

format,png

整理 | Jane

出品 | AI科技大本营

2018 年底,英伟达借鉴风格迁移的思路,提出当时最先进的无条件生成模型—— StyleGAN ,吸引了大家广泛关注。随后,代码开源,一位 Uber 工程师更是利用此模型设计了网站“ThisPersonDoesNotExist.com”,轰动一时。自此,对虚假信息生成技术的研究与讨论延续至今。

近日,英伟达再次公开最新论文《Analyzing and Improving the Image Quality of StyleGAN》,通过对 StyleGAN 的生成效果分析,对不完美的工作设计了改进和优化方法,提出新一代 StyleGAN,效果更上一层楼,生成图像的质量堪称完美。

 

format,png

虚假信息生成,轰动一时

2019 年 2 月,我们曾在报道中特别为大家介绍 Uber 软件工程师 Philip Wang 使用英伟达发表的 StyleGAN 创建了无穷尽的假肖像图集,并通过“ThisPersonDoesNotExist”网站用最简单直观的形式展示给更多的人,其背后的算法基于大规模的真实数据集训练而成,然后使用生成对抗网络(GAN)来制造出新的图像。每次刷新网站,只需大约 2 秒,网络就可从 512 维向量中从头开始生成新的人脸图像。

不止这些从不存在的人脸图片,动漫人物、猫狗、汽车、卧室......这些类别的图片都可以生成,主要看你给模型喂了什么。

自从有了这项神奇的技术,左拥老婆、右抱宠物,车房都有。

        format,png      

不过,从之前的生成结果来看,StyleGAN 虽神奇但并非完美,生成的图像经常产生瑕疵与缺陷。在最新模型 StyleGAN 2 中,团队针对缺陷问题进行了深入研究,通过改进模型架构和实例规范化方法等,在提升了图片质量、优化细节的同时,还可以对图像是否有模型生成进行检测,加速训练。

这次 StyleGAN2 的提出,不仅提升了生成效果,在一定程度上又再一次为大家提供了无条件图像生成技术的新标准。

我们先看一波完整的介绍视频:

wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==

 

新一代完美升级

 

 

1、模型架构的改进:解决奇怪的不明物体生成问题

      

首先,上图是这项工作中解决的第一个问题——去除奇怪不明的斑点。这个问题,我们在一代生成结果中经常会见到。为了解决这个问题,研究人员把生成器的架构进行了重新设计,由此前的下自适应实例归一化 → 生成器的实例归一化。

上一代 StyleGAN 的模型架构设计和细节和新一代 StyleGAN 的模型架构设计和细节如如图(a)、(b)和图(c)、(d)所示:

       

新方法无论是在生成的图像还是特征图上都解决了这个问题。

      

 

2、训练方法的改进生成细节

再看生成图片的细节,研究人员指出,此前的图像中会有脸部特征不协调的现象,组合起来不匹配,有些细节可能乍看上去并不显眼,导致这个问题的原因是在上一代 StyleGAN 中采用了 Progressive Growing 的训练方法,细节对位置有强偏好,特征发生移动时,位置不能随之发生相应的变化移动。

  

这次,研究人员借鉴了 MSG-GAN 模型架构的跳层连接(下图a),在此基础上对生成器和判别器进行优化,分别采用上采样和下采样(下图b),最后用残差网络(下图c)改进判别器。

 

这样一来,生成人脸的五官特征可以同时变化,不得不说,更挑不出毛病了。

  

 

3、模型新玩法

除了上面在图像合成效果和质量上的改进与优化,这次的 StyleGAN2 还有一个新玩法:可以把图像输入到模型中,如果能够完美复现,那就说明这个东西是「Made in StyleGAN」,并非真实存在于世间的。

作者指出,与此前反向合成网路的方法不同,他们使用了斜坡下降噪声并优化了生成器的随机噪声输入。

 

4、不止表现更好了,训练也快了

上一代 StyleGAN 在 1024 * 1024 分辨率下,用 NVIDIA DGX-1、8 Tesla V100 GPUs 每秒可训练 37 张图像,而配置 E 的训练速度可达 61img/s,提速 40%。配置 F(更大的网络)以 31 img/s 的速度进行训练,因此训练成本仅略高于最原始的 StyleGAN,而训练时间大大缩减,FFHQ 的总训练时间为 9 天,LSUN CAR 的总训练时间为 13 天。   

 

算法代码开源

 

这么好用,如果不亲自上手岂不辜负。目前,STyleGAN2 已经在 GitHub 开源并获得将近 1.2k Stars,在 Github Trending 排行榜中位列 Top 1。

  

不仅大家 Star 积极,还有更积极的网友,比如 @manicman1999 已经在 TF2.0 中复现了 STyleGAN2 并将项目代码开源了,下面是他 Mixing Styles 的结果。

还在等什么?我们在下方把论文地址、官方 TensorFlow 的复现地址都分享给大家,今天晚上又有得干了!

Paper:

http://arxiv.org/abs/1912.04958

官方 TensorFlow 复现

https://github.com/NVlabs/stylegan2

网友非官方 TF2.0 复现

https://github.com/manicman1999/StyleGAN2-Tensorflow-2.0

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/csdnnews/article/details/103590681

智能推荐

WCE Windows hash抓取工具 教程_wce.exe -s aaa:win-9r7tfgsiqkf:0000000000000000000-程序员宅基地

文章浏览阅读6.9k次。WCE 下载地址:链接:https://share.weiyun.com/5MqXW47 密码:bdpqku工具界面_wce.exe -s aaa:win-9r7tfgsiqkf:00000000000000000000000000000000:a658974b892e

各种“网络地球仪”-程序员宅基地

文章浏览阅读4.5k次。Weather Globe(Mackiev)Google Earth(Google)Virtual Earth(Microsoft)World Wind(NASA)Skyline Globe(Skylinesoft)ArcGISExplorer(ESRI)国内LTEarth(灵图)、GeoGlobe(吉奥)、EV-Globe(国遥新天地) 软件名称: 3D Weather Globe(http:/_网络地球仪

程序员的办公桌上,都出现过哪些神奇的玩意儿 ~_程序员展示刀,产品经理展示枪-程序员宅基地

文章浏览阅读1.9w次,点赞113次,收藏57次。我要买这些东西,然后震惊整个办公室_程序员展示刀,产品经理展示枪

霍尔信号、编码器信号与电机转向-程序员宅基地

文章浏览阅读1.6w次,点赞7次,收藏63次。霍尔信号、编码器信号与电机转向从电机出轴方向看去,电机轴逆时针转动,霍尔信号的序列为编码器信号的序列为将霍尔信号按照H3 H2 H1的顺序组成三位二进制数,则霍尔信号翻译成状态为以120°放置霍尔为例如不给电机加电,使用示波器测量三个霍尔信号和电机三相反电动势,按照上面所说的方向用手转动电机得到下图① H1的上升沿对应电机q轴与H1位置电角度夹角为0°,..._霍尔信号

个人微信淘宝客返利机器人搭建教程_怎么自己制作返利机器人-程序员宅基地

文章浏览阅读7.1k次,点赞5次,收藏36次。个人微信淘宝客返利机器人搭建一篇教程全搞定天猫淘宝有优惠券和返利,仅天猫淘宝每年返利几十亿,你知道么?技巧分享:在天猫淘宝京东拼多多上挑选好产品后,按住标题文字后“复制链接”,把复制的淘口令或链接发给机器人,复制机器人返回优惠券口令或链接,再打开天猫或淘宝就能领取优惠券啦下面教你如何搭建一个类似阿可查券返利机器人搭建查券返利机器人前提条件1、注册微信公众号(订阅号、服务号皆可)2、开通阿里妈妈、京东联盟、拼多多联盟一、注册微信公众号https://mp.weixin.qq.com/cgi-b_怎么自己制作返利机器人

【团队技术知识分享 一】技术分享规范指南-程序员宅基地

文章浏览阅读2.1k次,点赞2次,收藏5次。技术分享时应秉持的基本原则:应有团队和个人、奉献者(统筹人)的概念,同时匹配团队激励、个人激励和最佳奉献者激励;团队应该打开工作内容边界,成员应该来自各内容方向;评分标准不应该过于模糊,否则没有意义,应由客观的基础分值以及分团队的主观综合结论得出。应有心愿单激励机制,促进大家共同聚焦到感兴趣的事情上;选题应有规范和框架,具体到某个小类,这样收获才有目标性,发布分享主题时大家才能快速判断是否是自己感兴趣的;流程和分享的模版应该有固定范式,避免随意的格式导致随意的内容,评分也应该部分参考于此;参会原则,应有_技术分享

随便推点

O2OA开源企业办公开发平台:使用Vue-CLI开发O2应用_vue2 oa-程序员宅基地

文章浏览阅读1k次。在模板中,我们使用了标签,将由o2-view组件负责渲染,给o2-view传入了两个参数:app="内容管理数据"和name="所有信息",我们将在o2-view组件中使用这两个参数,用于展现“内容管理数据”这个数据应用下的“所有信息”视图。在o2-view组件中,我们主要做的事是,在vue组件挂载后,将o2的视图组件,再挂载到o2-view组件的根Dom对象。当然,这里我们要在我们的O2服务器上创建好数据应用和视图,对应本例中,就是“内容管理数据”应用下的“所有信息”视图。..._vue2 oa

[Lua]table使用随笔-程序员宅基地

文章浏览阅读222次。table是lua中非常重要的一种类型,有必要对其多了解一些。

JAVA反射机制原理及应用和类加载详解-程序员宅基地

文章浏览阅读549次,点赞30次,收藏9次。我们前面学习都有一个概念,被private封装的资源只能类内部访问,外部是不行的,但这个规定被反射赤裸裸的打破了。反射就像一面镜子,它可以清楚看到类的完整结构信息,可以在运行时动态获取类的信息,创建对象以及调用对象的属性和方法。

Linux-LVM与磁盘配额-程序员宅基地

文章浏览阅读1.1k次,点赞35次,收藏12次。Logical Volume Manager,逻辑卷管理能够在保持现有数据不变的情况下动态调整磁盘容量,从而提高磁盘管理的灵活性/boot分区用于存放引导文件,不能基于LVM创建PV(物理卷):基于硬盘或分区设备创建而来,生成N多个PE,PE默认大小4M物理卷是LVM机制的基本存储设备,通常对应为一个普通分区或整个硬盘。创建物理卷时,会在分区或硬盘的头部创建一个保留区块,用于记录 LVM 的属性,并把存储空间分割成默认大小为 4MB 的基本单元(PE),从而构成物理卷。

车充产品UL2089安规测试项目介绍-程序员宅基地

文章浏览阅读379次,点赞7次,收藏10次。4、Dielecteic voltage-withstand test 介电耐压试验。1、Maximum output voltage test 输出电压试验。6、Resistance to crushing test 抗压碎试验。8、Push-back relief test 阻力缓解试验。7、Strain relief test 应变消除试验。2、Power input test 功率输入试验。3、Temperature test 高低温试验。5、Abnormal test 故障试验。

IMX6ULL系统移植篇-系统烧写原理说明_正点原子 imx6ull nand 烧录-程序员宅基地

文章浏览阅读535次。镜像烧写说明_正点原子 imx6ull nand 烧录