澎湃Logo
下载客户端

登录

  • +1

字节豆包SeedEdit上线,AI修图成大厂AI应用新焦点?

2024-11-15 17:49
来源:澎湃新闻·澎湃号·湃客
字号

首先,小雷是对设计一窍不通的,毕竟我不是干设计这一行的。

但是嘛,这只要浸淫在互联网上的人,多少应该都会对传说中设计行业里那几道百年难得一遇的亘古难题,还有各种奇葩甲方才会提出的变态要求有所耳闻。

有道是,你的图片做得很好,那让画面里的大象转个身应该没有什么困难吧。

有道是,你的黑色有些单调,我希望能够看到一种五彩斑斓的黑色呢。

就不说设计师们看到这些会不会气血上涌了,我一个负责文字工作的人,看到这种批注都有点难顶。

重点是你也不能说些什么,要知道画面另一头就是金主爸爸,而且他们对这些是真的不懂。

到头来,工作就是工作,不管甲方要求有多离谱都得去做,哪怕客户要你把他照片里的拉链给拉上,你能做到的也只有截个图发到社交媒体上给大伙乐一乐,然后为了生活想尽办法去解决问题。

(图源:新浪微博)

不过,凡是问题,终究是会有解决办法的,只是这次的解决办法可能有点特殊。

昨天,字节跳动的豆包大模型团队,在公众号上秀出了最新的通用图像编辑模型SeedEdit。

官方表示,这款模型主打的就是「让一句话轻松P图成为现实」,用户只需输入简单的自然语言,便可对图像进行多样化编辑操作,包括修图、换装、美化、风格转化以及在指定区域添加或删除元素等。

听起来很不可思议?其实我也是这么觉得的。

让大象转个身

想体验这个功能的话,其实还蛮简单的就是了。

根据官方的说法,目前该模型已经在豆包PC端及即梦网页端开启测试,豆包手机端暂时还用不了这个功能。

接下来,只要点击侧边栏的「图片生成」,应该就能看到上传参考图的选项了,这里就是SeedEdit模型的入口。

要做的事情很简单,上传图片,然后输入我们想要改变的内容。

比方说,像画面里面这种大象背对我们喝水的照片,如果我想让它转身的话,那应该怎么做呢?

答案是,输入「让大象面对我」。

(图源:雷科技)

对比一下两张图片。

可以看到,SeedEdit生成的大象正面是非常合乎逻辑的,耳朵的形状、脚部的位置、身体的颜色都做得相当不错,周围的环境也保持了高度的一致,当然部分石头形状存在差异这点,细心点还是能看出来的。

(图源:雷科技)

生成后的图片还可以再次编辑,这点真的很棒。

(图源:雷科技)

不过进一步的操作,似乎就无法实现了。

我在豆包修改过的图片基础上,继续提出图片编辑的要求,但不论是「让大象跑起来」、「让大象用鼻子喷水」或者是「让大象侧过身子」,基本上很难得到令人满意的结果。

叫它喷水,结果这水确实是喷出来了,但却不是从鼻子里喷出来的,而是从象牙的部分喷出来的。

想让大模型理解啥叫作常识,确实不是件容易的事情。

(图源:雷科技)

再换个人像,或者说模型的照片试试。

因为我家里环境有限嘛,所以一般来说,拍手办的背景就比较凑合,没有时间也没有啥精力去造景拍摄。

不过现在嘛,我让它「把背景换成城市」。

(图源:雷科技)

效果有点平?那就改成「夕阳西下的光照质感」。

你还真别说,这感觉马上就到位了,整个过程中,我只对豆包说了简单的两句要求,体验起来真的很丝滑。

对贫困的胶佬来说,布景和打光的繁琐步骤或许真的能省略掉了。

(图源:雷科技)

当然,这些都是在原图上的小打小闹,如果我想直接更换画面主体呢?

比如「指鹿为马」。

(图源:雷科技)

实际生成的效果确实很不错,不仅草地背景保留得挺完整,连马身上的纹理之类的都进行了替换。

如果不看原图,基本很难察觉比例上的问题。

换衣服也没啥问题,连光影和褶皱都改得挺到位的。

(图源:雷科技)

试了一下汽车,目前SeedEdit是不认识小米SU7的。

不过我随便传了一张五菱宏光Mini EV的照片上去,然后输入了一个异常复杂的编辑指令。

(图源:雷科技)

最后生成的车子,虽然不像玛莎拉蒂,但起码也有个跑车形状了。

AI修图,爆发在即

事实上,如今AI在绘画这块儿,已经能让我们眼前一亮了。

但是在图像编辑领域,AI技术其实是相对落后的,无法进行精准编辑,一直是行业的老大难问题。

在今年以前,这类需求一般通过Stable Diffusion的ControlNet插件来实现。

它可以获取额外的输入图像,通过不同的预处理器转换为控制图,进而作为Stable Diffusion扩散的额外条件,只需使用文本提示词,就可以在保持图像主体特征的前提下任意修改图像细节。

(图源:新浪微博,识别特征并进行重新绘制)

本地部署AI应用这事,和大部分小白是基本无缘的。

所以在进入今年后,包括ChatGPT/DALLE3、Midjourney、百度超能画布都推出了局部重绘应用,试图充当在线编辑图片的功能。

不过这类应用,大多数时候还得咱们手动涂抹,选定你要修改的对象,然后输入各种提示词来做修改。

(图源:雷科技)

需要掌握正确的AI话术,才能获得理想的修图质量,门槛还是有点高了。

如果,我是说如果,我们只需要给定输入图像和告诉模型要做什么的文本描述,然后模型就能遵循描述指令来编辑图像,那得多省事儿啊。

字节端出的SeedEdit,确实是朝着这个方向努力的。

不过图修多了,问题也就出来了,目前这款模型在生成图片时还是有一些问题存在的。

首先,缺乏人像前后的一致性。

只要涉及到人物面部的修图,那么最终出来的图像和原图的差异会很夸张,基本上看不出来原来的样子。

(图源:雷科技)

其次,缺乏图片内容的方向性。

对于元素较多的图像,目前SeedEdit很难判断你要修改的是图片里的哪个元素,即便偶然识别对了,出来的图片效果也会异常扭曲。

(图源:雷科技)

最后,文字处理能力依然不行。

就像早期AI绘画那样,目前SeedEdit会编造文字内容,下面这三行小字看似有点逻辑,我看了半天,愣是没认出来写的是个啥。

(图源:雷科技)

在我看来,SeedEdit的出现,算是弥补了国产大模型在语义AI修图应用这块的空白。

可以预见的是,随着AI图像编辑技术的不断发展,未来手机、电脑都可能会集成这项功能,就像AI消除、AI扩图那样走进寻常百姓家。无论是小白还是大咖,每个人都有机会轻松上手使用,让自己对美的理解可以更直观地展现出来。

修图有手就行?或许真的不是梦。

    本文为澎湃号作者或机构在澎湃新闻上传并发布,仅代表该作者或机构观点,不代表澎湃新闻的观点或立场,澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问http://renzheng.thepaper.cn。

    +1
    收藏
    我要举报
            查看更多

            扫码下载澎湃新闻客户端

            沪ICP备14003370号

            沪公网安备31010602000299号

            互联网新闻信息服务许可证:31120170006

            增值电信业务经营许可证:沪B2-2017116

            © 2014-2024 上海东方报业有限公司

            反馈