查看原文
其他

产品动态|文生图模型更新,视频编辑功能上线,Pixeling 让你玩转 AI 内容创作!

一刻不停的 HiDream智象未来 2023-12-23

自 8 月中旬 Pixeling(千象)开启了公开内测之后,我们又马不停蹄地进行了数次功能迭代和模型更新。

本文将带大家了解近期 Pixeling 上线的新功能,这次不仅带来了更强大和智能的「文生图」模型和参考图功能,还上新了「视频编辑」功能


网址:www.hidreamai.com

扫码获取邀请码








更新一

「文生图」模型更新


本次文生图模型更新,主要是在模型设计中融合了图片美感和语义相关性的平衡,大大提升了生成的图片质量。


在展示模型的能力之前,先来跟大家解释一下几组概念,以及其中存在的难点。


什么是图片美感?

从图片美感的角度定义可从以下八个审美原则上界定。



左右滑动,查看更多


什么是文字生成图片的语义相关性?

是指生成的图片与输入的文字描述之间在语义上的一致性或相关性。也就是说,生成的图片应该能够准确地表达出文字描述中所描述的内容或意义。

在文生图的任务中,语义相关性是评估生成结果质量的一个重要指标。语义相关性越高,意味着模型越能够理解文字的含义,并将其转化为视觉形式。

实现高度的语义相关性是一个具有挑战性的任务,需要模型具备良好的语义理解、图像生成和语境理解能力。


为什么二者难以同时达到平衡?

在文字生成图片的任务中,要同时达到画面美感和语义相关性的平衡有一定的挑战,主要由以下几个原因造成:

  1. 多样性与限制:严格限制模型只生成与文字描述完全一致的图片会导致生成结果过于刚性和重复。为了增加多样性和创造性,模型可能会在追求画面美感时偏离文字描述。

  2. 主观性:画面美感是主观的,模型很难准确地捕捉到人类对于美感的主观感受,因此难以达到每个人都认可的画面美感

  3. 数据偏差:训练数据集中的偏差也会对平衡产生影响。

  4. 复杂性和多模态性:文字生成图片的任务涉及到将自然语言转化为视觉形式,这种多模态的转换增加了任务的复杂性。


理解了这些概念之后,我们来看看 Pixeling 文生图模型在此次更新前后的对比

Prompt:Letter logo Graphic design, letter [A], Silver and white color scheme, dark background, Cyberpunk, atomic punk, Steampunk, Titanium material, Crazy details, designed by Andrei Riabovitchev


同样的 prompt,模型更新前后对比

左:更新前;右:更新后


通过上图的对比可以看到图片的整体美感进一步提升

  • 整体结构:右图的 logo 更加和谐一体,而非左图所展现出来的拼凑感。

  • 细节处理:右图专用字母周围的三个圆圈标识与字母 A 形成了相互对称的三角形结构,从视觉上增加了稳定性;外部圆圈的上下两个尖状设计既能相互对应,又能够在不破坏“圆”的基础上展现“突破”的含义。

  • 画面风格:右图的光泽感和质感相比于左图更显高级。

此外,更新后的文生图模型也更加符合 prompt 语义:最明显的一点,字母「A」更加显而易见。


更多图片展示



左右滑动,查看更多








更新二

「文生图」新增参考图生成功能


参考图生成功能是对文生图模块的一个视觉补充,用户可以在输入 prompt 的同时可以上传图片作为视觉元素的参考,从而让生成的图片同时保持 prompt 语义和参考图中的视觉元素。



设计师在做图之前需要对自己的设想找一些参考图,以便更好地表达脑中的设想。同理,我们在训练 AI 使其生成符合我们预期的图片时,如果能够给到一些参考图辅助 AI“理解”我们的意图,将更有可能生成更好的图片效果。


使用方法


点击下图所示的“+”上传参考,同时输入英文 prompt 描述希望生成的画面。



更多效果



左右滑动,查看更多








更新三

视频编辑功能模块上线


我们上线了「视频编辑」功能,其中包含 2 种方式:


  1. 用文字对视频进行编辑,从而改变视频的内容;

  2. 对视频进行画面风格的转化。


1、文字编辑视频


点击“+”上传您的视频,在 prompt 框内用英文输入您想要改变的视频内容,进行视频生成。



举个🌰


原视频是一匹马在草原上吃草,假如我们想将其变为在森林里的独角兽,即把“草原”改为“森林”,把“马”改为“独角兽”。在 prompt 中输入“unicorn in a forest”,即可得到新的视频:



输入“glass horse on the ice”即可得到一匹在冰上的水晶马,动作神态与原视频相差无几,连尾巴的细节都可以做到惟妙惟肖。



2、视频画风转换


选择 Preset styles 使用视频画风转化功能,可以点击“+”上传您的视频,从 style 里选择您想要的画风。



目前可选的画风包括:赛博朋克、梵高、宫崎骏、水墨风、芭比风


以上就是 Pixeling 最新上线的功能,希望给大家带来更加优秀、高效的编辑体验。快来尝试 Pixeling,开启全新的内容创作之旅!

扫描下方二维码提交内测申请,完成后扫描小助手“智小象”微信 HiDream__ai(备注:姓名-单位)。期待你们的宝贵建议!


申请内测

加入我们









继续滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存