九游会,九游会官网,九游会登录,九游会注册,九游会app下载,在线体育投注,电竞投注平台,真人游戏平台,九游体育,九游娱乐

　　游戏直播等实时渲染门槛要被击穿了？Adobe 的一项新研究带来新的可能。

　　近年来，视频合成技术已经取得了显著突破。其中，基于双向注意力机制的扩散 Transformer（DiT）可以生成具有复杂时序动态的逼真内容，但其非因果性设计导致无法满足实时流媒体等场景需求。

　　相比之下，另一类自回归（AR）模型虽然具有天然时序因果性优势，却因依赖有损向量量化技术而难以达到顶尖画质。

　　当前，融合两者优势的「教师强制」（Teacher Forcing，TF）和扩散强制（ Diffusion Forcing ，DF）方法仍存在误差累积和曝光偏差等核心问题：前者因训练与推理的条件分布差异导致质量衰减，后者虽引入噪声上下文却牺牲了时序一致性。

　　这些局限性深刻制约着视频生成模型在实时交互应用中的性能边界。近日，Adobe 联合联合德克萨斯大学奥斯汀分校的研究者，在一项新研究中提出了名为 Self Forcing 的新颖算法，旨在解决自回归视频生成中的暴露偏差问题

　　该方法受到早期 RNN 时代序列建模技术的启发，通过在训练期间显式地展开自回归生成过程，来弥合训练与测试分布之间的差距。具体而言，每一帧的生成都以先前自生成的帧为条件，而不是依赖于真实的帧。

　　这种机制使得模型能够运用整体分布匹配损失函数（holistic distribution-matching losses）对完整的生成视频序列进行监督。通过迫使模型在训练中面对并从其自身的预测错误中学习，Self Forcing 算法能有效减轻暴露偏差并减少误差的累积。

　　尽管由于 Self Forcing 的序列特性会阻碍并行训练，乍看之下似乎在计算上代价高昂，但该研究证明，它可以高效地作为训练后阶段的一种算法来实现，此时模型在该阶段并不需要大量的梯度更新即可收敛。

　　通过采用少量步数的扩散主干网络以及精心设计的梯度截断策略，Self Forcing 算法的效率出乎意料地优于其他并行策略，在相同的实际训练时间内实现了更优的性能。此外，该研究还引入了一种滚动 KV 缓存机制，进一步提升了视频外推的效率。

　　该模型能够在单个 H100 GPU 上以 17 FPS 的帧率实现实时视频生成，延迟低于一秒，同时在生成质量上与近期较慢的双向和自回归视频扩散模型相比具有竞争力或更优。

　　这些进步为真正的交互式视频生成用例 —— 如直播、游戏和世界模拟 —— 打开了大门，在这些场景中，延迟预算以毫秒而非分钟为单位进行衡量。

　　研究者表示，采用 Self Forcing 的模型可以生成 480p 的准高清视频，首帧延迟约为 0.8 秒。在持续生成速率方面，单块 H100 GPU 约为 17 帧每秒，单块 RTX 4090 在优化后约为 10 帧每秒。目前可以生成基础的 5 秒视频以及外推延展后更长的 10 秒视频。

　　Prompt：这是一个奇幻剧风格的电影场景，描绘了一个人走过一片宁静的田野，到处都是漂浮的灯笼。每走一步，灯笼就会亮起来，散发出温暖、飘渺的光芒。这个人穿着飘逸的东方传统服装，动作优雅，表情安详而又略带沉思。背景是宁静的夜空，点缀着几颗星星和一轮新月，营造出梦幻般的氛围。相机的角度从背后，从中镜头的角度捕捉人物，突出他们的自然动作和发光的灯。

　　Prompt：一个老人穿着飘逸的绿色连衣裙，戴着一顶宽边太阳帽，在令人惊叹的日落中悠闲地漫步在南极洲冰冷的地形上。他饱经风霜的脸和慈祥的眼睛映照出夕阳的暖色调，夕阳投下长长的影子，使大地沐浴在金色的光芒中。这个男人的姿势直立，自信，双手放在背后。背景是崎岖的冰层和遥远的山脉，天空被涂成橙色、粉红色和紫色。这张照片有一种怀旧和梦幻的感觉，捕捉到了极地的宁静之美。

　　Prompt：灾难电影风格的戏剧性和动态场景，描绘了一场强大的海啸席卷保加利亚的一条狭窄小巷。河水汹涌而混乱，海浪猛烈地撞击着两岸的墙壁和建筑物。这条小巷两旁是饱经风吹雨打的老房子，它们的外墙部分被淹没和破碎。镜头角度较低，捕捉到海啸向前涌动的全部力量，营造出一种紧迫感和危机感。可以看到人们疯狂地奔跑，加剧了混乱。背景以遥远的地平线为特征，暗示着广阔的世界。

　　Self Forcing 的核心思想是：在训练阶段就采用与推理时相同的自回归展开方式生成视频。具体实现包含两个关键技术突破：

　　然而，即便采用少步扩散模型，若直接对整个自回归扩散过程执行反向传播，仍会导致内存消耗过大。为解决这一难题，研究者提出以下创新策略：

　　首先进行梯度截断。仅对每帧的最终去噪步骤进行反向传播，将梯度计算范围限制在关键环节。

　　然后是动态步数采样。突破推理阶段固定使用 T 步去噪的约束，在训练时对每个样本序列随机采样 1 至 T 步去噪步骤，并以第 s 步的去噪结果作为最终输出。这种随机采样机制确保所有中间去噪步骤都能获得监督信号。

　　最后是梯度流隔离。通过限制梯度向 KV 缓存嵌入的传播，在训练过程中切断当前帧与先前帧的梯度关联。

　　受大语言模型研究的启发，研究者为自回归扩散模型提出了一种滚动 KV 缓存机制，可以实现无限长视频生成且无需重新计算 KV 缓存。

　　如图 3 (c) 所示，研究者维护固定大小的 KV 缓存区，仅保留最近 L 帧的 token 嵌入。当生成新帧时，首先检测缓存是否已满，若达到容量上限则移除最旧的缓存条目后再存入新数据。在保持 O (TL) 时间复杂度的同时，确保生成每一新帧时都能获得足够的上下文信息。

　　配合 VBench 和用户偏好研究，研究者同步评估了生成视频的视觉质量与语义对齐度。同时，严格测试了 Self Forcing 在实时应用中的效率表现。在单个 NVIDIA H100 GPU 上，研究者综合评估了吞吐量和首帧延迟两项指标，全面衡量实时生成能力。

　　如下表 1 所示，研究者提出的分块自回归方案在 VBench 评估中全面超越所有基线模型，同时在人类偏好度测试中取得最优成绩。该方案还能实现 17 帧 / 秒的实时吞吐量，配合亚秒级首帧延迟，足以支持直播等实时视频流应用场景。

　　下图 4 展示了用户调研结果，将分块 Self Forcing 模型与多个重要基线模型进行了比较。

　　结果显示，本文方法在所有对比中持续获得最高偏好度，包括作为模型初始化基础的 Wan2.1 多步扩散模型。其中，帧级变体版本在保持强劲生成质量的同时，实现了最低延迟（0.45 秒），特别适合对延迟敏感的实时应用场景。这些实验结果均采用 DMD 损失函数作为优化目标。

　　采用 SiD 和 GAN 目标函数训练的模型在消融实验中表现出了类似的性能。如下图 5 所示，CausVid 存在误差累积问题，导致饱和度随时间推移不断增加。本文方法在画质上略优于 Wan2.1 或 SkyReels-V2，同时延迟时间缩短约 150 倍。

　　06月03日，暴雨蓝色预警继续发布：福建、广西等地局地有大暴雨，365在线体育注官网，永利体育免费试玩，best365足球网站，365体育立即充值

　　06月03日，纪检监察机关推动深化治理餐饮浪费 纠歪风树新风，AG平台是哪个国家的，球探体育下载链接，AG网络平台能ip追杀吗，电玩平台注册送分

　　06月03日，印尼警方：一中国籍游客在印尼伊真火山坠亡，互博国际手机客户端，捕鱼下分，米乐平台登录，哪个软件能玩二八杠

　　06月03日广西万村篮球赛市级赛揭幕 东盟国家留学生参与必赢网址登录体育平台软件有哪些威廉客户端app下载至尊娱乐捕鱼

　　06月03日他们靠主题月生活法偷偷开挂果博最新版APP欧博注册送18pg电子双喜临门超级大奖九五至尊正版

　　06月03日种一棵树，最好的时间是现在nba比赛买球哪里买美高梅在线买球爱博开户网址最新网址……

　　06月03日，上海：近距离直击冰雕艺术大师现场雕“龙”，真人国际象棋赛视频，皇冠注册，火狐体育官方，爱博2022世界杯

　　06月03日，2024中国（张家界）国际新杂技戏剧周启幕 多国顶尖杂技轮番上演，Bob综合体育官网登录，美高梅注册官方网站，澳门国际赌盘注册，crown皇冠官网

　　06月03日白皮书：中国依法规范恐怖活动案件办理程序新濠天地网站官网365稳定在线入口深海捕鱼下载最新版现金版Bob综合体育官网入口

　　06月03日，贵州“毕货”亮相广州 订单金额达2.57亿元，澳门二十一点最小赌注，皇冠体育网站正规，新万博代理，奔驰宝马技巧

　　06月03日，黄河上游冬小麦出苗见绿 与高原冬日形成反差美，播播开心网，新宝app下载，亿德体育官网，娱乐抢庄牛牛棋牌游戏

　　06月03日，纪念联合国国际科学与和平周三十六周年 成果文献展在京开幕，葡京娱乐代理开户，新记体育，90即时比分，欧宝app下载入口

　　06月03日语文老师因板书走红源于寓教于乐心博天下在哪开户虎扑体育nba澳门电子游戏平台下载米乐官网入口

　　06月03日王毅阐明中方关于台湾局势严正立场平台365bet官网bv伟德体育游戏凯发K8娱乐全球公开巴黎人下注网站

　　06月03日2024年金砖国家运动会在俄罗斯喀山开幕九游会登录网址澳门金沙官网在线yobo体育app澳门棋牌官方

　　上海现付费马桶圈充1000可用13.8万次，南来北往未来产业，让未来照进现实金沙备用网址银河真人正网皇冠轮盘app下载BOB网站是多少

　　苏州KSG战胜重庆狼队，黑色止血钳2近距离｜习主席称赞法国总理中文“讲得很好，很标准”美高梅官方网站qq小游戏捕鱼达人兑换码金沙AG真人飞禽走兽电玩城游戏大厅

　　泡面料包里长出了晶体，看涨英伟达的ETF吸金规模创纪录中国香港男子队主场夺花剑世界杯首面团体赛金牌正规网投网站大全BOB综合体育苹果下载亿博手机APP环亚登录平台

　　为啥南方人都不穿黑色羽绒服，三十年前的羽绒服比我穿的潮山东“五一”假日旅游收入逾400亿元 “跟着文物游齐鲁”渐成风尚威尼斯网页版云顶娱乐登录地址九卅娱乐娱tf111备用贝博平台网址

　　种地吧，奔驰车主加塞砸车被拘10日2024年云南“村晚”在“阿诗玛故乡”石林启动皇冠信用输了不给皇冠官方下载现金在线官网美高梅注册直营

　　北大放假网友火车站偶遇韦神，孤战迷城深刻把握总体要求和政策取向 巩固和增强经济回升向好态势（深入学习贯彻习新时代中国特色社会主义思想）澳门威尼斯人注册网站ag国际真人娱乐平台买球规则开户名升国际官网

　　90%大病患者众筹不到足够医疗费，云台山男妲己演员停演3天后复出2024世界公众科学素质促进大会在北京开幕金沙电子正网火凤凰炸金花365投注平台使用攻略bet365在线登录