《電子技術應用》
您所在的位置:首頁 > 人工智能 > 業界動態 > Sora刷屏視頻出現多處失誤 模擬真實世界仍需闖關

Sora刷屏視頻出現多處失誤 模擬真實世界仍需闖關

2024-02-19
來源:第一財經
關鍵詞: Sora 文生視頻 OpenAI

1.jpg

2月18日,由OpenAI 發布的文生視頻AI工具Sora引發的討論仍在繼續,范圍涉及科技圈、資本圈、影視圈等,同時對Sora尚存在的問題研究也逐漸深入。

例如針對OpenAI定位“世界模擬器”的觀點,圖靈獎得主、Meta首席AI科學家楊立昆(YannLeCun)表示,根據提示詞生成的大部分逼真視頻并不表明這樣的AI系統理解物理世界,生成視頻的過程與基于世界模型的因果預測完全不同。

翻閱OpenAI披露的數十份視頻,楊立昆的觀點具體表現為老奶奶吹蠟燭火苗卻不動、東京街頭步伐錯誤的女郎、玻璃杯碎后錯誤的液體流向、在跑步機上反向跑步的男子等。

雖然OpenAI的明星效應為其帶來大量關注,同日谷歌發布的多模態通用模型Gemini 1.5 Pro也變為配角,但不論是美國硅谷AI項目還是中國大模型創業公司,外界關注的核心均為實際應用效果。

視頻雖驚艷bug仍存在

目前,Sora所生成的視頻內容得到影視行業人士的普遍認可。Mystery Novel視覺預演工作室創始人、導演牛萌琛對第一財經記者表示,Sora視頻中的畫質,畫面內容中的細節、光影、色彩都較精細,對導演來說,為其在拍攝前期做一個簡單的鏡頭樣板是夠用的。對廣告片拍攝來說,也可以用這種樣板來與客戶更好地進行概念上的溝通和確認。但如果涉及鏡頭運動角度,與更精細內容調控——如色彩、光影、道具、人物動作等,目前AI還不能達到令客戶滿意的程度。

一位紀錄片從業者對記者表示,目前Sora還不能直接用于影視作品,因為精細度還不夠。但已經足夠震撼,完全可以用于前期開發,尤其是概念設計。一位宣傳片從業者表示,工作室目前還沒試過用AI生成來做素材,Sora 只發布了部分作品,且未開放公測,能不能用來代替剪輯不確定。無論如何,這些工具最后都是為人服務的,人的個人感情復雜性的表達不可替代。

攝影專業人士孟凡對記者表示,Sora視頻幀率較高,說明計算能力比較強,且影片的寬容度更高,如調色、細節表現、高速鏡頭展現等。在直觀感受上,Sora 模型產出的視頻運鏡自然,物體運動符合規律,鏡頭間邏輯一致性好,但是Sora視頻的邏輯性會差一點。

具體表現在Sora視頻內容中,如一分鐘的東京街頭女郎漫步,女郎走路過程中存在腿部變形、腿部交叉換位時錯亂、右腿連續兩次在前方邁步等錯誤;一段提示詞為“一個人跑步的場景”中,主角在跑步機上反向奔跑;提示詞為“考古學家在沙漠發現塑料椅子”的視頻中,椅子呈現懸浮狀態。

針對目前Sora存在的不成熟之處,OpenAI表示,Sora可能難以準確模擬復雜場景的物理原理,可能無法理解因果關系,可能混淆提示的空間細節,可能難以精確描述隨著時間推移發生的事件,如遵循特定的相機軌跡等。

OpenAI方面在《作為世界模擬器的視頻生成模型》技術報告中表示,Sora作為一個模擬器,目前表現出許多限制,它并沒有準確地模擬許多基本互動的物理效應,比如玻璃破碎。吃食物之類的互動不總是產生正確的物體狀態變化。還有在長時間樣本中發展的不連貫性或物體的自發出現。

對于這些問題,多位人工智能領域人士對記者表示,皆因概率模式的邏輯硬傷所致。中科深智創始人兼CEO成維忠表示,Sora因其并非嚴格的推理模型,目前還存在因果關系推理問題,但這個問題不是Sora自身的問題,而是目前所有類似模型均存在的問題,類似于大模型普遍存在的幻覺問題。未來會隨著訓練的加強而得到改善。

宜遠智能CEO吳博對記者表示,通過加大訓練量、增加訓練數據與物理邏輯,該問題會逐漸得到改善,但無法根治。

南洋理工大學副教授張含望此前在GAIR全球人工智能與機器人大會上表示,想要真正突破最底層邏輯上的問題,因果關系(Causality)是一條必經之路。如果不把因果關系加上去,大模型只是在進行強行關聯,幸運的話,模型在回答問題時能夠給出正確答案,否則就會“胡說八道”。這是因為它背后的關聯是錯誤的——把共生關系當成了因果關系。

實際使用價值待解

Sora之所以能引發廣泛關注,除了畫面超過同行的質量原因外,更在于外界對其即將帶來的行業迭代充滿好奇。

就影視行業而言,得知Sora視頻發布后,時光矩陣聯合創始人郁剛稱自己的心態冰火兩重天,一方面對于影視特效公司而言,該消息算不上一個好消息,自己第一個感覺是“特效公司要死了嗎?”很想將過去學的特效工具“埋了”。

郁剛稱自己過去能想象到AI視頻會發展到這個精度,但沒有想過會這么快,其原本的預測時間是三到五年,結果在一年時間內就達到——從兔年春節到龍年春節,OpenAI實現了從文生文到文生視頻的迭代。但從另一個角度來說,郁剛稱自己很欣喜,從導演角色來說,過去最痛苦的就是拿到劇本之后找錢、找投資方,開了四年公司,賬上虧損欠賬三百萬人民幣,但看了Sora之后,拍視頻、做成特效并放到熒幕上這步最貴的動態預演環節,完全可以通過AI實現成本節省。

郁剛預計,未來AI視頻生態將發生巨大變化,影視行業或將變為服務業,視頻生產的概念也將發生變化。

專業動畫師Owen Fern不認可當下“Sora顛覆行業”的極端觀點,他稱,作為一名動畫師,目前并不對Sora視頻感到害怕,因為動畫制作本質上是需要反復修正的過程,特別是在為客戶服務時更是如此。目前 AI 還無法提供給客戶一個精雕細琢的作品,而只是一些粗制濫造的東西。這些細節看似挑剔,但它們正是客戶對知識產權(IP)或產品所持的態度。

Owen Fern強調稱,Sora視頻的質量的確是令人驚嘆的高,只是就目前而言,它們除了作為展示AI潛力的范例作用外,實用價值仍待觀察。

新加坡Vibranium Consulting副總裁陳沛近期實際使用和觀察了RunwayML、Stable Video Diffusion(SVD)、Adobe Firefly等主流AI視頻服務,通過對比發現,目前AI生成視頻的質感往往達不到最初宣傳的效果,還會在物體行進方向、人物四肢等方面出現明顯錯誤,無法滿足實際應用的需求。

Perplexity AI 創始人之一的Aravind Srinivas表示,Sora雖然令人驚嘆,但其還沒有做好準確模擬物理的準備——正如Sora研究員在報告中提及的那樣。并且,行業并不能很快地在家庭清潔機器人上運行這些巨大的“世界模擬器”的模擬推理。

浙商證券認為,短期內,Sora及同類產品可大幅提升圖像和短視頻的制作效率,改變創意生產及營銷工作流,提升短視頻產品生產力。對于業態更加復雜的長視頻和游戲,受限于模型還無法準確理解因果關系及其他技術難點,現階段或以提供美術靈感支持為主。

中長期來看,浙商證券表示,Sora及同類產品將參與到改變信息生產和分發兩大環節的進程中,PGC(專業生產內容)將廣泛采用AI工具輔助生產,UGC(用戶生成內容)將借助AI 工具逐步替代PGC。此間,AI生成視頻工具的商業化將提速。


weidian.jpg

本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
主站蜘蛛池模板: 成人影院天天5g天天爽无毒影院 | 成人在线免费视频播放 | 成人黄18免费网站 | 韩国日本三级在线播放 | 日韩在线网址 | 人人爱天天操 | 一级爱视频 | 91精品国产免费自在线观看 | 成人精品免费网站 | 4k岛国精品午夜高清在线观看 | 污污香蕉视频 | 免费观看日韩大尺码观看 | 中文字幕在线免费观看视频 | 国产亚洲综合色就色 | 日韩电 影在线播放 | 日韩资源站 | 亚洲精品国产成人专区 | 美女黄色免费在线观看 | 国产高清第一页 | 无遮挡动漫黄漫网站在线观看 | 香蕉视频一级 | 久久精品国产一区二区三区日韩 | www在线观看视频免费 | 天堂资源站 | 国产一区二区精品久 | 亚洲欧美日韩成人一区在线 | 免费看18污黄 | 不卡一区二区在线观看 | 精品影视网站入口 | 宅男噜噜噜一区二区三区 | 99re在线免费视频 | 美国一级做a一级爱视频 | 伊人久久中文 | 人成网站在线观看 | 亚洲精品无码专区在线播放 | 免费黄在线观看 | 国产日韩欧美一区 | 嫩草影院永久一二三入口 | 天堂网在线网站成人午夜网站 | 亚洲黄色美女视频 | 久草日韩|