站長資訊網
        最全最豐富的資訊網站

        AI自動剪裁視頻:13分鐘完成剪輯師7小時創作

        鏡頭切換自然,節奏有急有緩,創作這樣高質量的視頻,需要怎樣的專業剪輯技巧?

        答案是,不用剪,會寫就行。

        比如要剪輯一個有關長頸鹿的片段,你只需要告訴AI:

        The giraffe is the world’s tallest animal, and well known for its long legs and neck.

        長頸鹿是世界上最高的動物,以其長腿和長脖子聞名于世。

        It has a brown mane on the neck, and its head has two hairy horns.

        它的脖子上有棕色的鬃毛,頭上長了兩只毛茸茸的角。

        AI就能自動剪輯完成這樣的畫面:

        AI自動剪裁視頻:13分鐘完成剪輯師7小時創作

        先展示一下長頸鹿群的全貌。接著鏡頭切給一只奔跑中的長頸鹿,展示一下它的長腿長脖子。按照指示,再給鬃毛和犄角來個特寫,齊活!

        是的,不再需要費勁挑選素材,一幀一幀地來回倒騰:

        AI自動剪裁視頻:13分鐘完成剪輯師7小時創作

        △剪輯真是體力活

        只需要把你腦海中的創意轉化成簡短的文字,這個名叫Write-A-Video的AI就能讀懂你的心,從選材到剪輯,一站式完成創作。

        這就是北航、清華、哈佛和以色列赫茲利亞跨學科研究中心的科學家聯手打造的最新AI神器,只需主題腳本,就能生成視頻。

        用文字創作視頻

        現在,準備好素材,我們一起來看看,Write-A-Video到底是怎樣“寫”出一個視頻來的。

        AI自動剪裁視頻:13分鐘完成剪輯師7小時創作

        整個過程分為三步。

        第一步,用戶以文本的形式提供輸入。Write-A-Video會挑選出句子中的關鍵詞。

        AI自動剪裁視頻:13分鐘完成剪輯師7小時創作

        第二步,Write-A-Video會利用關鍵詞,把素材庫里與之相匹配的候選片段挑出來。

        文本和鏡頭之間的視覺語義匹配主要包括兩個步驟:關鍵字匹配和視覺語義嵌入。

        首先,AI會根據腳本從素材庫中檢索所有帶有關鍵字標簽的視頻鏡頭。

        素材庫中的所有視頻均被分割為快照,便于語義匹配,還能在下一步正式剪輯視頻時,讓用戶用電影術語來指導AI創作。

        Write-A-Video的作者,北京航空航天大學的汪淼老師介紹說,Write-A-Video允許用戶在輸入文本中使用電影術語,以探索每個場景不同的視覺風格,比如調整電影的節奏,畫面的調動等。

        AI自動剪裁視頻:13分鐘完成剪輯師7小時創作

        此外,采用基于直方圖的分割算法,如果幀與幀之間在HSV色域中的直方圖相差超過80%,并且追蹤的SURF關鍵點80%以上不匹配,那么算法就會以這兩幀為界,切分鏡頭。

        太長(>30s)或太短(<2s)的鏡頭也會被舍棄,因為短鏡頭觀感不好,而長鏡頭會降低效率和可變性

        而后,視覺語義嵌入技術會為每個檢索到的鏡頭計算匹配分數,排名最高的鏡頭就會被選為候選鏡頭。

        AI自動剪裁視頻:13分鐘完成剪輯師7小時創作

        這里采用的方法是 VSE++ (論文地址見文末)。該方法能將跨模型內容編碼到聯合特征空間中,比如把文本和鏡頭聯系起來。

        在嵌入空間中,從鏡頭中每十幀抽取一幀,計算其與文本之間的余弦相似度,最后取平均值,即為判斷鏡頭能否入選的最終得分。

        第三步,就是將這些鏡頭組合在一起,完成視頻的剪輯。

        這一步,其實是Write-A-Video對鏡頭的混合優化。而它也有自己的審美標準。

        首先,畫面應該是明亮而生動的。

        AI自動剪裁視頻:13分鐘完成剪輯師7小時創作

        其次,鏡頭不能晃動得太厲害。

        AI自動剪裁視頻:13分鐘完成剪輯師7小時創作

        最后,要避免不連貫的跳接(jump cut)和相反的相機運動。

        AI自動剪裁視頻:13分鐘完成剪輯師7小時創作

        值得一提的是,Write-A-Video對用戶非常友好。

        AI自動剪裁視頻:13分鐘完成剪輯師7小時創作

        △加上新的文本,對應素材就自動續上了

        查找對應鏡頭,剪切,重新排列,都可以用添加、刪除文本及移動句子等文本編輯的形式進行。不用掌握剪輯技巧,更不用會敲代碼。

        不僅如此,在下面這個視頻中,你會發現,敲進去的文字可以轉成配音旁白,渲染影片氣氛。

        并且,旁白和視頻完全同步,對應得十分自然。提到白金漢宮時,鏡頭就自然地轉到了白金漢宮門前。而提到皇家護衛隊時,畫面便給到了表演中的皇家護衛隊。

        研究團隊表示,跟商用的逐幀處理視頻編輯器比起來,用上Write-A-Video,創作起來快多了。

        有了Write-A-Video,甚至新手,都能以快得多的速度(13分鐘:7小時),完成質量與職業剪輯師差距不大的視頻剪輯任務。

        AI自動剪裁視頻:13分鐘完成剪輯師7小時創作

        △剪輯師用Pr,新手用Write-A-Video

        在剛剛結束的SIGGRAPH Asia 2019會議上,研究團隊報告并展示了Write-A-Video這一成果,得到了國際同行的廣泛認可。

        贊(0)
        分享到: 更多 (0)
        網站地圖   滬ICP備18035694號-2    滬公網安備31011702889846號
        主站蜘蛛池模板: 亚洲综合精品香蕉久久网97| 在线观看自拍少妇精品| 欧美在线精品一区二区三区| www.精品| 青青青国产精品国产精品久久久久 | 国产精品分类视频分类一区| 精品久久久久久无码专区 | 亚洲欧美国产∧v精品综合网| 欧美精品一本久久男人的天堂| 无码国产精品一区二区免费模式 | 麻豆精品久久久一区二区| 欧洲精品久久久av无码电影| 国产成人精品优优av| 国产精品91在线| 嫩草伊人久久精品少妇AV| 完整观看高清秒播国内外精品资源| 无码日韩精品一区二区免费暖暖 | 男女男精品网站免费观看| 国产成人久久精品二区三区 | 国产一级精品高清一级毛片 | 91精品国产综合久久久久久| 久久国产精品成人免费| 国产三级精品三级在线观看| 欧洲精品码一区二区三区免费看| 2021年精品国产福利在线| 老子影院午夜精品无码| 亚洲综合国产精品第一页 | 一区二区日韩国产精品| 欧美成人精品欧美一级乱黄码| 国产91精品黄网在线观看| 91精品国产高清久久久久久国产嫩草| 69久久精品无码一区二区| 99热精品久久只有精品| 久久九九有精品国产23百花影院| heyzo高无码国产精品| 精品福利一区二区三区免费视频| 乱精品一区字幕二区| 久久免费的精品国产V∧| 欧美jizzhd精品欧美| 精品人无码一区二区三区| 国产精品后入内射日本在线观看|