都市快报报道 宋画《归去来辞书画图》中,诗人陶渊明正在画中“朗读”自己的《归去来兮辞》,眉宇间的表情与动作,和真人一模一样,仿佛从画中又活了过来。
昨天,又是传统中秋佳节,杭州图书馆馆藏文献及古籍里的人物因为“复活”而登上了《新闻联播》。
昨天的杭州图书馆,电子屏上《月夜拨阮图》《韩熙载夜宴图》《卢鸿草堂十志图》《归去来辞书画图》等十多幅宋画的主人公集体开口说话,在画中活灵活现地“朗读”古诗,吸引了很多人的驻足。
杭州图书馆副馆长梁亮说,杭州图书馆里有很多馆藏文献以及古籍,记录着南宋的文化和生活。这次,通过与达摩院合作的方式,将古籍与AI技术相结合,原本固化的古籍插图变成有声有色的动态图片。
比如《归去来兮辞》,是南宋佚名画家描绘了陶渊明解甲归田的豪言壮语。同时,选取了馆藏古籍中的一部分内容,包括像《红楼梦》中的人物画像,让贾宝玉自己来朗读文中赞美的词句,在书中眨眼、开口。
“希望通过新技术,让更多的后代熟知宋代历史文化,让宋韵文化传承下去。”梁亮说。
达摩院AI工程师唐铭谦说,“古籍会说话”这个项目,通过AI技术,将古籍或者插画中的人物能够拥有像真人一样的表情动作和语言。里面涉及了两项 AI技术:人像的动态建模和视频生成技术。“首先需要一张古籍的原图,和朗诵者的一个驱动视频。AI做的事情就是分别提取驱动视频和古籍的原图,并做人像动态建模,然后将两者对齐与合成。”
为了实现这个目的,需要去对插画和驱动视频进行人像的动态建模,提取中间人物和视频中间的关键点序列。利用这些关键点序列去合成新视频,在合成新视频中,既要保存合成视频,又要保持古籍中间的细节纹理。
不过,这并不是一件容易的事。“在这个过程中间,因为古籍本身的清晰度不太够,质量相对来说比较低,所以要同时进行超分辨率重建,使得生成的视频既保留它的韵味,又能够像一个真人一样有他的表情动态和语言,同时又是一个相对高质量的视频效果。”唐铭谦说。
这里面涉及两个难点 ,一是让古籍书画“活”起来需要一段真人朗诵视频,但朗诵者头部运动幅度较大,容易导致生成视频变得模糊;此外,因为古籍书画的清晰度较低,AI算法既要保持原有的古风古韵,也要为图画增加逼真的五官动作、表情。
古籍活起来这个项目,是唐铭谦和其他几个达摩院的工程师利用业余时间做的一个AI公益项目。
梁亮说,为了打造集智慧化文化服务于一体的文化综合体,从去年年中,杭州图书馆与达摩院开始接触联系。“传承历史文化,让更多的历史不再是限于纸上,而是科技化地呈现在市民读者的眼前。这可以增加现在人们不同的阅读方式,适应更多人的阅读习惯。”
达摩院AI算法工程师唐铭谦表示:“通过AI技术让古籍古画‘活’起来,以一种新的方式呈现宝贵的历史资料,这是一次科技和文物领域的碰撞和交流,未来AI在文物保护和典籍传承上将发挥更大的作用。