文化科技是文化科技融合过程中诞生的系列新技术成果,是文化强国和科技强国两大战略的交叉领域。2012年8月,科技部会同中宣部、财政部、文化部、广电总局、新闻出版总署发布《文化科技创新工程纲要》,开启了探索文化和科技融合路径的新篇章。十多年以来,各级管理部门在政策层面推动文化科技融合。2022年3月,中办国办下发文化数字化战略,并写入党的二十大报告。在政策指引下,文化科技已成为“十四五”时期文化产业创新发展的动力引擎,文化产业也成为文化科技的重要的“孵化器”与“试炼场”。
3月28日,在“数实蓉合”首场文创主题对话暨腾讯研究院西南基地揭牌仪式上,腾讯研究院正式发布《2022文化科技十大前沿应用趋势》报告。为深入探索文化科技的创新与应用趋势,腾讯研究院联动内部技术团队和外部专家,基于广泛的行业调研,从“虚实共生”“多维视听”“商业创新”“跨界应用”四个层面出发,提炼出2022年文化科技应用的十大前沿趋势。
文化科技的应用与发展,深刻关系到文化与科技两大领域的创新趋势。我们希望通过梳理“文化科技十大前沿应用趋势”,回溯文化科技发展之路上的创新火花,也进一步映照文化科技融合演进的轮廓,助推行业探索具有“文化”与“科技”双重生命力的发展路径。
报告撰写团队:腾讯研究院:陈孟、曹建峰、易镁金、胡璇、童祁、王枢
报告参与团队:腾讯互娱内容生态部虚拟制作团队,腾讯视频演播技术中心,腾讯NExT Studios,腾讯云智慧传媒行业,腾讯云智能数智人团队,光子探索实验室,腾讯SSV数字文化实验室,腾讯多媒体实验室,微信战略研究院,腾讯广告多媒体AI中心,腾讯互娱公共研发运营体系,腾讯IEG战略公关中心, 腾讯云音视频远控团队,腾讯IEG品牌与数字生态营销部整合品牌中心(排名不分先后)
近年来,文化科技在多领域蓬勃生长,不断在新方向大放异彩,已形成“多元融合、多维升级、多向赋能”的发展格局:“多元融合”指文化产业的各个领域都与前沿技术实现了广泛交叉、融合创新,“多维升级”指文化科技促使文化产业链的各环节都实现了效能提升、体验升级,“多向赋能”指文化科技在支撑文化领域发展的同时,也实现了跨界应用、多向赋能。
2022年,文化科技的应用整体呈现虚实共生、视听多维、商业创新、跨界应用四大趋势:
1.文化生产的【虚实共生】助力产业繁荣,虚实融合的技术形态创造新生产力,提高创作效率、减少创新风险。2022年,AIGC进一步激活大众化的内容生产与交互,数字孪生技术助力文化创意更精准地落地,虚拟制作技术引发节目制作技术体系升级,文化生产进一步趋向虚实交融形态。
2.文化消费的【多维视听】迎来再度革新,“多媒视听”全面走向“多维视听”,不断提升真实感、沉浸感、智能感。2022年,AI数字人的智能服务成为数实融合的“连接器”,实时3D数字建模技术让文化遗产得到“数字永生”,“超高清视频技术+社交推荐技术”重塑云演艺形态,文化消费的空间更加丰富多维。
3. 文化经济的【商业创新】重塑业态,文化科技推动创意营销“提质增效”,构建连接文化与消费、数字与实体的新桥梁。2022年,区块链技术激活数字藏品市场,助推传统文化实现创造性转化;视频广告智能生成技术的升级,带来视频广告领域的生产力变革,文化创意的产品化、商业化路径更加智能多元。
4. 文化科技的【跨界应用】由点及面,从社会消费端向生产端延伸,广泛发挥“以数促实”的价值。2022年,音视频技术、游戏技术等文化科技成果,不仅支撑文化产业升级,也以丰富的数字化场景促进社会高效协作、实体产业转型,助力企业降本、增效、提质并最终走向全真互联。
核心内容:AIGC即“人工智能生成内容”(AI-generated Content),是区别于UGC、PGC等互联网上人类生产内容的全新的内容生产方式,代表着AI技术向创造力的跃迁。2022年,随着生成式AI(Generative AI)技术的快速发展创新,尤其是AI大模型和多模态AI技术的融合发展,以生成式AI为代表的AIGC技术的通用化能力和工业化水平快速提升,并将给文化内容的生产与交互方式带来深远影响。
生成式AI是驱动AIGC发展应用的技术引擎,2022年无疑是生成式AI的“高光时刻”:
一是扩散模型、GAN、NeRF等生成算法模型在性能、稳定性等方面实现突破,极大提升了AI生成内容的质量、类型的丰富性。同时,多模态技术让不同类型的数据可以相互转化和生成,进一步提升了 AIGC 内容的多样性,文字转图像、文字转视频、静态图片转3D动态场景、3D内容创建等应用类型不断涌现。例如,OpenAI的DALL-E 2、Stable Diffusion、MidJourney等可以生成图片的AIGC模型引爆了AI作画领域,让AIGC加速进入公众视野,各主流互联网公司也纷纷推出自己的图片、视频生成模型。
二是拥有巨量参数(目前已超万亿)的预训练大模型具有更强的通用性,引发了 AIGC 技术能力的质变。同一个模型可以完成多种多样的内容生产和交互任务,而无须针对每个任务分别训练模型。AI大模型的发展显著提升了AI的工业化能力,足以支持构建自动化内容生产的“工厂”和“流水线”,给大众内容生产“提质增效”。
基于AIGC可以实现高效率、高质量的自动化内容生产,将给文化内容产业带来多重创新与变革。
首先,AIGC应用为文化艺术创作提供了创意辅助工具,并有望拓展文化创作的叙事空间。AIGC可以形成智能化的“试验场”,同时也能作为人类想象力的“发动机”,为文化创作探索更广阔的叙事空间,甚至支持人们创造新的艺术风格。
其次,AIGC应用将影响文化艺术创作的工作流程,有望大力提升文化生产力。随着文字内容生成、语音生成、图像生成等AIGC应用日趋完善,以及视频生成、3D内容生成应用的持续突破,AIGC应用将助力简化文化内容的创作流程,丰富文化产业的生产供给。
此外,AIGC应用将降低文化艺术创作门槛,或将促使文化生产与消费进一步“大众化”。随着生成式AI模型的软件开源、API接口开放等,越来越多的“大众式”AI内容生产工具不断出现,让普通大众可以通过AIGC参与文化艺术创作,将使文化艺术的生产与消费进一步走向大众化。
△游戏设计师杰森·艾伦使用Midjourney模型生成的《太空歌剧院》是首个获奖的AI生成艺术
核心内容:2022年,北京冬奥会首次实现了数字孪生技术在奥运会中的应用,卡塔尔世界杯也将数字孪生方案应用于赛事场馆的统筹管理。数字孪生技术在智慧场馆领域广泛应用的同时,也开始服务于文化创意环节,为场馆内的节目拍摄、创意落地提供“预演”的空间。文体活动天然具有高风险的特点,数字孪生支持的“虚拟预演”有力地降低了演出、赛事以及节目制作中的不确定性。
数字孪生主要涉及数字支撑、孪生构建、人机交互三大类技术。近年来,伴随3D建模、物理仿真、影像技术、实时渲染等单点技术的突破及交叉融合,孪生构建技术实现快速发展。其中,Unity、Unreal 等游戏引擎以实时渲染能力为数字孪生展示提供了新的解决路径, 促使数字孪生进一步走向实时和灵活部署。
基于实时交互能力的优化,数字孪生技术能够在广泛场景下支持人们对物理空间与活动过程进行仿真预演,加速了数字孪生技术在文化创意活动中的应用。2022年,奥运会、世界杯等国际赛事带动数字孪生与文体场景的结合走向成熟,各类文体场景的孪生体正在加快构建中,成为助推文化创意落地的基础设施:
一是实现文旅景区、文体场馆等空间的可视化、智能化监测,保障文化活动的安全管理与顺畅运行。通过虚拟仿真技术搭建文化遗产、景区、体育馆等场景的“副本”,既能够支持观众进行虚拟游览,也能对场景进行可视化、实时动态的监测与管理。
2022年卡塔尔世界杯通过数字孪生方案,为每个体育场都构建了一个“3D数字孪生”,将八大赛事场馆连接为一体,并从约4万个物联网设备获取实时数据。基于这套技术方案,数字孪生统一指挥中心能够实现对赛场的实时可视化监控、远程指挥控制,以更高的效率解决问题、保障体育赛事的运营安全。
△卡塔尔世界杯利用数字孪生技术,将八个场馆打造为交互式数字模型,并转变为一个连接的数字空间
二是支持文化创意在仿真场景中进行预演,推动演出、赛事等内容的制播更加高效、精准。传统节目制作中,为了给观众呈现最佳视角,往往需要在平面图纸上先行设计拍摄机位与方案,再到实际场地进行反复查勘与试验。而数字孪生技术则能够在三维空间内搭建完全仿真的场景外观,能帮助媒体“足不出户”地完成拍摄方案设计。2022年,北京冬奥会首次以数字孪生的方式搭建了“VSS虚拟场馆仿真系统”,支持媒体完成“线上彩排”。
未来,数字孪生技术有望被应用于更多文化活动的组织与创作环节,以“身临其境”的远程方式减少创意演练的人力、物力成本,对文化产业产生更为广泛的影响。
趋势3. 虚拟制作技术应用提速,引领视听节目制作技术体系升级
核心内容:2019年上线的美剧《曼达洛人》在拍摄过程中采用了突破性的虚拟制作方法,为内容制作领域带来了革命性的影响。虚拟制作主要借助LED和游戏引擎打造虚拟场景,并与拍摄现场的真实人物实时融合。2022年国内虚拟制作技术的应用提速,并引发视听节目制作技术体系的变革。
当前虚拟制作技术有多个细分应用方向,具有代表性的技术方向包括VP(Virtual Production,虚拟制片)与XR(Extended Reality,扩展现实)等。 影视制作中,相比传统的绿幕制作,虚拟制作在制作效率、沉浸感、灵活性等方面具备明显优势:
传统的绿幕制作主要采用“绿幕+色键抠像+虚拟包装系统”实现,制作特效是在绿幕前拍摄好再进行后期合成,无法实时看到合成效果,真实感、沉浸感往往受影响,同时迭代成本高昂; 虚拟制作采用实时渲染技术将照片级别的动态数字场景,在LED显示屏上还原,并搭建拍摄场景,运用摄影机追踪系统定位空间、位置信息,实时映射人物与场景的空间关系,不仅能让演员沉浸其中,还避免了耗时的合成制作渲染阶段,优化内容制作的效率。
2022年,随着虚拟制作硬件成本下降、技术成熟,虚拟制作在国内的应用提速,尤其在综艺、晚会等领域实现了广泛的应用。同时,国产化团队和技术的出现,为国内虚拟制作技术的自主可控奠定了基础。例如,2021年10月,腾讯互娱内容生态部在深圳坪山国际影视文化城打造的虚拟影棚正式落地,成为国内首个VP和XR系统融合的虚拟制作影棚。
△腾讯互娱CDD深圳坪山虚拟影棚是国内首个VP和XR系统融合的虚拟制作影棚
虚拟制作技术的商业化与应用提速,引发了视听节目制作技术体系的变革:
一方面,虚拟制作技术拓展了现实舞台场景,丰富了视听节目的表达空间。2022年,虚拟制作被越来越多地应用于电视台和网络节目制作中,呈现出多样化的视听设计。2022年,河南卫视“奇妙游”系列节目通过“5G+XR”技术实现舞台与虚拟场景特效的结合,将河南历史文化中最耀眼的元素与精彩的歌舞、戏曲、武术等艺术表演结合起来。
△河南卫视借助虚拟制作技术制作出《唐宫夜宴》等作品,实现传统文化创造性表达
另一方面,虚拟制作技术增强了实时交互体验,塑造了“虚拟化在场+实时互动”的内容直播效果。2022年腾讯冬奥会节目《赢战冰雪》邀请了数字人“星瞳”在演播室参与赛事解说,借助远程动捕技术和自研的“交互连线系统”,使“星瞳”与真人嘉宾同台互动长达8小时,极大地丰富了传统的演播室内容效果。
△虚拟偶像“星瞳”在冬奥节目中与真人嘉宾实时互动,进行赛事解说
可以预见的是,伴随技术与应用的不断成熟,虚拟制作将成为数字文化产业的重要生产工具,推动内容制作流程和效率全面升级,让影视与节目内容的制作不再局限于有限场域,真正打造出“科幻级”的视听体验与感官想象。
核心内容: 伴随数字人生产效能的提升,2022年高保真数字人、超写实数字人、AI数字人在多方向的应用进一步成熟,为行业效率提升、服务升级提供人性化的工具,引发了数字人社会应用的新爆发。
近年来,计算机图形学、图形渲染、动作捕捉、深度学习、语音合成等技术不断融合发展,共同推动数字人的创作进入了更加成熟高效的阶段,极大地提高了数字人的制作效能:
一是数字人生产管线进一步完善成熟,制作效率不断加快。从早期由画师、建模师一笔笔、一帧帧地画出人物,到现在可以借助光场技术快速形成高精度模型;二是从游戏产业孵化出的工具化产品加快数字人的制作流程,比如腾讯NExT Studios自研的xMoCap®——3A级动捕动画全流程管线,集角色绑定、动作捕捉、动画工具、资产管理及动捕数据库为一体,能够支持大型团队协作、云端海量资产管理、高保真3D角色动画生产,符合3A游戏的开发需求。
2022年,伴随数字人生产效能的提升,社会生活与服务场景下的“数字人含量”实现爆发式增长。
一方面,高保真数字人、超写实数字人提升了信息交互的沉浸感,为新闻报道、直播、综艺等领域提供了创新业务形态、吸引年轻人的突破口。
数字人作为语音、3D视频等多种媒介要素的集大成者,能够提升内容的创意性、交互性、沉浸感。2022年,数字人在真实感、精细度等方面再上新台阶,例如新华社联手腾讯公司NExT Studios打造的全球首位数字航天员小诤,作为超写实数字人实现了逼真、细腻的外形塑造,在航天新闻报道、知识科普等领域和年轻人群建立沟通,成为数字人助力媒体融合的典型案例。
△数字人“小诤”采用腾讯NExT Studios的制作管线和实时渲染技术,制作出真实细致的面部
另一方面,AI驱动的数字人能够在各类场景提供接近真人的服务,成为传媒、文旅、金融等行业数字化转型的“加速器”。
2022年,数字人整合语音交互、自然语言理解、图像识别等AI能力,成为“数字员工”,进入传媒、文旅、金融、电子商务等领域,承担资讯播报、文旅导览、坐席客服等多元角色。例如,腾讯云智能联合腾讯内容平台部等技术团队打造的央视频AI手语主播“聆语”参与国际冰雪赛事,首次实现了AI手语解说赛事直播,可以用手语表达超过160万个词汇和短语。在企业服务领域,结合行业知识图谱,数字人能够通过不断的自学习、自适应提升服务能力,助力企业数字化转型力,越来越多的“数字员工”开始走进千行百业。
△国际冰雪赛事期间,数智人“聆语”协助听障人士无障碍观赏体育赛事
趋势5. 3D数字建模高精度还原文化遗产,助力传统文化“数字永生”
核心内容:通过3D数字建模对文化遗产进行数字化生成,真实再现或者还原已经消失在历史长河中的遗迹,这种文化数字化的路径在2022年步入应用爆发期。随着扫描建模技术、引擎渲染技术、PCG(Procedural Content Generation,程序化内容生成)等技术的进步,文化遗产的3D还原走向更加精细、逼真、具有沉浸感,开辟了传统文化“数字永生”的新路径,也进一步拉近大众与文化遗产之间的距离。
例如,故宫和腾讯联合主办的“纹”以载道——故宫腾讯沉浸式数字体验展,向大众展示了“故宫最大裸眼3D文物”,让文物实现22倍高清放大,使用户体验到实物展也难以感受的丰富细节,同时打破物理空间限制,将故宫文物展览“搬运”到距离故宫博物院两千余公里外的广东深圳,实现了“文化+科技”的创新融合发展,以数字技术助力文化遗产焕发新的活力。
△故宫和腾讯联合主办的“纹”以载道——故宫腾讯沉浸式数字体验展,向大众展示了“故宫最大裸眼3D文物”,助力文化遗产焕发新的活力
目前通过3D建模助力文化遗产数字化的方式,主要归为两种:
一是将现实世界中的文化遗产,通过激光或者照扫的方式,制作为数字模型。比如,3A级游戏常使用的照相建模(photogrammetry)技术,通过激光扫描文化遗产实际形状、单反拍摄照片(贴图)、无人机拍摄大致地形等方法,能够实现对文化遗产的精准摄影测量,以保证实现实物级别的3D逼真还原。目前在对精妙珍稀的小型文物进行数字化扫描时,通常使用16K高精度照扫模型制作。16K代表贴图分辨率, 数值越高,照扫出来的模型精度就越细腻。
△在陕西历史博物馆的协助下,腾讯光子探索实验室依托自研的16K照扫全流程技术处理流和OSD实时点云生成系统,对彩绘雁鱼灯、鸳鸯莲瓣纹金碗、三彩骆驼载伎乐俑、牛尊、多友鼎五件珍贵文物进行了摄影扫描与数字模型制作,最大程度地还原文物真实材质纹理等细节
第二种方式是在3D建模软件中建构模型,让已经消失的文化遗产在数字世界中“复生”。借助Houdini、ZBrush、Adobe Substance 等三维内容制作软件制作场景,同时可以通过PCG(程序化内容生成)工具,利用算法来自动生成相应的内容。
在底层技术支持上,目前3D建模有WebGL(Web Graphics Library)和游戏引擎两种展示方式。前者被集成到主流浏览器中,让2D和3D模型在网页中进行很好的展示,完成轻量化的模型展示效果,但性能会受到很大的限制;而通过游戏引擎,可以实现视觉呈现质量好、性能高,同时实景互动、沉浸感强的展示效果,让用户以更具沉浸感的方式体验文化遗产的魅力。
核心内容:2022年,演唱会作为演艺行业线上转型的“排头兵”,在“云模式”下重新构建了演唱会内容的供给与分发方式,探索出相对成熟的市场模式。其中,“超高清视频技术+社交推荐技术”的结合,还原了线下演出的沉浸感、实时性、社交性三大优势,打通了线上演唱会高质量供给、高效率分发的路径,也引发了演出市场的现象级热点。
一方面,超高清视频技术的成熟,保障了线上演唱会的高质量内容供给,为用户提供了接近现场般的观看体验。同时,智能超高清视频修复技术进一步丰富了超高清内容的供给。在超高清内容生产端,长期存在着超高清内容制作、经典老片及视频转高清的成本高、效率低等痛点,通过AI视频修复技术,能够使大量画质欠佳的经典文化作品“经典重生”。
例如,2022年微信视频号联合腾讯多媒体实验室、TME live推出的张国荣《热·情》演唱会,采用多媒体实验室研发的“光影焕新智能修复引擎”,利用该引擎的智能分析、画质修复、画质增强、智能编码四大模块,修复了因时间跨度大带来的划痕、噪点、失真、色彩等问题,使演唱会内容的分辨率提升了6倍。
△张国荣《热·情》演唱会采用腾讯多媒体实验室研发的“光影焕新智能修复引擎”,使修复版演唱会的分辨率提升6倍
另一方面,直播技术与社交推荐技术的结合,提升了演唱会的线上分发效率,进一步还原线下演出的实时性、社交性等优势。直播能通过实时的表演赋予受众 “参与感”和“共享感”,而直播内容要形成广泛的影响力,往往还需要连接社交场景、具备“社交货币”的功能。2022年,云演艺在具有社交属性的短视频平台落地,为用户搭建了基于观看演出进行共享交流的桥梁,有效激活了演唱会的市场热度。
其中,微信视频号基于“社交关系+兴趣推荐”的传播路径,使直播与朋友圈、群聊等社交场景连接,为用户提供了“实时观看演出+同步交流分享”的体验,营造出如同线下观看演唱会的社交体验;同时,观众基于分享的诉求转发直播内容、形成裂变式传播,助推云演艺引发了广泛的“同情共振”。
核心内容:2022年,区块链技术在文化产业实现多元应用,助力数字版权保护领域提高确权效率、降低维权成本的同时,也推动了国内数字藏品市场兴起。区块链技术能够赋予每个文化艺术作品唯一的哈希算法标识,使文化资源可以确权成为区块链上独一无二的数字资产,即数字藏品,得以兼具文化价值、收藏价值。
在国外,数字藏品的商业模式源于NFT(Non Fungible Token,非同质化通证),我国对数字资产交易实行审慎监管,国内数字藏品主要依托各平台旗下的联盟链发行。2022年,国内数字藏品市场的快速发展也为文化业态重塑、文化产品创新带来深远影响:
一方面,数字藏品为传统行业创造了低成本的营销路径,成为传统行业探索数字化转型的新抓手。2022年,央媒、地方电视台、各地景区和企业纷纷推出具有自身特色的数字藏品。数字藏品为文化艺术作品等创造了新的市场空间,和线下实体经济实现了紧密连接,使传统企业能够以便捷、低成本的方式连接消费者与数字世界。
另一方面,数字藏品使文化资源以数字化的形式释放新价值,助力传统文化资源实现创造性转化。基于数字藏品题材的包容性,文化遗产、音乐、影视、画作、表情包等各类文化创意资源都可以转化为数字藏品,以更年轻潮流的方式传递文化价值。同时,数字藏品能够打破时空局限,让文化艺术的观赏和收藏进一步走向大众化,推动大众对传统文化形成更多的关注与理解。2022年,舞剧《只此青绿》、陕西凤翔木版年画《天河配》推出数字藏品后,均受到广泛欢迎,构建出传统文化IP触达观众的新方式,也展现了中华优秀传统文化IP的新生命力。
△2022年3月,舞剧《只此青绿》推出演出行业首款数字藏品纪念票
数字藏品在文化科技深度融合的背景下兴起,对推广传统文化起到了积极作用,同时也在政策的引导下呈现“脱虚向实”的趋势,与传统文化企业、实体经济实现广泛的结合。随着全球数字化进程加快,数字藏品将在规范有序的发展路径下,进一步构建连接文化与消费、数字与实体的新桥梁。
核心内容:随着视频时代的到来,以独立视频广告、贴片视频广告和短视频原生广告等为代表的视频广告形式日益受到品牌方的青睐,引发了广告主对于视频广告创作诉求的激增。同时,伴随互联网广告系统的逐步进化,AI技术和视频广告生产的结合日益丰富。2022年,视频广告智能生成技术及其应用走向成熟,极大地降低了视频广告的制作及投放成本,也进一步释放了视频广告的创新能力。
首先,视频广告智能生成技术能够增强创作能力,极大地提升视频广告的生产效率。依托于多模态视频标签、视频时序解析、视频封面图生成等算法能力实现视频广告的智能生成,可以通过结构化视频广告叙事框架,让广告创作的生产效率得到指数级的提升。例如,腾讯广告智能创作引擎实现了多项自动化视频创作能力,能够支撑日均生产十万条量级视频广告,每日生成的视频数量从2020年到2022年增长了150倍。
△智能创作引擎助力腾讯广告的视频产能提升
其次,视频广告智能生成技术能够自动生成配音、特效等元素,丰富视频广告的创意玩法。在AI的助力下,实时输入文本、音频、图片等元素,就能够生成含有配音或者特效的视频成片。
此外,视频广告智能生成技术还能助力广告提升质量、适配平台,降低广告的投放门槛与成本。通过AI算法、人工运营的有机结合,能保障视频广告符合媒体端平台的投放要求,提升视频广告适配效率。
广告自身就是文化创意产业,同时也能反哺各文化细分产业的发展。对于影视、综艺、体育赛事等行业而言,视频广告的智能化生产一方面能促使商业化变现更加高效、灵活,另一方面也能帮助广告主更加形象生动地塑造品牌形象,增强用户观看广告的趣味体验、快速占领用户心智,使广告主对于投放效果和效率的二元需求得到更好的满足。
未来,视频广告智能生成技术方面将有更为广阔的想象空间。智能创作技术将会让广告的品牌效应和效果效益的鸿沟日益打破,通过智能分析影视、综艺、体育赛事直播等视频内容的场景,用更少时间、更精准地识别场景和融入广告,并实现品牌展示和商品购买的融合,让“所见即所得”,不断缩短广告转化的链路。
核心内容:2022年,游戏产业在硬件和软件突破的加持下,向实现更大规模、更流畅、更逼真的实时3D体验进发,也推动游戏引擎实现了更广泛的跨界应用。以游戏引擎为代表的数字交互引擎,不仅能够支持游戏创意落地,也能助力实体经济领域进行测试、演练,正在成为建筑设计、汽车制造、航空航天等实体领域的“新型工业软件”,为“超级数字场景”的构建提供底层技术支撑。
一方面,游戏引擎能支持文化创意活动,丰富沉浸式体验,并有望打造文化领域通用、开放的技术能力。例如,2022年北京冬奥会开幕式的表演创意先在游戏引擎中进行模拟呈现、预览调整,然后才落地真实世界,有效提升了内容制作、表演协同的效率。
文保场景中,敦煌研究院联合腾讯推出“数字敦煌”项目,通过数字照扫、游戏引擎、云游戏等游戏技术,毫米级高精度复现了敦煌藏经洞及其百年前室藏6万余卷珍贵文物的盛况,生动演绎藏经洞及文物背后的千年文化故事。北京文物局与腾讯联手发起的“数字中轴”项目,通过高清数字照扫及多种游戏技术的结合,还原了北京中轴线文化遗产的风貌。“数字中轴·小宇宙”产品将于2024年6月上线,打造全新的沉浸式观展体验,让大众足不出户就能体验北京中轴线背后丰富的历史文化。
△2023年,由国家文物局指导、敦煌研究院和腾讯联合打造的“数字藏经洞”,运用游戏技术首次毫米级高精度数字化还原莫高窟藏经洞及其文物、壁画细节,打造风格化沉浸式深度互动体验,让用户一键“穿越”到晚唐、北宋、清末等历史时期的敦煌,亲身“参与”藏经洞从洞窟开凿、室藏万卷、重现于世、文物流散到再次聚首的整个历程
另一方面,游戏引擎能跨界至工业制造等实体领域,打造测试、演练、交流的虚拟空间,实现“以数促实”。自动驾驶仿真系统中普遍使用游戏引擎构建逼真的城市路网场景,50%的建筑行业专业人士已尝试使用游戏引擎作为渲染平台。
游戏引擎可以增强传统工业软件在3D显示、智能交互等方面的能力,正在成为“新型工业软件”。例如,腾讯游戏正在和南航翔翼深度合作,基于腾讯自研游戏引擎能力,利用游戏资产制作流程和PCG(程序化内容生成)技术,打造国产自研全动模拟机视景系统,模拟飞机起飞、着陆、巡航等各个时段的拟真画面和实时动态,助力填补民用航空工业技术空白,让民航飞行员训练更高效更安全。
△腾讯游戏正在和南航翔翼深度合作,打造国产自研全动模拟机视景系统,助力填补民用航空工业技术空白,让民航飞行员训练更高效更安全
未来,各行各业的数字化转型将产生更多对实时3D场景、沉浸式人机协作与交互的需求。以游戏引擎为代表的数字交互引擎,有望在新型终端、云边协同等领域实现广泛应用,成为更多社会需求的创新解决方案,助力构建一个具有丰富价值与可能的“超级数字场景”。
核心内容:音视频技术是社会信息交互、连接协作的底层技术,应用已经从消费互联网走向产业互联网。随着实时音视频技术(Real-time Communication,RTC)在稳定性和流畅性方面实现提升,2022年,以RTC技术为核心的远程实时操控类应用发展迅速,并广泛落地于生产作业、专业服务、大众消费体验等各类场景。
远程实时操控由于操作复杂、感知要素多样,对操纵流畅度、视频反馈及时性要求高,相比直播、会议等传统实时音视频场景,需要更低的网络传输的时延、更高的可靠性,是对 RTC技术的极致挑战。
近年来,5G 技术改善了网络带宽与网络时延,推动RTC技术实现多项能力的升级:一是实现更低时延,使音视频端到端延时缩短至100毫秒以内;二是强化安全可控,满足远程操控对安全性的高要求;三是抗弱网,在做到极致的低延时同时保留抗弱网的能力;四是全网络场景支持,面向公网场景、专网场景以及混合网络场景,能够自动找到最近的接入路由、降低端到端的时延。
2022年,技术的突破助力远程实时操控应用跑出“加速度”。当前在远程操控场景下,音视频技术可以跨界应用于多类场合:
第一类是生产作业类场景。在高危和环境恶劣的作业场景下,5G和RTC技术的结合,能够以远程操作的方式替代工作人员“在场作业”,实现少人化和安全作业。
自动驾驶的远程介入、应急接管是其中的典型应用场景。通过远程实时操控,一个远端安全员能够同时看管多辆无人设备,并应急处理自动驾驶发生的意外情况。当前矿山的无人矿卡、港口的无人集卡都已进入实际落地运营阶段,例如,5G技术和腾讯实时音视频(TRTC)的融合,可以在时延100毫秒以内,实现对车辆一对多、集中远程的实时控制,以“无人矿车”助力行业生产安全与效率双提升。
△5G技术和腾讯实时音视频(TRTC)的融合,以“无人矿车”助力行业生产安全与效率双提升
第二类是专业服务类场景。传统的实时音视频主要是支持人与人的线上交互,而远程操控为“线上人力向线下服务”带来了全新可能。在远程医疗领域, 5G和RTC技术的结合能够支持实时影像的高清、流畅传输,让处于线上的医生如同“在场”一般对病人进行检查、诊断与手术。
第三类是大众消费体验类场景。在5G和RTC技术的支持下,远程操控使“线上用户体验线下资源”成为可能。例如在“无人机云旅游”场景下,用户通过操控无人机,在家就可以自由观赏风景、获得旅游体验。
△5G和RTC技术的结合能够助力远程医疗的实现,促进医疗资源普惠
音视频技术将成为构建“全真互联”的核心技术之一。当前技术融合的速度明显加快,实时音视频技术和5G 、VR/AR等技术的深入融合,使将人与人、人与物、物与物实现更深层次、更逼真的连接,为社会协作、实时交互提供更加顺畅便捷的渠道,愈发成为打破时空局限、推动“在线”转向“在场”的桥梁。
参考资料来源:
[1]AI for the Next Erahttps://greylock.com/greymatter/sam-altman-ai-for-the-next-era/
[2]曹建峰、胡璇:《人工智能技术趋势的六大影响:从大数据到大模型,从UGC到AIGC》,https://mp.weixin.qq.com/s/Z7k1zNj9MFM0g7fmXNNpvQ
[3]看数字孪生如何赋能智慧场馆,卡塔尔世界杯开赛https://baijiahao.baidu.com/sid=1750726951039140865&wfr=spider&for=pc
[4]这一次,我们找到了冬奥背后的隐形规划师https://baijiahao.baidu.com/sid=1725024990142235343&wfr=spider&for=pc
[5]整体成本年均降幅高达20%,Mini LED市场蓄势爆发背后仍存隐忧https://baijiahao.baidu.com/sid=1734977794489933630&wfr=spider&for=pc
[6]国内首个好莱坞级xR影棚投入使用,中国虚拟制片技术步入深水区https://baijiahao.baidu.com/sid=1731430633622959635&wfr=spider&for=pc
[7]冬奥新看法|5G+XR开启冬奥观赛新方式https://baijiahao.baidu.com/sid=1724485977256273657&wfr=spider&for=pc
[8]揭秘虚拟人动作真假难辨的秘密https://baijiahao.baidu.com/s?id=1744546011402360731&wfr=spider&for=pc
[9]全球首位数字航天员小诤亮相 人物逼真对标3A游戏http://vr.sina.com.cn/news/hot/2021-06-21/doc-ikqciyzk0898720.shtml
[10]解锁数字人潜能https://www.tencent.com/zh-cn/articles/2201380.html
[11]光子X陕西省文物局| 以游戏技术助力文物数字保护https://mp.weixin.qq.com/s/HDO48WPGK5bnYdWcZtP9jw
[12]全球首次 1:1 数字还原人类大型文化遗产https://game.qq.com/web202207/technology-1.html
[13]张国荣演唱会修复:“修旧如旧”分辨率提升6倍,眼神有特别算法https://baijiahao.baidu.com/s?id=1728981737772256851&wfr=spider&for=pc
[14]新可能!区块链技术赋能文化产业http://kpzg.people.com.cn/n1/2021/1115/c437610-32282396.html
[15]数字藏品受追捧,是“风口”还是“虚火”?https://baijiahao.baidu.com/s?id=1733225529543643427&wfr=spider&for=pc
[16]《只此青绿》推出演出行业首款数字藏品纪念票https://baijiahao.baidu.com/s?id=1725787788940570698&wfr=spider&for=pc
[17]数字藏品:传承优秀传统文化的新载体https://baijiahao.baidu.com/s?id=1747708243282653079&wfr=spider&for=pc
[18]中国AI广告营销行业概览https://www.leadleo.com/
[19]腾讯广告创意:智能创作引擎https://cloud.tencent.com/developer/salon/live-1466
[20]腾讯杰出科学家刘威:多媒体AI技术如何让广告系统更“智能”?https://juejin.cn/post/7165686623139528717
[21]“SPARK 2022”腾讯游戏发布会:40余款产品与项目重磅发布,探索游戏技术的新价值与新体验https://new.qq.com/rain/a/20220627A0CB8200.html
[22]一文读懂游戏引擎:核心问题、适用场景与下一个十年https://new.qq.com/rain/a/20210604A08QP900
[23]低延时实时音视频在5G远程操控场景的应用实践https://mp.weixin.qq.com/s/qKzNI3MbPKsF6Lm0tKtgnA
来源 | 文化产业评论
版权声明
凡来源为SCCTT海峡文创智库网的内容所有权归属原作者。SCCTT海峡文创智库仅提供信息发布平台,文章内容系作者个人观点,不代表SCCTT海峡文创智库对观点赞同或支持。部分经网络转载内容,如有侵权烦请联系我们以便及时删除。
参与评论
您还可以输入400个字符