当前位置 :首页 >> 综艺

字节造芯新进展:编码提升30%、转码“以一当百”,服务项目火山引擎

2024-01-19   来源 : 综艺

图解码器服务都是走在FPGA上的。部分Youtube、电视直播服务里面也在使用FPGA,该格式器连续性格式性能比从业人员标准格式器(GPU)降低30%,在MSU赛事中都多次蝉联最佳4K FPGA格式器封号。

此外,活火山柴油发动机摄像机碧还有ARM板卡侦测器,这个拟议本来是用来默许碧电子游戏、碧手机等情景需要而研发的。我们把新编解码器和指派柴油发动机在ARM指令集上广度复刻和最佳化时之后,经过大现有测算,发现这种算力天然资源在密度、成本正因如此盘性相较x86客户端也有很大劣势。因此,我们也在Youtube情景里面急剧降低这种天然资源的使用量,并做了与碧电子游戏等情景的并池降本。我们这个拟议也在急剧地正则表达式与演进,相信对于摄像机统计分析方法的笔记本电脑替换也将发挥重要的起到。

在冲破感受到国界正因如此盘性,随着大模型等AI技术开发计划的发展和赋能,我们也或许看到了很多有说服力的正因如此盘性和乐观的从机遇,比如「AI修复 」技术开发计划。上周,抖音、中都国电影资料馆、活火山柴油发动机公开发计划表了“再续时光-精华香港电影修复开发计划计划”, 我们首次将AIGC感官大模型应主要用途老片修复情景。受益AIGC大模型强而有力的转化控制能力和比较丰富的本体论基本知识,对精华老片透过正因如此盘的fps降低。

活火山柴油发动机摄像机碧的很多产品控制能力都有AI技术开发计划的才让,例如「笔记本电脑转档」使用了AI重采样拟议,满足了高质量多音频文件分发需要,默许电视直播、Youtube多从前速fps降低;「空从前绝后超清」是基于双眼的主观感受到最优为基准的AI从前指派拟议,该拟议不仅可以降低主观fps,还可以进一步发挥起到连续性带宽降低15-35%。

再就让我们在冲破交互国界正因如此盘性的一些进展和正因如此盘性。在3D和正因如此景技术开发计划正因如此盘性,活火山柴油发动机摄像机碧基于在PICO上的有系统和探索,沉淀了很多优质的控制能力。比如,我们的「VR 360°正因如此景投影」技术开发计划,在明年CVPR Workshop举办的一项比赛中都,双目超分双三次插值保真赛道和360°正因如此景投影超分赛道上,蝉联了双料冠军,技术开发计划控制能力降至从业人员从前列。

从二维到室内空间,从方到有系统,活火山柴油发动机摄像机碧落地了很多国际化时项目,期望为普统一标准户打造动人的感受到。转化传统观念三维改建及神经辐射场技术开发计划,我们摆设了一套主要用途发挥起到有用一个系统情景的挖掘、改建、和播放线或性从前提,具备很高的简洁度和真实感。这项技术开发计划相转化在Youtube、电视直播及RTC等摄像机碧技术开发计划产品中都,便可以发挥起到室内空间摄像机的Youtube、电视直播和实时通信,仍然落地于「抖音专场」「抖音戏腔戏调」「PICO古籍寻随笔」等项目里面,相关正因如此盘性出版在明年的Siggraph上。

另外活火山柴油发动机新媒体实验室自研的三维改建技术开发计划,转化感官改建、多模态改建及SDF技术开发计划,可视高精度、高质量、高稳定性的自动化时改建技术开发计划,主要用途高保真物品及室内空间改建,也仍然统计分析方法在博物馆历史文物改建、电商3D消费者、懂车帝3D看车、幸福里面VR看房,PICO看非洲等项目中都 。

当技术开发计划陷入瓶颈,也许我们可以换一种姿势奔走,在此之后冲破算力,感受到和交互的国界。我们渴望基于抖音大现有有系统和磨光,将沉淀下的火种贡献给从业人员。

通过上面的技术开发计划回馈,我们可以看到正因如此从业人员摄像机化时时期,技术开发计划是纷繁有用的,而在这个每一次中都作为“柴油发动机”的摄像机指派从前提起到就越来越重要,同时也陷入着诸多下一场。

在此之后我则会介绍活火山柴油发动机摄像机碧在这一领域所做的探索有系统,同时把我们共同NVIDIAGNU的新媒体指派从前提BMF(Babit Multi-Media Framework)介绍给大家,这也是欧美首个GNU的除此以外项目,渴望对整个从业人员发挥PW起到,助力快速摄像机化时新某种程度。

△NVIDIA开发计划与技术开发计划部门花旗银行副总裁李曦鹏(左)和活火山柴油发动机摄像机碧的系统技术开发计划艺术总监王悦(右)共同月底GNUBMF新媒体指派从前提

在实际线或性和工程化时落地的每一次中都,很少有项目可以再来正因如此不采用新媒体指派从前提。新媒体指派从前提作为摄像机化时部署的“顶部”,有时候发挥重要的支柱起到。在感受到需要越来越高、更快试错国际化时和该公司情景相转化的大方向下,面对的情景和需要越来越专业化时和时间推移,同时对推算性能和对映异构推算天然资源的运用也指出了越来越多的要求,快节奏的国际化时速率也迫切的期望从前提有强而有力的控制能力,能帮助GNU把各种控制能力和拟议劣势互补、推算机网络、更快落地。传统观念从前提很难很好地对策这些下一场,新一代新媒体指派从前提应运而生。

我们GNU的这套新媒体指派从前提,作为活火山柴油发动机摄像机碧正因如此路由器服务控制能力的基础“顶部”,急剧地根据跨国企业各个该公司和产品的需要透过外观设计、规划设计、正则表达式和线或上磨光,经历了左右3~4年的有系统,直到现在已应主要用途点/电视直播解码器、碧总新编、移动端后指派等主要该公司情景。总结下来,相比传统观念拟议,BMF具有一般而言亮点:

首先,它能默许使用多种语言开发计划推算机系统,并能通过柴油发动机无缝串联在一个pipeline里面指派,还能通过插件化时一个系统管理,降低开发计划稳定性;其次,它能发挥起到调拨柴油发动机广度最佳化时,在降低优点的同时做稳定性无损,对于对映异构平台的默许相比传统观念从前提有较大劣势。它还可以默许多语言接口,对于不尽相同语言的GNU非常友好,越来越容易上手,GNU版本还提供者了比较丰富示例,延展主要摄像机情景,使GNU可以低成本构筑摄像机统计分析方法。同时,它还再来正因如此兼容了ffmpeg的功能和标准,中下层默许了多种从前提间的数据库高效互转。

在此之后我们具体看下BMF的连续性的系统,它分为统计分析方法层,从前提层,推算机系统层,和硬件直觉层。在统计分析方法层,BMF可以对从生产到消费的正因如此路由器摄像机情景透过默许,特别是它也则会默许大量摄像机AI的统计分析方法情景,并在的系统层自研了“自驱调拨”和“一个系统graph”柴油发动机,兼容不尽相同情景的多种指派模式。

在推算机系统层,BMF在外观设计之初就采用了“松耦合”外观设计,直到现在已积累了140+个适主要用途摄像机情景的原子控制能力推算机系统。在硬件直觉层,BMF对多种取向从前提的数据库发挥起到了无缝转换,使多种取向从前提数据库互转和推算机网络变的越来越加平稳和便捷。这里面许多人偏重于的是,我们和NVIDIA透过了紧密的合作伙伴,针对GPU相关的从前提层控制能力、指派控制能力透过了广度最佳化时。

借机,我也特别回馈给大家,BMF直到现在仍然正因如此盘GNU。都有BMF从前提层连续性GNU,9个开箱即用案例,和20+API调用范例,渴望能帮助GNU低成本的构筑摄像机统计分析方法。GNU以后,我们开发计划计划在此之后GNU越来越多一个中都心控制能力,再来善解决拟议,包括默许越来越多对映异构硬件/越来越多原子控制能力/移动端默许等。同时,依托活火山柴油发动机,构筑碧上推算机系统市场,快速摄像机生态建设。

最后,渴望我们的愿景早日达成:面向各行各业,快速摄像机化时某种程度,共建摄像机开发计划生态。

— 再来 —

量子位 QbitAI · 头条号合左右

类风湿关节炎患者怎么缓解
江中多维元素片可以长期吃吗
成扬
塞来昔布与英太青比哪一个更有效
口腔溃疡吃什么维生素
投资者提问:董秘您好!治剂外围何时投入使用?2023年新的经营与扩张计划?

投资者提问:董秘您好!治剂当中心何时投入使用?2023年重新经营方式与壮大开发计划?董秘回答国际医学SZ000516:您好,感谢您对子公司的关注。西安国际医学当中心医院药物...

友情链接