开发者在声网 Agora RTC SDK 的基础上,可通过集成火山引擎 AI 视觉 SDK 来获得跨平台、功能丰富、高可用的视觉特效技术解决方案,用于视频直播、短视频、社交娱乐、在线教育、互动娱乐、运动健身等场景。
业内高端的算法效果,高精度,高性能,低功耗。
针对低配置、大屏、CPU 降频等极端场景优化,性能优越。
头条、激萌、轻颜相机等亿级用户的 app 选用,产品成熟可信赖。
复用或二次创新抖音、抖音火山版、轻颜、激萌等用户喜爱的玩法和技术,降低市场调研和用户训练成本。通过抖音、火山、轻颜、激萌等高 DAU 产品的服务经验,准确地理解和把握用户需求。
算法工程师持续升级算法,服务工程师提供可靠支持。基于视觉领域的创新和探索,满足各行业合作伙伴的技术需求,持续创新算法,拓展新场景新功能。
算法响应业务需求而持续迭代,助力效果不断优化。经过产品打磨和技术沉淀,实现丰富多样的算法和特效,且接口友好,满足产品长期规划的功能拓展。
类目 | 功能 | 详细功能点 |
---|---|---|
特效能力 | 美颜 | 美白、磨皮、锐化 |
美型 | 瘦脸、窄脸、大眼、瘦鼻、下巴、额头、嘴型、微笑、眼距、眼移动、缩人中、小脸、眼角度、瘦颧骨、下颚骨、长鼻、亮眼、黑眼圈、法令纹、白牙 | |
美妆 | 腮红、口红、修容、美瞳、染发、眼影、眉毛 | |
滤镜 | 48 款滤镜效果 | |
抠图 | 背景分割、天空分割、头发分割 | |
虚拟形象 | 固定形象、animoji 形象生成、avatar 形象驱动 | |
其他特效 | 变老、变小、变胖、变瘦、人像、动漫化、AR 扫一扫、互动小游戏(潜水艇大挑战、尬舞机、躲病毒等)、人脸融合、人像动漫化、图像风格化、视频超分 | |
算法能力 | 人脸关键点识别 | 支持识别人脸 106 关键点、240 关键点、280 关键点,同步输出检测数量、偏航角、翻滚角、俯仰角。 |
人脸属性识别 | 支持识别以下属性:年龄、性别、颜值、肤色、开心值 | |
人脸表情识别 | 支持识别以下表情:无表情、愤怒、厌恶、害怕、快乐、悲伤、惊讶 | |
人脸动作识别 | 支持识别以下动作:眨眼、张嘴、摇头、点头、挑眉、嘟嘴 | |
手指关键点识别 | 支持识别手指 22 关键点 | |
手势识别 | 支持识别 45 种手势 | |
人体关键点识别 | 支持识别人体 18 关键点,包括头部 5 个、上肢 7 个、腰部 2 个、腿部 4 个 | |
比对 | 人脸比对、人脸聚类 |
提供上千款爆款特效贴纸,包含 2D 贴纸/3D 贴纸/美妆贴纸/触发互动贴纸/粒子特效/虚拟形象等,效果逼真、创新有趣、持续更新,遮挡后人脸关键点位不变形,部分出镜关键点位不变形,106/240 点位替换成本低。
人像和人体智能美化,支持美颜、滤镜、美妆、微整形、美体等美化技术,广泛应用于图片、视频拍摄和直播场景。
基于人像动作的检测和实时跟随,触发贴纸特效,操控小游戏,应用于直播互动和短视频拍摄等场景中,海量数据和强大的深度学习算法,实现了对人脸属性检测,包括年龄、性别、肤色,同时还可对颜值和开心值进行评分。
实时检测图像或视频中的手部,支持关键点检测、位置框定和手势识别,通过手势进行交互操作,支持静态手势 46 种,动态手势 8 种。
实时检测图像或视频中的人体,支持半身和多人检测、位置框定和动作识别,通过姿态进行交互操作。
对模版图和融合图中的人像进行图片融合操作,返回融合后的图片,用于互动营销。
运用先进的对抗生成网络,根据图片风格为用户生成各具特色的逼真二次元漫画风全景图像,既能够多维度保留原始图片的特征,又能最大化展现漫画的艺术美感。
突破次元壁,多维度保留用户特征,配合多种漫画风格图像迁移,为用户生成具有艺术美感的高萌可爱漫画脸。
火山引擎 Avatar 基于 animoji 女孩人脸的基础上增加了身体模型,显示女孩 avatar 形象,并可以进行人脸头部姿态的驱动。avatar 会轮播四个姿势,依次为双手握拳及双手自然垂立、单手摊手(左)、双手摊手、双手相对。
功能优势:
视觉智能 SDK 插件目前支持在 Android 和 iOS 两大平台上与 Agora RTC SDK 配合使用。
请联系 sales@agora.io 获取视觉智能 SDK 插件的详细计费标准。