C++音视频高手突围课：手把手WebRTC企业级高性能远程桌面后台服务实战（完结）

本课程以共享桌面项目为驱动，以渐进迭代的授课方式，遵循RFC标准，深入解析STUN/TURN/DTLS/ICE/RTP/RTCP/SRTP/SRTCP等网络传输协议栈，手把手带你实现WebRTC P2P通信核心技术和ICE网络框架。教学过程中还会设计针对性实验，验证效果，让你学习顺畅，收获满满。希望通过本课程的学习，你能先人一步，突破瓶颈，顺利跨入音视频领域高手行列。

适合人群

对网络传输、高性能Linux后台服务感兴趣人群

想要提升实时音视频&WebRTC开发水平的

技术储备

具备C/C++/Java/GO等任意一门语言开发经验

熟悉Linux系统基本命令

环境参数

开发工具 Vim或者VsCode

操作系统 Linux,Ubuntu或Centos

技术栈 WetRTC推荐M96版

章节目录：

第1章 WebRTC实战后台服务-课程导学 试看2 节 | 20分钟

本章主要对课程整体内容进行全面的介绍，包括课程目标、课程优势、课程内容安排、适合人群、学习建议等。

收起列表

视频：

1-1 WebRTC后台服务--课程导学 (10:07)

试看

视频：

1-2 WebRTC后台服务--课程效果演示 (09:10)

试看

第2章 为什么要学习ICE技术(音视频SFU分发服务)?2 节 | 20分钟

本章主要介绍音视频分发服务应用的价值及适用性，强调其服务在领域的地位等。

收起列表

视频：

2-1 为什么要学习ICE技术 (15:12)

视频：

2-2 远程桌面共享在各领域的应用介绍 (04:28)

第3章 项目总体设计，掌握项目的总体设计及技术选型3 节 | 21分钟

本章主要介绍课程中项目的各项功能、架构设计、核心技术及流程，对整体系统的技术选型做详解分析。

收起列表

视频：

3-1 远程桌面共享项目概述 (06:21)

视频：

3-2 系统架构设计和核心流程 (06:31)

视频：

3-3 系统通信模型选型 (07:43)

第4章 WebRTC offer SDP深度解析和生成16 节 | 231分钟

本章深度讲解WebRTC SDP描述信息，帮助学员掌握不同属性字段的含义和作用，并能够在实际项目中灵活运用。

收起列表

视频：

4-1 本章导学 (02:44)

视频：

4-2 RTC流管理器设计 (18:42)

视频：

4-3 WebRTC SDP介绍 (05:21)

视频：

4-4 创建offer SDP(上) (12:41)

视频：

4-5 创建offer SDP(下) (13:14)

视频：

4-6 Offer中添加media content (17:49)

视频：

4-7 实现BUNDLE功能 (24:26)

视频：

4-8 offer中添加m行 (24:55)

视频：

4-9 Offer中添加codec (08:26)

视频：

4-10 Offer中添加codec参数 (15:50)

视频：

4-11 Offer中添加rtcp-mux和传输方向 (15:11)

视频：

4-12 认识ice-ufrag和ice-pwd (09:24)

视频：

4-13 Offer中添加ice-ufrag和ice-pwd (21:50)

视频：

4-14 生成自签名证书 (15:30)

视频：

4-15 Offer中添加fingerprint (16:21)

视频：

4-16 Offer中添加setup (07:40)

第5章 ICE运行框架总体介绍，掌握ICE总体运行框架以及核心API的设计方法6 节 | 63分钟

本章重点介绍ICE运行框架以及核心接口的设计，帮助学员掌握ICE的核心流程和重要接口。

收起列表

视频：

5-1 本章导学 (01:31)

视频：

5-2 ICE运行框架和candidate分类 (11:26)

视频：

5-3 设计和实现IceAgent(一) (12:01)

视频：

5-4 设计和实现IceAgent(二) (14:27)

视频：

5-5 实现SetLocalSDP(一) (16:22)

视频：

5-6 实现SetLocalSDP(二) (06:39)

第6章 ICE candidate的搜集、构成和优先级计算方法12 节 | 182分钟

本章重点介绍ICE的candidate搜集，以及candidate结构解析，帮助学员掌握candidate的搜集和实现方法。

收起列表

视频：

6-1 本章导学 (02:19)

视频：

6-2 实现NetworkManager (16:09)

视频：

6-3 获取可用的本地网络接口 (16:26)

视频：

6-4 封装PortAllocator类 (19:45)

视频：

6-5 开始收集本地candidate (14:31)

视频：

6-6 创建UDPPort类 (12:49)

视频：

6-7 分配UDP端口 (15:24)

视频：

6-8 准备socket address (15:03)

视频：

6-9 ICE candidate的构成解析 (13:00)

视频：

6-10 创建ICE local candidate (18:08)

视频：

6-11 实现candidate收集完成信号通知(一) (19:30)

视频：

6-12 实现candidate收集完成信号通知(二) (18:56)

第7章 远程桌面共享SFU服务之推流实现，掌握SFU服务推流功能的实现逻辑11 节 | 188分钟

本章重点讲解远程桌面共享SFU服务推流功能的实现，主要包括offer和answer的处理、ICE参数的解析和处理、UDP网络数据包的读取等内容

收起列表

视频：

7-1 推流端peerconnection设置offer.mp4_音频 (17:21)

视频：

7-2 推流端生成answer并发送给服务端 (20:18)

视频：

7-3 信令服务处理answer请求 (11:41)

视频：

7-4 分发服务信令worker异步处理answer (20:23)

视频：

7-5 分发服务rtc worker处理answer (16:02)

视频：

7-6 解析answer sdp (21:49)

视频：

7-7 从sdp中解析传输相关的信息 (19:41)

视频：

7-8 实现SetRemoteSDP(一) (13:11)

视频：

7-9 实现SetRemoteSDP(二) (11:37)

视频：

7-10 UDP网络数据包读取(一) (17:55)

视频：

7-11 UDP网络数据包读取(二) (17:23)

第8章 ICE之STUN协议深入解析和实现27 节 | 455分钟

本章结合RFC标准，重点讲解STUN协议规范，并实现STUN消息和各类属性字段的读写功能。

收起列表

视频：

8-1 本章导学 (02:06)

视频：

8-2 STUN协议详解 (14:35)

视频：

8-3 验证stun消息的指纹(一) (21:01)

视频：

8-4 验证stun消息的指纹(二) (12:54)

视频：

8-5 stun消息头部读取 (13:34)

视频：

8-6 stun消息属性读取 (15:46)

视频：

8-7 stun字符串属性类型的读取(一) (10:01)

视频：

8-8 stun字符串属性类型的读取(二) (17:18)

视频：

8-9 解析并验证USERNAME属性 (15:28)

视频：

8-10 解析并验证MI属性(一) (19:14)

视频：

8-11 解析并验证MI属性(二) (19:25)

视频：

8-12 stun绑定请求的异常处理 (15:45)

视频：

8-13 解析PRIORITY属性 (09:10)

视频：

8-14 创建peer反射candidate (20:14)

视频：

8-15 创建IceConnection类 (24:14)

视频：

8-16 构造stun绑定请求响应(一) (22:59)

视频：

8-17 构造stun绑定请求响应(二) (22:59)

视频：

8-18 stun响应消息添加MI属性 (21:06)

视频：

8-19 计算stun响应消息的MI值 (09:48)

视频：

8-20 stun消息IP属性的读写 (23:14)

视频：

8-21 添加指纹属性 (05:20)

视频：

8-22 发送binding响应 (23:28)

视频：

8-23 UDP数据包的高性能发送(一) (24:37)

视频：

8-24 UDP数据包的高性能发送(二) (20:29)

视频：

8-25 ICE通道的保活 (17:09)

视频：

8-26 stun错误响应消息(一) (16:25)

视频：

8-27 stun错误响应消息(二) (15:51)

第9章 ICE之连通性检查，掌握ICE的连通性检查策略、周期控制7 节 | 121分钟

本章重点讲解ICE连通性检查的方法，包括优先级计算、ping周期，以及ping的构造。

收起列表

视频：

9-1 实现服务侧的ICE连通性检查(一) (26:30)

视频：

9-2 实现服务侧的ICE连通性检查(二) (11:22)

视频：

9-3 如何设置ICE通道的ping周期 (22:09)

视频：

9-4 如何设置ICE连接的ping优先级(一) (17:08)

视频：

9-5 如何设置ICE连接的ping优先级(二) (14:32)

视频：

9-6 选择一个连接执行ping检查 (11:47)

视频：

9-7 构造stun绑定请求 (16:48)

第10章 ICE的提名机制、连接的选取、切换、保活策略14 节 | 250分钟

本章重点讲解ICE的提名机制，以及ICE连接的选取、切换、保活策略，并计算ICE的状态。

收起列表

视频：

10-1 ICE普通提名和激进提名 (11:07)

视频：

10-2 激进提名实现 (22:40)

视频：

10-3 发送ping请求 (18:30)

视频：

10-4 处理stun的响应 (18:01)

视频：

10-5 计算RTT并输出到log.mp4 (12:59)

视频：

10-6 更新ICE连接的读写状态.mp4 (13:43)

视频：

10-7 实现选中连接的切换策略.mp4 (14:28)

视频：

10-8 切换策略考虑连接的优先级 (13:27)

视频：

10-9 开始切换选中的连接 (24:50)

视频：

10-10 处理stun错误响应 (23:59)

视频：

10-11 设置candidate pair状态 (26:24)

视频：

10-12 处理ICE的ping周期问题 (17:02)

视频：

10-13 实现ICE连接探活机制 (23:15)

视频：

10-14 更新ICE传输通道的状态 (09:25)

第11章 WebRTC DTLS剖析和实现，掌握DTLS协议及握手流程，实现数据包的读写19 节 | 294分钟

本章重点讲解DTLS协议以及握手流程并实现，同时根据ICE状态和DTLS状态综合计算peerconnection的状态。

收起列表

视频：

11-1 DTLS握手流程详解 (07:36)

视频：

11-2 封装DtlsTransport类 (15:28)

视频：

11-3 缓存ClientHello包 (14:18)

视频：

11-4 安装DTLS (16:45)

视频：

11-5 设置本地证书 (06:27)

视频：

11-6 设置远端指纹 (17:39)

视频：

11-7 启动DTLS (13:56)

视频：

11-8 DTLS数据包读取 (24:33)

视频：

11-9 DTLS数据包写入 (15:09)

视频：

11-10 设置DTLS-SRTP密码套件 (23:06)

视频：

11-11 设置DtlsTransport的状态 (18:34)

视频：

11-12 设置DtlsTransport的接收状态 (07:42)

视频：

11-13 计算PeerConnection的状态.mp4 (16:51)

视频：

11-14 计算ICE传输通道的状态 (10:15)

视频：

11-15 计算IceAgent的状态.mp4 (12:25)

视频：

11-16 联合ICE和DTLS状态计算pc状态(一) (10:57)

视频：

11-17 联合ICE和DTLS状态计算pc状态(二) (19:14)

视频：

11-18 peer建连失败下的资源清理(一) (19:53)

视频：

11-19 peer建连失败下的资源清理(二) (22:37)

第12章 远程桌面共享SFU服务之拉流实现，掌握SFU服务拉流功能的实现9 节 | 120分钟

本章重点讲解远程桌面共享SFU服务拉流功能并实现，主要包括音视频转发架构的设计、ssrc的解析和设置、音视频track的创建和设置等内容。

收起列表

视频：

12-1 远程桌面共享拉流端UI设计 (12:47)

视频：

12-2 拉流命令处理.mp4 (14:59)

视频：

12-3 音视频转发方案设计 (12:22)

视频：

12-4 解析推流stream中的ssrc (25:46)

视频：

12-5 解析ssrc group信息 (15:43)

视频：

12-6 创建音视频track (12:08)

视频：

12-7 现PushStream获取音视频源的方法 (06:41)

视频：

12-8 实现PullStream设置音视频源的方法 (06:44)

视频：

12-9 offer SDP中增加ssrc描述信息 (12:03)

第13章 RTP/RTCP包的加密和解密，掌握利用libsrtp库加密和解密音视频数据包17 节 | 236分钟

本章重点讲解RTP/RTCP数据包的加密和解密方法并实现，掌握libsrtp库的初始化、安装、使用以及重点注意事项。

收起列表

视频：

13-1 创建DtlsSrtpTransport (13:12)

视频：

13-2 从DTLS中导出服务端和客户端秘 (28:38)

视频：

13-3 创建SrtpSession并设置参数 (15:49)

视频：

13-4 引入libsrtp库 (11:08)

视频：

13-5 初始化libsrtp库 (09:29)

视频：

13-6 创建或者更新srtp上下文结构 (18:33)

视频：

13-7 实现set_recv和update_recv方法 (09:00)

视频：

13-8 安装DTLS-SRTP (13:02)

视频：

13-9 解复用rtp和rtcp包 (10:43)

视频：

13-10 实现rtp和rtcp包的判断方法 (08:30)

视频：

13-11 rtp数据包解密 (19:55)

视频：

13-12 rtcp数据包解密 (08:49)

视频：

13-13 RtcStream获取rtp和rtcp数据包 (15:21)

视频：

13-14 转发rtp数据包.mp4 (13:52)

视频：

13-15 实现srtp数据包发送.mp4 (12:50)

视频：

13-16 加密rtp数据包 (12:24)

视频：

13-17 加密rtcp数据包并发送 (13:56)

第14章 远程桌面共享SFU服务停止推拉流和资源清理6 节 | 64分钟

总结回顾，本章会带领大家，从全局视角来回顾一下整个项目的系统架构和核心技术，主要包括WebRTC信令交换的设计与实现、ICE运行框架的设计与实现、音视频分发架构的设计与实现，帮助大家对整个项目有一个整体的认识。

收起列表

视频：

14-1 实现信令服务停止推流 (13:50)

视频：

14-2 实现分发服务停止推流 (12:16)

视频：

14-3 实现信令服务停止拉流 (06:39)

视频：

14-4 实现分发服务停止拉流 (07:55)

视频：

14-5 异常处理和项目完善(一) (12:24)

视频：

14-6 异常处理和项目完善(二) (10:25)

第15章 WebRTC实战后台服务-课程总结1 节 | 11分钟

本章主要对课程进行整体内容的总结，对课程中涉及到的知识点进行梳理，总结重难点内容，帮助你大家达到更好的学习效果

收起列表

视频：

15-1 课程回顾与总结 (10:54)

本课程已完结