W3C 的 2024 年度大会 参会记录
非常幸运参加了今年 W3C 举办的 Web 技术交流大会。
这次的主题是：Web 进化论 - 2024 年度大会：机器学习、WebGPU、媒体技术。
去年刚好在博客翻译了 François Daoust 的文章，今年刚好就见到了，而且我还提了问题被回答了，会后还合影了，真的还蛮幸运的。
后面还加了 nihui 的好友，之前还在腾讯的时候就一直慕名，这次居然见面到了。
会议信息：
https://www.w3.org/2024/01/webevolve-series-events/media/zh.index.html
François Daoust (W3C)
PPT：https://www.w3.org/2024/01/webevolve-series-events/media/slides/francois-daoust.pdf
如果有兴趣的话非常推荐作者在 2023 年的这篇文章：https://webrtchacks.com/video-frame-processing-on-the-web-webassembly-webgpu-webgl-webcodecs-webnn-and-webtransport/
媒体分发
过去
未来
未来技术趋势
更接近 hardware 的底层技术
- WebAssembly - native CPU
- WebGPU - GPUs
- WebCodecs - encoders decoders
- WebNN - GPUs / NPUs / TPUs
- WebXR - Headsets
- WebRTC / WebTransport - raw network access
WebCodecs
WebCodecs 提供调用浏览器底层编解码能力，可精细控制编解码过程和数据
刘俊(Bilibili):
陈成(字节)：
高纯(声网)：
夹带私货分享一下自己 2022 年写的简单点的应用场景： GitHub
WebGPU & WebAI
Transformers.js 的 Demo
基于 WebGPU 的 LLM
Enabled Llama3 WebGPU on the day 0 when it was released on Apr 19, 2024
Gemini Nano
Gemini Nano 支持手机运行
谷歌原本就有 TensorFlow.js / ONNX Runtime / MediaPipe
WebGPU 中的 16 位浮点值等改进，使其在更广泛的硬件上运行得更快。
- TensorFlow.js CPU Backend, pure-JS backend for Node.js and the browser.
- TensorFlow.js WebGL Backend, WebGL backend for the browser.
- TensorFlow.js WASM Backend, WebAssembly backend for the browser.
- TensorFlow.js WebGPU, WebGPU backend for the browser.
WebNN 的现状分享
Ningxin Hu(Intel)
示例体验
可以访问 https://microsoft.github.io/webnn-developer-preview/ 体验 WebGPU 运行的 stable diffusion 和 whisper
Samples: https://webmachinelearning.github.io/webnn-samples/
ncnn
nihui(腾讯)
支持的平台非常多：除了常规的操作系统和浏览器，还支持Switch，小程序，OpenWrt，Apple Watch 等
可在浏览器和微信小程序中使用的人脸识别算法：https://github.com/ShirasawaSama/retinaface-wasm
安全摄像头
张武（IIFAA)
PPT: https://www.w3.org/2024/01/webevolve-series-events/media/slides/zhang-wu.pdf