Scylla's Band νκ΅μ΄ WebGPU TTS
λ³λμ μλ² μμ΄ λΈλΌμ°μ μ GPU(WebGPU)λ§μΌλ‘ 100% λ‘컬 λμνλ μ€μκ° νκ΅μ΄ μμ± ν©μ± λ°λͺ¨
β οΈ
μ£Όμ: λΉλ³΄μ μΆμ² (Insecure Context)λ‘ μ μλμμ΅λλ€!
ν¬λ‘¬/μ£μ§ 보μ μ μ±
μ
http://100.x.x.x:8000 λ± IPλ‘ μ μ μ
WebGPU λ° λ©ν°μ€λ λκ° μμ ν μ°¨λ¨λμ΄ λ¨μΌ CPU μ½μ΄λ‘ λμνλ―λ‘ 15~20μ΄ μ΄μ λλ €μ§λλ€.
μ΄κ³ μ GPU κ°μ(0.5μ΄ μ€μκ° ν©μ±)μ μν΄ λμΌ PC λΈλΌμ°μ μμ
http://localhost:8000/webgpu_demo/ λ‘ μ μν΄μ£ΌμΈμ.
π¦ 1. WebGPU λͺ¨λΈ λ° κ°μ€μΉ λ‘λ
π‘ κΈ°λ³Έκ° ./webgpuλ μ΄κ²½λ INT8 μμν λ²λ€(Vocos μ μ© ~230MB)μ΄λ©°, μ΅μ΄ 1ν λ‘λ ν λΈλΌμ°μ CacheStorageμ μꡬ μΊμ±λμ΄ λ€μ μ€νλΆν°λ λ€μ΄λ‘λ μμ΄ μ¦μ λ‘λλ©λλ€. (FP32 νμ€ λͺ¨λΈμ ../onnx μ
λ ₯ κ°λ₯)
λͺ¨λΈ λ€μ΄λ‘λ λ° WebGPU μ
°μ΄λ μ»΄νμΌ μ€λΉ μ€...
βοΈ 2. μμ± μ€μ λ° ν
μ€νΈ μ
λ ₯
μ κ·ν ν
μ€νΈ:
IPA μμ μνμ€:
μ€μΌλ¬ μ€ν
(Euler Steps)
4 steps
π ν©μ± κ²°κ³Ό (WebGPU Generated Audio)
WebGPU μ°μ° μκ°
0.0s
μ€μκ° λ°°μ¨ (RTF)
0.0x