本项目通过 wasm 技术将 LLama2 模型加载到浏览器中,实现web端的高效推理运算。 在线demo
截图:
( 整理中 coming soon ... )
( 整理中 coming soon ... )
-
安装node包
npm install
-
运行web服务
npm run start
-
根据提示,打开网址: http://localhost:3000/
在垂直细分场景下,portable 模型在算力节省,响应提速,数据隐私等方面有着明显的优势,对 portable 模型技术方向感兴趣的朋友,欢迎一起交流 ~
wx: