MLC LLM 是一种通用解决方案，允许将任何语言模型本地部署在各种硬件后端和本机应用程序上，以及供每个人进一步优化自己用例的模型性能的高效框架。一切都在本地运行，没有服务器支持，并通过手机和笔记本电脑上的本地 GPU 加速

Demo地址：MLC LLM | Home