mlc-llm

  • MLC LLM： https://github.com/mlc-ai/mlc-llm
    • 特点：目标是要支持所有平台，ios，Android，Web Browser，也支持Linux，Win，macOS
    • 推荐的模型：llama 推荐ios，android量化版运行工具