LLMxRay本地大模型观测台

看清你的模型到底在做什么 —— 逐个 token，逐层深入。

对话诊断

实时流式显示 token 并按置信度着色，查看推理过程，浏览会话指标。

同一个提示词在最多 4 个模型或配置下并排运行。支持网格视图、差异视图和指标栏。

用真实的 logprobs 在标准测试集上评测模型。雷达图，分类别细分结果。

上传文档，在本地完成切分与嵌入，然后用自然语言检索。全部存放在 IndexedDB 中。

把 VS Code Copilot、Open WebUI 或任何其他工具指向 LLMxRay 而非 Ollama，看到它发送的每一轮、缓存保留了什么，以及提示词在哪里让缓存失效。

0.7.2 新增

测量提示词缓存的复用情况，找出缓存断裂的位置，并实测改写后每轮能省下多少。

向决策模型提出关于工单或消息的类型化问题，查看每个答案背后的概率，以条形图呈现。

在可视化节点画布上构建、编辑和测试工具定义，代码与节点双向同步。

一切都通过 Ollama 在你自己的硬件上运行。无云端，无 API key，无费用。你的数据始终属于你。