神奇小龟的个人网站

记点笔记,写点博客

基于 llama.cpp 搭建本地 LLM API 服务

最佳实践 21 分钟阅读
本文介绍如何用 llama.cpp 在自己的机器上搭建一个 OpenAI 兼容的 LLM API 服务——安装、下载模型、启动,三步搞定。 💡 不熟悉 GGUF、量化、推理引擎、tok/s 等概念?建议先阅读 LLM 本地部署核心概念图解,了解这些组件的关系后再动手。 为什么选 llama.cpp在不需要聊天界面、只需要 API 的场景下...
阅读全文

LLM 本地部署核心概念图解

刨根问底 18 分钟阅读
想在自己电脑上跑大模型,你会频繁遇到几个名词:GGUF、量化、推理引擎、llama.cpp、Q4_K_M、tok/s、VRAM……它们分别是什么?之间什么关系?本文用最直白的方式讲清楚。 一次本地推理的全流程你写一段代码调用本地 API,到收到模型回复,整个过程可以切成 6 步: 12345678910111213141516171819202...
阅读全文

ASR、语音识别模型与输入法核心概念图解

刨根问底 13 分钟阅读
想给 Linux 搞语音输入,你会频繁遇到几个名词:ASR、VAD、FunASR、sherpa-onnx、Paraformer、Whisper、SenseVoice、SLM……它们分别是什么?之间什么关系?本文用最直白的方式讲清楚。 一次语音输入的全流程按下快捷键说话,到屏幕上出现文字,整个流程可以切成 6 步: 12345678910111213141...
阅读全文

KVM、QEMU、libvirt 等虚拟化核心概念图解

刨根问底 11 分钟阅读
在 Linux 上搞虚拟化,你会频繁遇到几个名字:KVM、QEMU、libvirt、virt-manager、VirtIO、SPICE、VNC、RDP……它们分别是什么?之间什么关系?本文用最直白的方式讲清楚。 分层架构总览所有虚拟化软件可以按层级来理解: 123456789101112┌─────────────────────────────────...
阅读全文

Linux (CachyOS) 下 Windows 虚拟机安装与使用指南

最佳实践 18 分钟阅读
虽然 Linux 下很多场景可以通过 Wine 来运行 Windows 软件,但总有一些特殊场景 Wine 无法完美覆盖——比如某些专业的 Windows-only 办公软件、网银 U 盾驱动、或是依赖特定 Windows API 的行业工具。 这时,一台 Windows 虚拟机就是最佳的补充方案。在 Linux 上使用 KVM/QEMU + vi...
阅读全文

SSH 隧道:绕过防火墙访问远程内网服务

按图索骥 3 分钟阅读
日常工作中常遇到这样的场景:能通过 SSH 连接远程服务器,但服务器防火墙只开放了 22 端口。此时若想访问远程服务器上的其他服务(如监听 8080 端口的 Web 应用),SSH 本地端口转发(-L)是首选方案。 一、原理SSH 本地端口转发的核心是隧道:建立 SSH 连接后,在本地开启一个端口,该端口的流量通过 SSH 隧道转发到远程服务器的指定地址...
阅读全文

OpenClaw 零障碍安装:国内网络完全指南

最佳实践 6 分钟阅读
OpenClaw 是一个 AI 编码助手代理,能够自主完成编码任务。 虽然网上已经有了很多搭建教程,但是一直没有完全满足我需求的方案——仅依赖国内网络,且仅参考官方原版文档,避免使用第三方魔改脚本。 核心思路: Python 和 Node.js 环境需要灵活的工具来管理多版本——发行版自带的往往跟不上,所以需要用 fnm、uv 这类工具管理 Python ...
阅读全文

KDE(wayland) 下远程桌面方案

按图索骥 5 分钟阅读
记录在 KDE/Wayland 环境下搭建和使用远程桌面的完整方案。 背景作者有多个设备:1 台 PC 和 2 台笔记本。PC 和其中一台笔记本运行 Cachy OS / KDE / Wayland,另一台笔记本运行 Windows。偶尔需要用笔记本远程连接 PC 进行操作。 目前 KDE 社区提供了官方方案:KRDP 作为...
阅读全文

graphify

按图索骥 3 分钟阅读
graphify 是一个 AI 技能,能将任意文件夹转换为可查询的知识图谱,支持代码、文档、论文、图片等多种格式。 安装如果遵循 OpenCode 的说明,已经包含了 graphify 的安装 否则可以手动安装 1uv tool install graphifyy && graphify install --platform opencode...
阅读全文