LLM local en Windows: instalación, memoria y comprobación de GPU

Un modelo local puede servir para probar una tarea de texto en tu propio PC con Windows. Empieza por comprobar los requisitos del programa, cargar un modelo pequeño y ver dónde se ejecuta. Decide después si necesitas otra descarga o ampliar el equipo.

Esta guía propone un método de instalación y comparación. No clasifica programas por una velocidad medida ni promete que una cantidad concreta de memoria sirva para cualquier modelo.

Elige una vía según tu primera tarea

• Ollama: una opción si quieres seguir un ejemplo de terminal y después utilizar una API local. Su documentación para Windows describe la aplicación nativa y la API en http://localhost:11434.
• LM Studio: valora esta opción si prefieres descargar y utilizar modelos desde una aplicación de escritorio. Comprueba sus requisitos antes de descargar.
• llama.cpp: una vía para trabajar directamente con archivos de modelos y ajustes del motor. La documentación del proyecto explica la cuantización y los motores para CPU/GPU. Tendrás que elegir una compilación adecuada para tu equipo.

Puedes completar la primera prueba con Ollama sin añadir otra interfaz. Si después incorporas Open WebUI u otro cliente, revisa por separado su configuración y el tratamiento de los datos.

Comprueba Windows, memoria y modelo

Ollama indica actualmente Windows 10 22H2 o posterior. Su página de Windows también detalla requisitos de controladores para acelerar con NVIDIA y AMD; contrástalos con tu tarjeta y controlador exactos, sin asumir que cualquier GPU es compatible.

Para Windows, LM Studio indica x64 con AVX2 o ARM con Snapdragon X Elite. Recomienda al menos 16 GB de RAM y 4 GB de VRAM dedicada. Son recomendaciones del proveedor; no demuestran que un modelo o contexto concreto vaya a caber.

Antes de descargar, anota versión de Windows, CPU, RAM, GPU y VRAM dedicada. Puedes consultar el equipo en Rendimiento del Administrador de tareas. Comprueba también el espacio libre en disco: almacenar un modelo y cargarlo en memoria son cosas distintas.

Elige una variante exacta del modelo y anota su cuantización. llama.cpp documenta la cuantización como una forma de reducir el uso de memoria; el nombre de una familia no identifica el archivo concreto. Deja margen para Windows, otras aplicaciones y el contexto que quieras utilizar. Prueba esa combinación antes de comprar siguiendo una tabla universal de RAM y VRAM.

Primera ejecución con Ollama: comprobar la instalación

Instala desde la página oficial de Windows. Abre una ventana nueva de PowerShell o del símbolo del sistema y ejecuta:

ollama run qwen2.5:0.5b

La ficha de ese modelo concreto documenta el comando. Es un ejemplo para comprobar la instalación, no una recomendación del mejor modelo ni de uso con información sensible. Espera a que termine la descarga inicial y prueba una petición breve sin datos privados: «Reescribe esta frase con más claridad: La fecha de entrega no está confirmada». Revisa tú la respuesta.

Mientras el modelo esté cargado, abre otra terminal y ejecuta:

ollama ps

Las preguntas frecuentes de Ollama explican la columna PROCESSOR: 100% GPU significa que está íntegramente en memoria de la GPU, 100% CPU indica memoria del sistema y un reparto indica ambas. Esto comprueba la carga, no la calidad de las respuestas ni una velocidad garantizada. Si esperabas GPU y aparece CPU, contrasta tarjeta y controlador con los requisitos oficiales antes de cambiar de modelo o comprar equipo.

¿Qué programa es más rápido en tu Windows?

Resuélvelo con una comparación controlada en tu equipo. Mantén comparables variante, cuantización, contexto, petición y longitud de respuesta; registra la versión y el motor de cada programa. Anota por separado la carga inicial y una petición repetida con el modelo ya cargado. Comprueba aciertos además de tiempo de espera.

Para una comparación técnica, llama-bench separa procesamiento de la petición y generación de texto, y permite repetir medidas. Los resultados describen la configuración probada. Una petición corta en otro PC no demuestra qué instalación resolverá mejor tu documento largo o el uso junto a otras aplicaciones.

Como prueba manual de aceptación, elige un fragmento breve cuyo significado puedas comprobar. Pide a cada instalación que lo reescriba, revisa fechas y negaciones y repite con la extensión habitual de tus documentos. Conserva la hoja de resultados aunque la respuesta más rápida contenga un error. No hemos ejecutado ni publicado un banco de pruebas de rendimiento para esta guía.

Qué demuestra ejecutar en local

LM Studio documenta el uso sin conexión de modelos descargados; las búsquedas, nuevas descargas, descargas de motores y comprobaciones de actualizaciones necesitan conectividad. Ollama distingue en sus preguntas frecuentes la ejecución local de los modelos alojados en la nube. Comprueba modelo seleccionado, cliente y herramientas conectadas antes de introducir información sensible. Instalar un programa local no demuestra por sí solo que todo el flujo funcione sin conexión.

Si tu tarea es subtitular o traducir voz, evalúa por separado los requisitos del producto. Una prueba satisfactoria con texto no valida un flujo de audio en directo. Continúa por la ficha de Aurora Subtitles, la guía de arquitectura de traducción de voz o el contexto de accesibilidad según lo que necesites resolver.

Requisitos y documentación primaria enlazada comprobados el 25 de octubre de 2026. El ejemplo no acredita una compra de hardware, un ganador universal en velocidad ni precisión de traducción.