Hugging Face por Santiago Soñora
Este tutorial está diseñado para guiar a quienes desean aprender más acerca de Hugging Face. Es ideal para un nivel avanzado.
Este tutorial está diseñado para guiar a quienes desean aprender más acerca de Hugging Face. Es ideal para un nivel avanzado.
Hugging Face se ha consolidado como el centro neurálgico del ecosistema de Machine Learning de código abierto, proporcionando una plataforma colaborativa y un conjunto de librerías fundamentales para desarrolladores, investigadores y empresas. Más allá de ser un repositorio de modelos preentrenados, Hugging Face ofrece el **Hub** (para compartir modelos, datasets y demos 'Spaces'), y un conjunto de **librerías clave** como `transformers` (para trabajar con arquitecturas transformer y modelos de lenguaje/visión/audio), `diffusers` (para modelos de difusión como Stable Diffusion), `datasets` (para gestionar datasets de manera eficiente), `accelerate` (para entrenar y ejecutar modelos a gran escala), `peft` (para fine-tuning eficiente), y `trl` (para Reinforcement Learning with Human Feedback). Esta guía avanzada explora el uso profundo de estas herramientas: cargar, personalizar y fine-tunear modelos, crear y procesar datasets, construir y desplegar aplicaciones interactivas (Spaces), utilizar las APIs de inferencia y Endpoints dedicados, y contribuir al Hub. Comprende la importancia de su filosofía de código abierto para la investigación y el desarrollo de IA de vanguardia y cómo integrar las herramientas de Hugging Face en flujos de trabajo MLOps.
El 'Hola, mundo' de Hugging Face: cargar y utilizar un modelo preentrenado de NLP para análisis de sentimientos utilizando la API de alto nivel `pipeline`. La función `pipeline` abstrae la carga del modelo y tokenizador, facilitando el uso inmediato.
# 1. Instala la libreria: pip install transformers
# 2. Ejecuta el siguiente script:
from transformers import pipeline
# Cargar el pipeline para analisis de sentimientos
classifier = pipeline('sentiment-analysis')
# Usar el pipeline para predecir el sentimiento de un texto
text_to_analyze = 'Hugging Face hace que la IA sea accesible y colaborativa.'
result = classifier(text_to_analyze)
print(f"Texto: '{text_to_analyze}'")
print(f"Resultado del analisis de sentimiento: {result}")Resultado:
Texto: 'Hugging Face hace que la IA sea accesible y colaborativa.'
Resultado del analisis de sentimiento: [{'label': 'POSITIVE', 'score': 0.9998...}]Familiarizarse con estos comandos es esencial para interactuar eficientemente con Hugging Face:
pip install transformerspip install datasets diffusers accelerate peft trl evaluate optimum gradiohuggingface-cli loginVisita https://huggingface.co/ y usa la barra de búsqueda o las pestañas 'Models', 'Datasets', 'Spaces'. Puedes filtrar por tarea, librería, lenguaje, etc.huggingface-cli repo clone <nombre_de_usuario_o_organizacion>/<nombre_del_repositorio>from transformers import AutoModelForCausalLM, AutoTokenizer
import torch # O tensorflow/jax
model_id = "bert-base-uncased" # O un ID de modelo del Hub
# Cargar tokenizador
tokenizer = AutoTokenizer.from_pretrained(model_id)
# Cargar modelo (especificar framework si no es el por defecto)
model = AutoModelForCausalLM.from_pretrained(model_id) # Por defecto PyTorch
# model = TFAutoModelForCausalLM.from_pretrained(model_id) # Para TensorFlow
# model = FlaxAutoModelForCausalLM.from_pretrained(model_id) # Para JAXfrom datasets import load_dataset
# Cargar un dataset publico del Hub
dataset = load_dataset("glue", "mrpc") # Dataset GLUE con la sub-tarea MRPC
print(dataset)
print(dataset['train'][0]) # Acceder a un ejemplo del split de entrenamiento# (Este es un ejemplo conceptual. Requiere un dataset preparado y mas codigo.)
from transformers import Trainer, TrainingArguments
# ... cargar modelo, tokenizador ...
# ... cargar y pre-procesar dataset con el tokenizador ...
training_args = TrainingArguments(
output_dir="./results_fine_tuning", # Directorio para guardar resultados
learning_rate=2e-5,
per_device_train_batch_size=8,
num_train_epochs=3,
weight_decay=0.01,
evaluation_strategy="epoch", # Evaluar al final de cada epoca
save_strategy="epoch", # Guardar checkpoint al final de cada epoca
load_best_model_at_end=True, # Cargar el mejor modelo al final
# ... otros argumentos (logs, reporte, etc.) ...
)
trainer = Trainer(
model=model,
args=training_args,
train_dataset=train_dataset_tokenized,
eval_dataset=eval_dataset_tokenized,
tokenizer=tokenizer,
# data_collator=data_collator, # Opcional: para padding dinamico
)
trainer.train() # Iniciar el entrenamientoimport requests
import os
# Obtener tu API Token de Hugging Face (requiere cuenta)
# Ve a huggingface.co -> Settings -> Access Tokens -> New token
api_token = os.getenv("HF_API_TOKEN") # Reemplaza con tu token o carga desde variable de entorno
model_id = "distilbert/distilbert-base-uncased-finetuned-sst-2-english"
api_url = f"https://api-inference.huggingface.co/models/{model_id}"
headers = {"Authorization": f"Bearer {api_token}"}
def query_inference_api(payload):
response = requests.post(api_url, headers=headers, json=payload)
return response.json()
# Ejemplo: clasificacion de texto con BERT
data = query_inference_api({
"inputs": "Este texto es sobre inteligencia artificial.",
"parameters": {"candidate_labels": ["tecnologia", "ciencia", "arte"]}
})
print(data)# 1. Crea un nuevo Space en huggingface.co/spaces (+ New Space).
# 2. Elige un template (ej: Gradio o Streamlit).
# 3. Clona el repositorio de tu Space localmente con `huggingface-cli repo clone <tu_usuario>/<nombre_del_space>`.
# 4. Añade tu codigo Python (ej: `app.py`) usando Gradio/Streamlit, un archivo de requisitos (`requirements.txt`) y cualquier modelo/dataset necesario.
# 5. Haz commit de tus cambios y push al repositorio de tu Space (`git add . && git commit -m "Initial app" && git push`).
# 6. Hugging Face construira y desplegara tu demo automaticamente.# (Este es un ejemplo conceptual. Requiere un script de entrenamiento adaptado para Accelerate.)
# 1. Instala Accelerate: pip install accelerate
# 2. Configura Accelerate para tu hardware (GPU, multi-GPU, CPU):
accelerate config
# 3. Ejecuta tu script de entrenamiento con Accelerate:
accelerate launch tu_script_de_entrenamiento.py# (Este es un ejemplo conceptual. Requiere un modelo base y un dataset preparados.)
from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM # O el modelo adecuado
# ... cargar modelo base y tokenizador ...
# 1. Configurar LoRA
lora_config = LoraConfig(
r=8, # Rango de LoRA
lora_alpha=16, # Alpha de LoRA
target_modules=["q_proj", "v_proj"], # Modulos a aplicar LoRA
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM", # O otro tipo de tarea
)
# 2. Obtener el modelo LoRA (el modelo original envuelto)
model = get_peft_model(model, lora_config)
# Ahora puedes usar el Trainer o tu bucle de entrenamiento con este 'modelo' LoRA
# Solo los parametros LoRA (mucho menos) se entrenaran.# 1. Asegurate de haber ejecutado `huggingface-cli login`
# 2. Crea un nuevo repositorio en huggingface.co (Models o Datasets)
# 3. Clona el repositorio vacio localmente: `huggingface-cli repo clone <tu_usuario>/<nombre_repo>`
# 4. Copia los archivos de tu modelo/dataset al directorio local del repositorio.
# 5. Añade una Model Card o Dataset Card (README.md) documentando tu trabajo.
# 6. Haz commit y push: `git add . && git commit -m "Initial upload" && git push`Comprender estos conceptos fundamentales te ayudará a dominar Hugging Face de forma más organizada y eficiente:
Ecosistema Hugging Face:
Hugging Face es un ecosistema completo para Machine Learning. Incluye una plataforma colaborativa online (el Hub) y un conjunto de librerías de código abierto interconectadas que cubren todo el ciclo de vida del Machine Learning moderno, desde la investigación y el desarrollo hasta el entrenamiento, la evaluación y el despliegue.
The Hub (Model Hub, Dataset Hub, Spaces):
La plataforma central online de Hugging Face (huggingface.co). Es un repositorio colaborativo gigante. El **Model Hub** aloja miles de modelos preentrenados de la comunidad (para NLP, visión, audio, etc.). El **Dataset Hub** alberga datasets para entrenar y evaluar modelos. **Spaces** permite a los usuarios construir y compartir demos interactivas de modelos o aplicaciones de IA. Es un centro de colaboración y descubrimiento.
Librerías Principales (Transformers, Diffusers, Datasets, Accelerate):
El conjunto fundamental de librerías de código abierto que potencian el ecosistema: `transformers` (para modelos transformer y tareas asociadas como tokenización, clasificación, generación, etc.), `diffusers` (para modelos de difusión y generación de imágenes/audio/video), `datasets` (para cargar, procesar y gestionar datasets grandes de manera eficiente), y `accelerate` (para ejecutar código de entrenamiento o inferencia en cualquier configuración de hardware sin cambiar el código).
Model Hub (Repositorios, Model Cards, Safetensors):
La parte del Hub dedicada a los modelos. Cada modelo está en un 'repositorio' de Git. Los repositorios incluyen los pesos del modelo, código (si aplica) y una 'Model Card' que documenta el modelo (descripción, uso, licencia, limitaciones, benchmarks). Los pesos de los modelos a menudo se almacenan en formato `safetensors` por seguridad.
Dataset Hub (Loading, Processing):
La parte del Hub para datasets. La librería `datasets` facilita la carga, descarga, exploración y pre-procesamiento eficiente de datasets desde el Hub (o tus propios datos). Permite operaciones como mapeo, filtrado, agrupación, tokenización y maneja datasets grandes mediante streaming.
Hugging Face Spaces:
Una plataforma gratuita (con opciones pagas para hardware más potente) para construir y alojar demos interactivas de tus modelos o aplicaciones de IA. Permite a los usuarios interactuar con tu IA a través de una interfaz web, a menudo construida con librerías como Gradio o Streamlit.
Librería Transformers (Tokenizers, Models, Pipelines, Trainer):
La librería insignia para trabajar con modelos Transformer. Proporciona herramientas para **Tokenización** (convertir texto a IDs numéricos), implementaciones de diversas **Arquitecturas de Modelos**, **Pipelines** (API de alto nivel para inferencia fácil en tareas comunes), y el **Trainer API** (un bucle de entrenamiento de alto nivel para fine-tuning).
Librería Diffusers:
Una librería dedicada a los modelos generativos basados en difusión (como Stable Diffusion, DALL-E 2 - en investigación, etc.). Proporciona 'Pipelines' específicos para tareas como texto a imagen, imagen a imagen, inpainting, etc., y componentes para construir o modificar pipelines de difusión.
Librería Accelerate:
Una herramienta para ejecutar código de entrenamiento o inferencia de Deep Learning (PyTorch, TensorFlow, JAX) en cualquier configuración de hardware (CPU, una GPU, múltiples GPUs, múltiples nodos) con cambios mínimos en el código original. Simplifica el entrenamiento distribuido y la ejecución a gran escala.
PEFT (Parameter-Efficient Fine-Tuning):
Una librería que implementa técnicas de fine-tuning que requieren entrenar solo un pequeño subconjunto de los parámetros del modelo base, o añadir unos pocos parámetros nuevos entrenables. Técnicas como **LoRA (Low-Rank Adaptation)** y **QLoRA** (LoRA sobre modelos cuantizados) son ejemplos clave, permitiendo fine-tunear LLMs grandes con mucho menos hardware y tiempo que el fine-tuning completo.
TRL (Transformer Reinforcement Learning):
Una librería que proporciona herramientas y algoritmos para el Reinforcement Learning with Human Feedback (RLHF), una técnica utilizada para alinear LLMs con preferencias humanas, a menudo combinada con PEFT. Útil para mejorar las capacidades de chat y seguir instrucciones.
Inference API y Inference Endpoints:
Servicios alojados de Hugging Face para ejecutar modelos. La **Inference API** es un servicio serverless (sin servidor) de pago por uso para ejecutar modelos públicos o privados del Hub. Los **Inference Endpoints** son despliegues dedicados de modelos, ofreciendo latencia más baja y rendimiento garantizado para cargas de trabajo de producción.
Flujo de Trabajo de Entrenamiento y Fine-tuning:
El proceso típico implica: 1) Preparar datos (con `datasets`). 2) Cargar un modelo y tokenizador (`transformers`). 3) Pre-procesar datos (tokenización). 4) Usar el `Trainer` API (o `accelerate` para distribución) para ejecutar el bucle de entrenamiento (posiblemente con PEFT/TRL). 5) Evaluar (`evaluate`). 6) Guardar y compartir el modelo (en el Hub).
Colaboración y Versiones en el Hub:
El Hub se basa en Git, permitiendo el versionado de modelos y datasets. Los usuarios pueden crear organizaciones, clonar repositorios, hacer 'pull requests' para sugerir cambios, y discutir en los foros de cada repositorio. Fomenta el desarrollo de IA de código abierto.
Liderazgo en el Ecosistema Open Source de IA:
Hugging Face es un motor impulsor de la IA de código abierto, facilitando el acceso a modelos y datasets de vanguardia, proporcionando herramientas robustas y accesibles, y cultivando una comunidad global de investigadores y desarrolladores. Su plataforma y librerías son un estándar de facto en la industria.
Algunos ejemplos de aplicaciones prácticas donde se utiliza Hugging Face:
Fine-tunear modelos de lenguaje grande (LLMs) u otros modelos en datasets personalizados para tareas o dominios específicos:
Utilizar las librerías `transformers` y `peft` (para LoRA/QLoRA) para adaptar modelos preentrenados a datos de tu empresa, industria o nicho específico. Esto mejora drásticamente el rendimiento y la relevancia del modelo para tus casos de uso particulares (ej: modelos de lenguaje para jerga médica, modelos de visión para clasificar productos específicos).
Construir aplicaciones de Retrieval-Augmented Generation (RAG) integrando componentes de Hugging Face:
Combinar LLMs del Hub (cargados con `transformers` o usados vía API) con la librería `datasets` (para cargar y procesar tus documentos o bases de conocimiento) y frameworks como LangChain o LlamaIndex. Permite crear sistemas que responden preguntas complejas basándose en información específica proporcionada por ti.
Desplegar modelos de IA personalizados o de código abierto para inferencia escalable y de producción:
Utilizar la Hugging Face Inference API (para cargas de trabajo variables) o configurar Inference Endpoints dedicados (para baja latencia y rendimiento garantizado) para alojar y ejecutar tus modelos (finetuneados o propios) o modelos públicos del Hub a escala para su uso en aplicaciones de producción.
Crear y compartir modelos, datasets o demos interactivas con la comunidad global de IA:
Utilizar el Hugging Face Hub (Model Hub, Dataset Hub, Spaces) como plataforma para publicar tus propias investigaciones, modelos entrenados o finetuneados, datasets, o aplicaciones interactivas de IA. Contribuye al ecosistema open source, obtiene feedback y gana visibilidad.
Construir demos interactivas de modelos de IA utilizando Hugging Face Spaces y Gradio/Streamlit:
Desarrollar rápidamente interfaces web sencillas (a menudo con pocas líneas de código usando Gradio o Streamlit) para demostrar la funcionalidad de tus modelos de IA o pipelines complejos, y desplegarlas fácilmente en la plataforma de Hugging Face Spaces para que cualquier persona pueda probarlas directamente desde su navegador.
Entrenar modelos de Deep Learning a gran escala de forma eficiente utilizando la librería Accelerate:
Utilizar `accelerate` para escalar tus scripts de entrenamiento de PyTorch, TensorFlow o JAX y ejecutarlos eficientemente en configuraciones de hardware complejas, como múltiples GPUs en una o varias máquinas, simplificando la implementación de entrenamiento distribuido.
Optimizar modelos para su despliegue y ejecución eficiente en hardware específico con la librería Optimum:
Emplear la librería `optimum` para convertir, cuantizar (reducir precisión) o optimizar modelos entrenados en Hugging Face para su ejecución en diferentes tipos de hardware (CPUs, GPUs de diversos proveedores, aceleradores de hardware) y entornos de despliegue (ej: ONNX Runtime, OpenVINO), mejorando la velocidad y reduciendo el consumo de recursos.
Realizar investigación en IA, evaluar modelos y contribuir al desarrollo de librerías open source:
Utilizar el Hub como fuente de modelos y datasets para la investigación, emplear la librería `evaluate` para comparar el rendimiento de modelos en benchmarks, y contribuir código a las librerías principales de Hugging Face, participando activamente en el avance de la IA de código abierto.
Integrar herramientas de Hugging Face en pipelines MLOps para gestión de modelos y datasets:
Utilizar el Hub como repositorio central de modelos y datasets versionados. Integrar las librerías de Hugging Face (Trainer, etc.) con herramientas de MLOps (MLflow, WandB, DVC) para seguimiento de experimentos, versionado de datos y modelos, evaluación continua y automatización del ciclo de vida del ML.
Aquí tienes algunas recomendaciones para facilitar tus inicios en Hugging Face:
Comprende el Hub: es Tu Centro para Modelos, Datasets y Demos:
Hugging Face no es solo una librería. Es una plataforma online gigante (el Hub) donde puedes encontrar miles de Modelos preentrenados (para texto, imágenes, audio), Datasets para entrenar, y Demos interactivas (Spaces) para probar cosas. Familiarízate con la navegación en huggingface.co.
Familiarízate con las Librerías Clave: Transformers, Datasets, Diffusers, Accelerate:
Estas son las herramientas principales que usarás en código. `transformers` es para modelos de lenguaje (BERT, GPT, LLaMA), visión y audio. `datasets` es para trabajar con datos. `diffusers` es para modelos de generación como Stable Diffusion. `accelerate` te ayuda con el hardware. Entiende el propósito de cada una.
Siempre Revisa las 'Model Cards' y 'Dataset Cards':
Cada modelo y dataset en el Hub tiene una página (la 'Card') que es como su documentación. Te dice qué hace, cómo usarlo, su licencia, limitaciones, de dónde vienen los datos, y cómo fue entrenado. ¡Es crucial leerla antes de usar algo!
Usa `pipeline` para Empezar Rápido, Pero Prepárate para Ir Más Allá:
La función `pipeline` (`from transformers import pipeline`) es genial para tareas comunes (análisis de sentimiento, traducción, etc.) con solo unas líneas de código. Pero para fine-tuning, personalizar o hacer cosas avanzadas, necesitarás aprender a cargar modelos y tokenizadores manualmente (`AutoModelFor...`, `AutoTokenizer`) y trabajar con tensores.
Entiende por Qué y Cómo Hacer Fine-tuning (Especialmente PEFT como LoRA):
Usar modelos preentrenados está bien, pero adaptarlos a tus datos específicos con fine-tuning (re-entrenarlos un poco con tus ejemplos) mejora mucho los resultados. Investiga técnicas eficientes como LoRA/QLoRA (`peft`) que te permiten fine-tunear modelos grandes con menos VRAM que el fine-tuning completo.
Considera Tus Requisitos de Hardware (GPU y VRAM) para Entrenamiento Local:
Entrenar o fine-tunear modelos (especialmente LLMs grandes o modelos de difusión) requiere GPUs con bastante VRAM. La inferencia local también consume VRAM (aunque menos). Consulta los requisitos de los modelos que te interesan o usa servicios en la nube/APIs si tu hardware local no es suficiente.
Aprende a Usar la Librería `datasets` para Preparar Tus Datos:
La librería `datasets` hace que sea mucho más fácil cargar, limpiar, transformar y preparar grandes datasets para entrenar modelos de forma eficiente. Es una herramienta fundamental si vas a trabajar con tus propios datos para fine-tuning.
Explora Cómo Desplegar Modelos para Que Otros Los Usen (Inference API, Spaces):
Una vez que tienes un modelo (propio o del Hub que quieras poner online), mira las opciones de despliegue. La Inference API es fácil para usar en otras apps. Spaces te permite crear demos interactivas rápidamente. Los Inference Endpoints son para producción a gran escala.
Aprovecha la Documentación de Hugging Face y la Gran Comunidad:
Hugging Face tiene una documentación EXCELENTE para todas sus librerías (docs.huggingface.co). También tienen guías, tutoriales y una comunidad muy activa (foros, Discord). No dudes en buscar respuestas o hacer preguntas.
Piensa en el Hub como una Plataforma Colaborativa Tipo GitHub:
Puedes crear tu propia cuenta, crear repositorios (Git), subir tus modelos y datasets, y colaborar con otros haciendo 'pull requests'. Es una forma de compartir tu trabajo y contribuir al ecosistema.
Si te interesa Hugging Face, también podrías explorar estas herramientas:
Amplía tus conocimientos con estos enlaces y materiales: