Подписывайтесь на Телеграм-канал: https://t.me/ruslandevlive
Веса DeepSeek R1 в GGUF: https://huggingface.co/bartowski/DeepSeek-R1-GGUF
Веса DeepSeek V3 в GGUF: https://huggingface.co/bullerwins/DeepSeek-V3-GGUF
В этом видео - запуск модели DeepSeek R1 на сервере с GPU с квантизацией, требования к железу, тест на скорость инференса.
💻 immers.cloud – широкий выбор карт для обучения и инференса нейронных сетей.
Один из ведущих поставщиков услуг IaaS (Infrastructure as a Service) в России, специализирующийся на использовании графических процессоров (GPU).
Сервис предлагает конкурентоспособные цены и интуитивно понятный интерфейс, который даже начинающие пользователи могут легко освоить и начать работу с необходимым программным обеспечением.
💻 gptchain – фреймворк для быстрого развертывания AI-ассистентов: https://github.com/RuslanPeresy/gptchain
Поддерживает интеграцию с Telegram-ботом, Retrieval Augmented Generation (RAG), деплой моделей на LLM сервер и файнтюнинг LLM на собственных данных.
Дискорд: https://discord.gg/HXs2tm9
Это описание содержит реферальные ссылки.