Search Results

Common user GPU only have 8-16G VRAM. When the model not fully loaded to VRAM, they have to offload into RAM and processing data with CPU. This cause local AI system super slow, token generation speed only reach 1-5 token/s. This paper is writing about test ca...

🐲 Helloworld Google public Turboquant, which is KV-Cache smaller and fast enought. It reduce 16 bit data into 3-4bit only and frees up to 83% of the memory typically consumed by long prompts. I self-build this fork llama-cpp-turboquant and have a first try. do...

💻 SYSTEM CPU: Ryzen 5 5500. RAM: 32G DDR4 3200. GPU: RTX 3060 12G VRAM. With MTP: Sometime the tps hit 147 token/s. Without MTP: Hit 32 token/s. But MTP is only hit 147 token/s at start. After few seconds, the tps is only 29 token/s. I think the hardware hav...

🌐 EN Seasoning Blend Ratio (Based on the "Leaked Recipe") A standardized seasoning ratio optimized for a base flour mixture. Ingredient Measurements Base flour: 2 cups all-purpose flour (~240g) No. Ingredient Amount 1 Salt 2/3 tbsp 2 Thyme 1/2 tbsp ...

More easy UI for ComfyUI. Auto release VRAM / RAM, ensure stability and UX when generate Image / Video ... ⚠️ Important Note 🌵 I only have RTX 20, 30 series (SM75 & SM86). So newer series untested. 🌵 If you facing any issue, please send the error log to:    ...

💀 Why you should use my workflow instead of official workflow ? This workflow is preferred over the original because the latter imposes strict input constraints, requiring the image width and height to be integers divisible by 64. Additionally, the frame count...

Running a Docker Compose Project This guide explains how to start services defined in a compose.yml or docker-compose.yml file. Prerequisites Make sure the following software is installed: Docker Engine Docker Compose Plugin Verify the installation: docker -...

⭐ Phân tích hoạt động của AI. Đầu tiên, người dùng sẽ nhập câu hỏi vào khung chat. Sau đó sẽ có bước thinking. Đây là bước mà AI sẽ tự lẩm bẩm, tự trả lời, tự kiểm chứng để tăng tính chính xác. Như đã thấy, bên trái hỏi bằng tiếng Việt, bên phải lại hiển thị t...

Tải phần mềm DSH Proxies Hãy vô trang này: github ⭐ Tải nhanh từ link này: Download Sau đó tải ở đây: Sau khi tải xong thì giải nén ra. Có 2 file là DshAntigravityLauncher.exe và DshAntigravityLauncher_minified.exe. File DshAntigravityLauncher.exe thì nặng ...

⭐ Giao diện Phần giao diện khá đơn giản. Ở phía trên sẽ có 3 tab là Deepseek Harness, Antigravity Proxy và Codex Proxy. Ở phía dưới có nút Hide Header để ẩn thanh phía trên đi để tăng diện tích sử dụng. Khi mới vào cần đợi tự động cài đặt, khi nào thanh bê...

⭐ Ollama Đầu tiên hãy tạo tài khoản Ollama ở đây: Ollama Tiếp theo hãy vào đây xem mô hình nào đang free: Ollama Ví dụ ở đây họ đang cho free 6 mô hình này. Trong đó chúng ta sẽ chừa tụi gpt-oss ra, mấy mô hình này hơi dởm khi code. Khuyến nghị dùng mô hình Ge...

Media server - Serving Video, Audio, Image, Document. How to install You need create 3 files: docker-compose.yaml, settings.ini, .env file. Put these file into a folder. Open with cmd then type docker compose up -d. docker-compose.yaml services: mediac-post...

Công thức cơ bản: Nguyên liệu: 7 phần nếp, 3 phần gạo và bột mì. Bột mì nên mua loại số 8, trộn vào với tỉ lệ 10 kg nếp + gạo thì thêm 1 kg bột mì. Mè trắng loại đã chà vỏ. Đậu xanh vàng loại đã chà vỏ. Đường, muối. Vỏ bánh: Lấy bột nếp, bột gạo, bột mì, đường...