Skip to content
所有標籤

#llm

22 篇文章
ai

Groq Console:用 LPU 推論開源模型的開發者平台

Groq Console 是 Groq 自家 LPU 晶片的開發者入口,提供 OpenAI 相容 API、Playground、免費額度,主打把 Llama、Qwen、DeepSeek 等開源模型跑出市面上最快的 token/秒。

ai guide

Gemma on Cloudflare Workers AI:繁中應用的務實選擇

在 Cloudflare Workers AI 上跑 LLM,gemma-3-12b-it 的繁體中文指令跟隨比 llama-3.1-8b-instruct 明顯更好;2026 年 Gemma 4 上線後多了 Vision、Function calling 與 256K context,視需求升級。

ai project

Qwen(通義千問):阿里巴巴的開源 LLM 家族,從 72B 到 397B 的演進全覽

Qwen(通義千問)是阿里巴巴推出的開源 LLM 家族,以 Apache 2.0 授權、201 語言覆蓋和快速迭代聞名。最新的 Qwen3.6(2026/04)聚焦 Agentic Coding,27B Dense 版本在 SWE-bench 77.2%、Terminal-Bench 59.3%,與 Claude Opus 同級;新增 Thinking Preservation 讓 agent 跨輪保留推理脈絡。

marketing project

AEO / GEO 工具全景:輸入面、流量面、輸出面——從 isitagentready 到 aeo-radar 到 Profound

AEO/GEO 工具不是單一類別,而是三個面向:輸入面(網站有沒有準備好給 AI 讀)、流量面(AI bot 實際爬了多少)、輸出面(品牌在答案裡怎麼被提到)。這篇把三面向、從開源自架到商業 SaaS 的工具一次攤開。

ai guide

一本由 AI 自己寫的書,教你怎麼跟 AI 一起寫軟體

Encyclopedia of Agentic Coding Patterns 收錄 190 個 pattern,幫你在 AI 代寫程式的時代做出正確的軟體決策——而這本書本身就是由 AI agent 自主撰寫和維護的。

ai guide

MarkItDown:把任何檔案餵給 LLM 之前,先讓它變成 Markdown

Microsoft 開源的輕量工具,把 PDF、Office、圖片、音訊等格式統一轉成 Markdown,專門為 LLM pipeline 設計。

ai guide

Autoreason:讓 LLM 自我修正時知道何時該停手

Autoreason 用競爭式多版本評估(A/B/AB + 盲測 Borda count)取代傳統的「批評→改寫」迴圈,解決 LLM 自我修正中的提示偏差、範疇蔓延和缺乏克制三大問題。

ai guide

2026 個人 AI 硬體選購指南:DGX Spark、Mac Studio、MSI AI Edge 全比較

比較 NVIDIA DGX Spark、Apple Mac Studio M4 Ultra、ASUS Ascent GX10、MSI AI Edge 等個人 AI 工作站,幫你找到適合的本地推論硬體。

tech guide

NVIDIA DGX Spark:桌上型 AI 超級電腦,把一個 petaFLOP 塞進你的桌面

NVIDIA DGX Spark 搭載 GB10 Grace Blackwell Superchip,128GB 統一記憶體,提供 1 petaFLOP FP4 算力,售價約 $3,999 美元起。適合開發者在本地跑 200B 參數模型、fine-tune 70B 模型,是目前最容易入手的 NVIDIA AI 開發平台。

ai project

2026 Q1 開源 LLM 全景圖:從前沿大模型到手機端,完整盤點

2026 Q1 開源模型全面爆發:LLM 方面 GLM-5、Kimi K2.5、Qwen3.5 追上閉源;Embedding 和 Reranker 由 Qwen3 和 BGE 主導;語音有 Voxtral TTS 和 Whisper V3;圖像有 FLUX.2;影片有 Wan 2.2 追平 Sora。這篇是完整導覽地圖。

ai guide

OpenClaw 的模型需求與供應商生態

OpenClaw 支援 35+ 模型供應商,最低需求是模型支援 tool use + streaming,內建 auth 輪替和 model failover 機制。

ai project

GLM-5:智譜 AI 的 744B 開源模型,用華為晶片訓出來的前沿 AI

GLM-5 是智譜 AI(Z.ai)於 2026 年 2 月發布的 744B MoE 開源模型,完全在華為昇騰晶片上訓練,以 MIT 授權開源。它是目前開源模型中排名最高的,在 Humanity's Last Exam 等基準上甚至超越 Claude 和 GPT-5,而 API 定價只有它們的 1/5 到 1/8。

ai project

Kimi:月之暗面的長文本 AI 模型,憑什麼挑戰 GPT 和 Claude?

Kimi 是中國 AI 新創月之暗面(Moonshot AI)推出的大型語言模型,以超長 context window、開源策略和極具競爭力的定價聞名。從 2023 年的 200K context 到 2026 年的 K2.5 Agent Swarm,Kimi 已成為全球 AI 市場不可忽視的力量。

ai guide

Langfuse 完整指南:LLM 應用的可觀測性從零開始

Langfuse 是目前最成熟的開源 LLM Observability 平台。這篇從 Tracing、Prompt 管理、評估、Dataset 四個核心功能切入,帶你搞清楚它在實際專案中怎麼用。

ai guide

AI Agent 的三個核心支柱:Context、Cognition、Action

AI Agent 不是黑盒子——它由三層構成:知道什麼(Context)、怎麼想(Cognition)、能做什麼(Action)。搞清楚這三層,才能理解 agent 為什麼有時聰明、有時失控,以及怎麼設計一個真正好用的 agent 系統。

ai guide

Ollama 完整指南:一行指令在本地跑 LLM

Ollama 把 llama.cpp 包裝成 Docker 風格的 CLI + REST API,一行指令就能在本地跑 LLM。這篇從核心概念、安裝、API、硬體需求到 Modelfile 自訂,完整介紹這個工具適合什麼、不適合什麼。

ai guide

Prompt Engineering 實戰:迭代方法論、常見錯誤與 Few-shot 最佳化

好的 Prompt 不是一次寫出來的,而是迭代出來的。從最簡單的 prompt 開始,用真實 case 測試,分類錯誤類型,針對性修改。本文涵蓋 System Prompt 三段式結構、推理框架選擇、Few-shot 最佳化、Token 預算管理和六個常見錯誤。

ai guide

Query Classification:讓 RAG 知道該怎麼回答這個問題

不是所有問題都需要 RAG。用 LLM 先分類查詢類型,再決定執行路徑,節省成本又提升準確度。

ai guide

RAG Guardrails:在輸入和輸出加一道防線

RAG 系統面對的攻擊不只是技術層面的,Prompt Injection 和 Jailbreak 是真實威脅。輸入輸出都需要獨立的防護層。

ai guide

RAG Prompt Engineering:System Prompt 和 Context 怎麼設計

搜尋找到了正確的文件,但 LLM 的回答還是不好——很多時候問題在 Prompt 設計。System prompt 結構、context 排版、指令語言都會影響輸出品質。

ai deep-dive

RAG vs Fine-tuning:不是非此即彼

RAG 和 Fine-tuning 解決的是不同問題。RAG 給模型新知識,Fine-tuning 改變模型的行為風格。大多數情況是兩者都用,而不是選一個。

tech deep-dive

NobodyClimb AI 架構:在 Cloudflare Workers 上打造 20 節點 RAG Pipeline

用 Cloudflare Workers AI(gemma-3-12b-it + bge-m3)打造可動態組裝的 RAG pipeline,14 個基礎 step + 6 個 LangGraph 專屬節點,三種策略圖(Baseline / Agentic / Plan-Execute)動態切換。