AIO 指南 · 2026 年 11 月
Shopify robots.txt.liquid 怎麼設定 AI 爬蟲?讓 ChatGPT、Perplexity、Claude 搜尋抓得到你的商店(賣美國、歐盟,2026 版)
先說結論:大多數 Shopify 商店其實本來就允許 AI 搜尋爬蟲——Shopify 預設的 robots.txt 以 User-agent: * 開頭,並用 Allow: / 開放公開頁面[1]。真正讓商店在 ChatGPT、Perplexity、Claude 搜尋裡「消失」的,通常是舊的 robots.txt.liquid 自訂、整份改成純文字的檔案,或擋在前面的代理/防爬設定。檢查 /robots.txt,讓 OAI-SearchBot、PerplexityBot、Claude-SearchBot 照預設規則抓取[3][4][5];如果只想拒絕 AI 模型訓練,就只封鎖 GPTBot、ClaudeBot 和 Google-Extended[3][5][6]。
為什麼賣美國、歐盟的品牌要管 robots.txt?
對美國、英國、歐盟消費者來說,問 AI 助理已經是查商品的一個步驟,而 AI 能引用哪些網站,有一部分取決於你的 robots.txt。OpenAI 寫得很直接:封鎖 OAI-SearchBot 的網站「不會出現在 ChatGPT 搜尋答案中」,頂多以導覽連結出現[3]。Perplexity 表示 PerplexityBot 用於在搜尋結果中呈現與連結網站,不用來訓練基礎模型[4];Anthropic 則說停用 Claude-SearchBot 可能降低你在搜尋結果中的能見度[5]。換句話說,一行多出來的 Disallow: /,可能讓你同時在三個答案引擎少掉被引用的機會。
Shopify 商店該放行、該封鎖哪些 AI 爬蟲?
| User agent | 所屬公司與用途 | 我們對美國/歐盟商店的預設建議 |
|---|---|---|
| OAI-SearchBot | OpenAI:讓網站出現在 ChatGPT 搜尋[3] | 放行(沿用預設規則) |
| GPTBot | OpenAI:抓取可能用於模型訓練的內容[3] | 自行決定;封鎖不影響 ChatGPT 搜尋[3] |
| ChatGPT-User | OpenAI:使用者觸發的造訪,robots.txt 可能不適用[3] | 不需處理 |
| PerplexityBot | Perplexity:搜尋結果,不用於模型訓練[4] | 放行 |
| Claude-SearchBot | Anthropic:提升搜尋結果品質[5] | 放行 |
| ClaudeBot | Anthropic:可能用於訓練的內容[5] | 自行決定 |
| Google-Extended | Google:Gemini 訓練與 grounding;不影響 Google 搜尋收錄與排名[6] | 自行決定(封鎖可能減少 Gemini App 的引用) |
怎麼檢查商店目前的規則?(4 個步驟)
- 用主網域打開
https://你的網域/robots.txt[1],搜尋User-agent: *或任何 AI 爬蟲名稱底下,是否有單獨一行的Disallow: /。 - 到 Shopify 後台 線上商店 → 佈景主題 → ⋯ → 編輯程式碼,找
templates/robots.txt.liquid[1]。沒有這個檔案,就代表你用的是 Shopify 預設版本。 - 如果有,確認它仍保留
robots.default_groups迴圈,還是被整份換成純文字。Shopify「強烈不建議」純文字,因為規則會過時[1];舊範本也可能留著現行預設已拿掉的規則,例如Disallow: /policies/[1]。 - 拿掉擋在商店前面的代理或第三方防爬設定:Shopify 已在網路層處理機器人管理,也不建議在 Shopify 前面加代理[1]。
AI 爬蟲用的 robots.txt.liquid 範本怎麼寫才安全?
保留 Shopify 的 Liquid 迴圈,預設規則才會自動更新[1][2];只有要封鎖的爬蟲,才在迴圈下方加自訂群組[2]:
{% for group in robots.default_groups %}
{{- group.user_agent }}
{%- for rule in group.rules -%}
{{ rule }}
{%- endfor -%}
{%- if group.sitemap != blank -%}
{{ group.sitemap }}
{%- endif -%}
{% endfor %}
# Optional: opt out of AI model training only
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
如果你不介意內容被用於訓練,把下面三個選用群組刪掉即可。也不要「保險起見」加上 User-agent: OAI-SearchBot + Allow: /:爬蟲只會套用最符合自己的那一組規則,專屬群組也不會和 * 合併[7],結果反而讓它無視 Shopify 對購物車、結帳和篩選系列頁的 Disallow。記得存在已發布的佈景主題——從後台上傳佈景主題不會帶入 robots.txt.liquid[1]。
robots.txt 能控制 ChatGPT、Copilot 上的 Shopify 購物嗎?
不能,這也是最多店家搞錯的地方。Shopify 說明,如果你透過 ChatGPT、Microsoft Copilot 等代理式店面銷售,商品資料是經由 Shopify Catalog 同步,與 /robots.txt 無關;封鎖爬蟲只影響開放網路上的能見度[1]。可以這樣分工:robots.txt 決定你能不能在 AI 答案裡被引用,代理式店面設定決定你能不能在裡面被購買。
AI 訓練偏好訊號接下來會怎麼變?
Anthropic 表示自 2026 年 10 月 30 日起,開始採用以 IETF aipref 工作為基礎、機器可讀的「不用於 AI 訓練」偏好訊號,但直接點名 ClaudeBot 的規則仍優先[5]。Google 則表示預計 2027 年初支援 AIPREF 訓練偏好訊號[6]。在那之前,直接寫明 user agent 的規則仍是最可預期的做法。
實用重點
- 今天就打開
/robots.txt,確認沒有任何 AI 搜尋爬蟲被封鎖。 - 不要把 Liquid 迴圈換成純文字,自訂群組一律加在迴圈下方。
- 只有確定要拒絕訓練時才封鎖訓練爬蟲,也別替搜尋爬蟲另開
Allow: /群組。 - ChatGPT/Copilot 的商品同步請到代理式店面設定管理,不是 robots.txt。
FAQ
Shopify 預設的 robots.txt 會擋 ChatGPT 或 Perplexity 嗎?
不會。Shopify 預設檔案以 User-agent: * 群組開頭並允許公開頁面,所以除非自訂範本或 App 另外加了封鎖,OAI-SearchBot、PerplexityBot、Claude-SearchBot 都能抓商品、系列與部落格頁。
要不要在 robots.txt 加「User-agent: OAI-SearchBot / Allow: /」?
通常不用。為某個爬蟲建立專屬群組後,它就不再套用 * 群組,會失去 Shopify 對購物車、結帳與篩選頁的 Disallow。專屬群組只在要封鎖時才加,或把預設規則一起複製進去。
能不能拒絕 AI 訓練,但保留 AI 搜尋曝光?
可以。OpenAI、Anthropic、Google 都把訓練與搜尋分成不同代號:封鎖 GPTBot、ClaudeBot、Google-Extended,讓 OAI-SearchBot、Claude-SearchBot、PerplexityBot 照預設規則抓取即可。
封鎖 AI 爬蟲,商品會從 ChatGPT 的代理式結帳消失嗎?
不會。Shopify 說明代理式店面(agentic storefronts)的商品資料是透過 Shopify Catalog 同步,與 robots.txt 無關;要控制請到代理式店面設定。
改完 robots.txt,ChatGPT 或 Perplexity 多久會生效?
OpenAI 表示搜尋結果約需 24 小時調整;Perplexity 表示最多 24 小時。Shopify 端的檔案修改則是立即生效。
想請我們檢查你的 Shopify robots.txt 與 AI 搜尋能見度(美國、英國、歐盟市場)?來信 ypeasystore@gmail.com,或到我們的聯絡頁面留言。English readers: read the English version.
資料來源
- Shopify Help Center — Editing robots.txt.liquid (incl. “Controlling AI crawler access”)
- Shopify.dev — Customize robots.txt
- OpenAI — Overview of OpenAI Crawlers
- Perplexity — Perplexity Crawlers
- Claude Help Center — Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Google Crawling Infrastructure — Google’s common crawlers (Google-Extended)
- Google Search Central — How Google interprets the robots.txt specification