<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:media="http://search.yahoo.com/mrss/">
  <channel>
    <title>Caching · Nhân Tài Đức</title>
    <link>https://jared.lynskey.co.nz/vi/tags/caching/</link>
    <description>Những câu chuyện ngắn về kỹ thuật phần mềm và lãnh đạo đội ngũ kỹ sư — performance review, tuyển dụng và mở rộng team, CI/CD, giám sát DevOps và AI agent. Viết từ Seoul.</description>
    <generator>Hugo</generator>
    <language>vi</language>
    <copyright>© 2026 Nhân Tài Đức</copyright>
    <lastBuildDate>Sat, 07 Nov 2026 00:00:00 +1300</lastBuildDate>
    <atom:link href="https://jared.lynskey.co.nz/vi/tags/caching/index.xml" rel="self" type="application/rss+xml" />
    <item>
      <title>SEO cho React Native Web: khi Cloudflare trả về cho Googlebot một trang trống</title>
      <link>https://jared.lynskey.co.nz/vi/posts/2026/2026-09-09-cloudflare-crawlers-cache/</link>
      <guid isPermaLink="true">https://jared.lynskey.co.nz/vi/posts/2026/2026-09-09-cloudflare-crawlers-cache/</guid>
      <pubDate>Wed, 09 Sep 2026 04:00:00 +1200</pubDate>
      <dc:creator>Jared Lynskey</dc:creator>
      <category>Cloudflare</category>
      <category>SEO</category>
      <category>Django</category>
      <category>Caching</category>
      <category>Crawlers</category>
      <category>Naver</category>
      <category>React Native</category>
      <description>Cách tôi làm cho ứng dụng React Native Web hiện ra với Google và trình thu thập dữ liệu của Naver bằng kết xuất động, và quy tắc bộ nhớ đệm Cloudflare đã trả cho Googlebot khung SPA rỗng.</description>
      <content:encoded><![CDATA[<p>Nếu trang web React hay React Native Web của bạn là một ứng dụng trang đơn, trình thu thập dữ liệu (crawler) của Naver (Yeti) và Bing sẽ không chạy JavaScript của nó, còn Google thì chỉ thỉnh thoảng mới chạy. Cách sửa là kết xuất động (dynamic rendering): nhận diện crawler qua user-agent rồi trả cho nó HTML kết xuất sẵn ở máy chủ, với đúng nội dung mà ứng dụng sẽ vẽ ra. Sai lầm cần tránh trên Cloudflare là lưu đệm URL đó cho tất cả mọi người. Cloudflare bỏ qua <code>Vary</code> với HTML, nên nội dung nào đến trước sẽ được trả cho mọi lượt truy cập sau, và Googlebot có thể nhận về cái khung rỗng; chỉ lưu đệm request của crawler, và xóa bộ nhớ đệm (purge) sau khi thu hẹp quy tắc.</p>
<p>Ứng dụng chợ (marketplace) mà tôi đang làm là một ứng dụng trang đơn (single-page app) viết bằng React Native Web. Trước khi JavaScript chạy, trang tin đăng (listing) nào cũng chỉ có đúng một thẻ script và một thẻ div rỗng. Với người dùng thì chẳng sao, nhưng với công cụ tìm kiếm thì coi như xong: Google thỉnh thoảng chạy được JS, Bing thì không, còn trình thu thập dữ liệu (crawler) của Naver — thứ quan trọng nhất với một trang web mà gần như toàn bộ tin đăng đều bằng tiếng Hàn — thì chắc chắn là không.</p>
<p>Bài này kể lại quá trình tôi làm cho các trang đó hiện ra với công cụ tìm kiếm, rồi chuyện một quy tắc lưu đệm (cache rule) phá hỏng tất cả theo cách tôi không hề lường trước.</p>

<h2 class="relative group">Kết xuất động, chứ không phải che giấu nội dung
    <div id="kết-xuất-động-chứ-không-phải-che-giấu-nội-dung" class="anchor"></div>
    
    <span
        class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none">
        <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#k%e1%ba%bft-xu%e1%ba%a5t-%c4%91%e1%bb%99ng-ch%e1%bb%a9-kh%c3%b4ng-ph%e1%ba%a3i-che-gi%e1%ba%a5u-n%e1%bb%99i-dung" aria-label="Cọc dấu">#</a>
    </span>
    
</h2>
<p>Cách sửa thì chẳng có gì mới, và được chính Google chấp nhận dưới cái tên kết xuất động (dynamic rendering), khác hẳn với che giấu nội dung (cloaking): nhận diện trình thu thập dữ liệu, rồi trả cho nó HTML đã kết xuất (render) sẵn ở máy chủ, chứa đúng nội dung mà SPA lẽ ra sẽ vẽ lên màn hình. Không phải nội dung khác. Vẫn nội dung ấy, chỉ là có sớm hơn.</p>
<p>Vì vậy, một URL tin đăng như <code>/listings/view?id=...</code> được tách làm hai nhánh. Trình duyệt nhận phần khung (shell) của SPA. Trình thu thập dữ liệu nhận một tài liệu HTML thật sự: tiêu đề, các thông tin chính của tin đăng, mỗi ảnh một thẻ ảnh kèm văn bản thay thế (alt text), một đoạn trích nội dung, và liên kết sang vài tin đăng liên quan để trang không bị mồ côi.</p>
<p>Phần cuối này hoá ra quan trọng hơn tôi nghĩ. Trước khi có mấy liên kết nội bộ đó, khoảng một nghìn trang tin đăng nằm trơ trọi, không có liên kết nào trỏ tới, và Search Console cho thấy lượng thu thập chững lại ở mức bảy đến mười một yêu cầu mỗi ngày. Trình thu thập dữ liệu mà không tìm thấy trang của bạn thì trang có hay đến mấy cũng vô nghĩa.</p>

<h2 class="relative group">Cái bẫy: tên công ty không phải là tên bot
    <div id="cái-bẫy-tên-công-ty-không-phải-là-tên-bot" class="anchor"></div>
    
    <span
        class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none">
        <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#c%c3%a1i-b%e1%ba%aby-t%c3%aan-c%c3%b4ng-ty-kh%c3%b4ng-ph%e1%ba%a3i-l%c3%a0-t%c3%aan-bot" aria-label="Cọc dấu">#</a>
    </span>
    
</h2>
<p>Nhận diện trình thu thập dữ liệu thực chất là so khớp chuỗi user-agent, và tôi dính đòn đúng ở bước này.</p>
<p>Các nền tảng Hàn Quốc cho trình thu thập dữ liệu chạy dưới những cái tên chẳng liên quan gì tới tên công ty. Trình thu thập của Naver tên là <strong>Yeti</strong>. Của Daum là <strong>Daumoa</strong>. Còn công cụ cào dữ liệu (scraper) lấy bản xem trước liên kết của Kakao là <strong>kakaotalk-scrap</strong>. Không cái nào mang đúng tên công ty.</p>
<p>Trong khi đó, cũng chính mấy công ty này làm ứng dụng có trình duyệt nhúng bên trong, và trình duyệt đó gửi user-agent y như trình duyệt thật, chỉ gắn thêm tên ứng dụng ở cuối. Trình duyệt trong ứng dụng KakaoTalk ghi <code>KAKAOTALK/10.5.1</code>. Công cụ cào dữ liệu của Kakao thì ghi <code>kakaotalk-scrap/1.0</code>.</p>
<p>Cứ so khớp theo <code>kakao</code> là bạn tóm luôn cả hai. Tôi đã làm đúng như vậy, thế là người dùng KakaoTalk, ứng dụng Naver hay ứng dụng Daum nào mở liên kết cũng nhận về trang dành cho trình thu thập: không JavaScript, không điều hướng, không đăng nhập. Một tài liệu hoàn toàn chuẩn chỉnh, nhưng với con người thì vô dụng.</p>
<p>Cách sửa là một quy tắc về thứ tự kiểm tra, và đáng để viết hẳn ra thành quy tắc:</p>
<div class="highlight-wrapper"><div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python"><span class="line"><span class="cl"><span class="kn">import</span> <span class="nn">re</span>
</span></span><span class="line"><span class="cl">
</span></span><span class="line"><span class="cl"><span class="c1"># In-app browsers append the app&#39;s name to an ordinary browser UA.</span>
</span></span><span class="line"><span class="cl"><span class="n">INAPP_BROWSER_RE</span> <span class="o">=</span> <span class="n">re</span><span class="o">.</span><span class="n">compile</span><span class="p">(</span><span class="sa">r</span><span class="s2">&#34;kakaotalk/|naver\(inapp|daumapps&#34;</span><span class="p">,</span> <span class="n">re</span><span class="o">.</span><span class="n">I</span><span class="p">)</span>
</span></span><span class="line"><span class="cl">
</span></span><span class="line"><span class="cl"><span class="c1"># Name the bot, never the vendor: Naver crawls as Yeti, Daum as Daumoa,</span>
</span></span><span class="line"><span class="cl"><span class="c1"># Kakao&#39;s link-preview scraper as kakaotalk-scrap.</span>
</span></span><span class="line"><span class="cl"><span class="n">CRAWLER_RE</span> <span class="o">=</span> <span class="n">re</span><span class="o">.</span><span class="n">compile</span><span class="p">(</span><span class="sa">r</span><span class="s2">&#34;googlebot|bingbot|yeti/|daumoa|kakaotalk-scrap&#34;</span><span class="p">,</span> <span class="n">re</span><span class="o">.</span><span class="n">I</span><span class="p">)</span>
</span></span><span class="line"><span class="cl">
</span></span><span class="line"><span class="cl">
</span></span><span class="line"><span class="cl"><span class="k">def</span> <span class="nf">is_crawler</span><span class="p">(</span><span class="n">user_agent</span><span class="p">:</span> <span class="nb">str</span><span class="p">)</span> <span class="o">-&gt;</span> <span class="nb">bool</span><span class="p">:</span>
</span></span><span class="line"><span class="cl">    <span class="c1"># An in-app browser is never a crawler, so that check comes first.</span>
</span></span><span class="line"><span class="cl">    <span class="k">if</span> <span class="ow">not</span> <span class="n">user_agent</span> <span class="ow">or</span> <span class="n">INAPP_BROWSER_RE</span><span class="o">.</span><span class="n">search</span><span class="p">(</span><span class="n">user_agent</span><span class="p">):</span>
</span></span><span class="line"><span class="cl">        <span class="k">return</span> <span class="kc">False</span>
</span></span><span class="line"><span class="cl">    <span class="k">return</span> <span class="nb">bool</span><span class="p">(</span><span class="n">CRAWLER_RE</span><span class="o">.</span><span class="n">search</span><span class="p">(</span><span class="n">user_agent</span><span class="p">))</span></span></span></code></pre></div></div>
<p>Trình duyệt trong ứng dụng được kiểm tra trước, và luôn thắng. Còn token nhận diện trình thu thập nào cũng phải là tên của một <em>bot</em>, tuyệt đối không phải tên công ty.</p>

<h2 class="relative group">Rồi tôi đặt Cloudflare đứng trước
    <div id="rồi-tôi-đặt-cloudflare-đứng-trước" class="anchor"></div>
    
    <span
        class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none">
        <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#r%e1%bb%93i-t%c3%b4i-%c4%91%e1%ba%b7t-cloudflare-%c4%91%e1%bb%a9ng-tr%c6%b0%e1%bb%9bc" aria-label="Cọc dấu">#</a>
    </span>
    
</h2>
<p>Máy chủ gốc (origin) chỉ là một máy shared-cpu duy nhất đặt ở Sydney, chịu tải ổn định được khoảng hai mươi đến ba mươi yêu cầu mỗi giây. Googlebot có chừng 995 URL cần đi qua. URL nào cũng chạy thẳng về Sydney, vì <code>cf-cache-status</code> ở tất cả đều là <code>DYNAMIC</code>: <strong>Cloudflare không lưu đệm HTML trừ khi có quy tắc bảo nó làm vậy.</strong> Cả vùng (zone) chỉ khoảng 16% được lưu đệm, và phần quan trọng thì không nằm trong số đó.</p>
<p>Vậy thì thêm một quy tắc lưu đệm cho các trang dành cho trình thu thập. Đơn giản. Có điều, một URL tin đăng không chỉ có một phần thân (body). Nó có tới ba.</p>
<ul>
<li>Trình thu thập dữ liệu xin HTML thì nhận trang kết xuất ở máy chủ.</li>
<li>Người dùng thật thì nhận phần khung của SPA.</li>
<li>Tác tử AI (AI agent) gửi <code>Accept: text/markdown</code> thì nhận markdown dựng từ cơ sở dữ liệu, vì đem một khung HTML rỗng đi chuyển đổi thì cũng chỉ ra một tài liệu rỗng.</li>
</ul>
<p>Máy chủ gốc có trả <code>Vary: Accept</code>, còn <code>Vary</code> theo user-agent thì đằng nào cũng vô vọng. Và đây là điều tôi không hề biết:</p>
<blockquote><p><strong>Cloudflare bỏ qua <code>Vary</code> với HTML.</strong> Cả ba phần thân dùng chung một khoá lưu đệm (cache key).</p>
</blockquote><p>Phần thân nào tới trước sẽ chiếm luôn URL đó cho mọi lượt truy cập sau ở điểm biên (edge location) ấy, trong suốt một tiếng mà <code>s-maxage</code> của máy chủ gốc cho phép, cộng thêm một ngày <code>stale-while-revalidate</code>.</p>
<p>Tôi được tận mắt thấy chuyện này trên môi trường production, theo cả hai chiều:</p>
<ul>
<li>Một người dùng ứng dụng Naver mở một URL tin đăng trước, bộ nhớ đệm giữ lại trang dành cho trình thu thập, rồi sau đó Safari bình thường trên iPhone nhận đúng trang ấy dưới dạng HIT. Một con người ngồi nhìn một tài liệu không có tí JavaScript nào.</li>
<li>Một người dùng thật mở một URL trước, bộ nhớ đệm giữ lại phần khung của SPA, và Googlebot nhận về cái khung rỗng. Đúng cái lỗi mà cả nỗ lực SEO sinh ra để ngăn chặn, giờ lại còn được phục vụ nhanh hơn, ngay từ máy chủ biên.</li>
</ul>

<h2 class="relative group">Cái quy tắc sửa lỗi bằng cách thu hẹp phạm vi
    <div id="cái-quy-tắc-sửa-lỗi-bằng-cách-thu-hẹp-phạm-vi" class="anchor"></div>
    
    <span
        class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none">
        <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#c%c3%a1i-quy-t%e1%ba%afc-s%e1%bb%ada-l%e1%bb%97i-b%e1%ba%b1ng-c%c3%a1ch-thu-h%e1%ba%b9p-ph%e1%ba%a1m-vi" aria-label="Cọc dấu">#</a>
    </span>
    
</h2>
<p>Bạn không thể bắt Cloudflare tôn trọng <code>Vary</code> với HTML. Cái bạn làm được là đảm bảo trong ba phần thân đó, chỉ đúng một cái có cửa vào bộ nhớ đệm:</p>
<div class="highlight-wrapper"><div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">(starts_with(http.request.uri.path, &#34;/listings/&#34;)
</span></span><span class="line"><span class="cl"> and not any(http.request.headers[&#34;accept&#34;][*] contains &#34;text/markdown&#34;)
</span></span><span class="line"><span class="cl"> and (lower(http.user_agent) contains &#34;googlebot&#34; or ...)
</span></span><span class="line"><span class="cl"> and not (lower(http.user_agent) contains &#34;kakaotalk/&#34; or ...))</span></span></code></pre></div></div>
<p>Chỉ khớp user-agent của trình thu thập, và loại trừ yêu cầu xin markdown. Giờ yêu cầu của người dùng thật không khớp quy tắc nào cả, nên nó là <code>DYNAMIC</code> và đi về máy chủ gốc như trước. Chỉ yêu cầu của trình thu thập mới được đọc hoặc ghi bộ nhớ đệm, nên phần thân duy nhất có thể nằm trong đó là phần thân dành cho trình thu thập.</p>
<p>Edge TTL để là <code>respect_origin</code>, nên thời gian sống của dữ liệu đệm vẫn do chính phần mã kết xuất trang quyết định, chứ không bị đóng cứng trong một bảng điều khiển nào đó.</p>
<p>Có một chi tiết vận hành rất dễ bỏ sót: <strong>thu hẹp quy tắc không xoá những gì đã nằm sẵn trong bộ nhớ đệm.</strong> Bạn phải xoá bộ nhớ đệm (purge), không thì vẫn tiếp tục trả ra những mục nhiễm độc mà mình vừa ngừng tạo ra.</p>

<h2 class="relative group">Hai danh sách, và vì sao sai lệch giữa chúng không đối xứng
    <div id="hai-danh-sách-và-vì-sao-sai-lệch-giữa-chúng-không-đối-xứng" class="anchor"></div>
    
    <span
        class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none">
        <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#hai-danh-s%c3%a1ch-v%c3%a0-v%c3%ac-sao-sai-l%e1%bb%87ch-gi%e1%bb%afa-ch%c3%bang-kh%c3%b4ng-%c4%91%e1%bb%91i-x%e1%bb%a9ng" aria-label="Cọc dấu">#</a>
    </span>
    
</h2>
<p>Quy tắc này cần một danh sách user-agent của trình thu thập, mà Django thì đã có sẵn một danh sách như vậy. Cùng một kiến thức mà nằm hai bản ở hai hệ thống thường là dấu hiệu có vấn đề. Nhưng ở đây, điều thú vị là chuyện gì xảy ra khi hai bản lệch nhau, vì hậu quả không đối xứng:</p>
<ul>
<li><strong>Danh sách bot trong Cloudflare phải luôn là tập con</strong> của danh sách trong Django. Nếu có token mà Cloudflare coi là bot còn Django thì không, phần khung SPA sẽ bị lưu đệm dưới khoá chỉ dành cho trình thu thập, rồi bị trả cho một trình thu thập thật.</li>
<li><strong>Danh sách loại trừ trình duyệt trong ứng dụng phải luôn là tập cha</strong> của danh sách trong Django. Loại trừ thừa thì cùng lắm bạn mất một lần trúng bộ nhớ đệm (cache hit).</li>
</ul>
<p>Sai theo chiều an toàn, dù ở danh sách nào, thì bạn chỉ mất một ít dữ liệu đệm. Nhưng sai danh sách đầu theo chiều ngược lại là bạn quay về cảnh trả cho Googlebot một trang trống. Nhân tiện, cũng vì sự bất đối xứng đó mà hai danh sách dùng <code>contains</code> chứ không dùng biểu thức chính quy (regex): <code>matches</code> đòi gói Business, còn <code>contains</code> là đủ cho một danh sách được phép xấp xỉ, miễn là lệch về phía đã biết là an toàn.</p>

<h2 class="relative group">Một bất biến làm hỏng bản dựng thay vì làm hỏng trang
    <div id="một-bất-biến-làm-hỏng-bản-dựng-thay-vì-làm-hỏng-trang" class="anchor"></div>
    
    <span
        class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none">
        <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#m%e1%bb%99t-b%e1%ba%a5t-bi%e1%ba%bfn-l%c3%a0m-h%e1%bb%8fng-b%e1%ba%a3n-d%e1%bb%b1ng-thay-v%c3%ac-l%c3%a0m-h%e1%bb%8fng-trang" aria-label="Cọc dấu">#</a>
    </span>
    
</h2>
<p>Các trang dành cho trình thu thập nhúng URL ảnh dạng ký sẵn (presigned), có hiệu lực bảy ngày. Còn bản thân các trang thì được lưu đệm ở máy chủ biên một tiếng, cộng thêm một ngày stale-while-revalidate.</p>
<p>Hai con số này dính dáng tới nhau. Nếu có ngày thời gian lưu đệm vượt quá thời hạn của ảnh, máy chủ biên sẽ bắt đầu trả ra những trang mà ảnh nào cũng dính lỗi 403. Sẽ chẳng có cảnh báo nào kêu cả, vì HTML vẫn hoàn toàn bình thường.</p>
<p>Nên đoạn mã định nghĩa mấy con số đó sẽ từ chối nạp (import) nếu quan hệ này bị phá vỡ:</p>
<div class="highlight-wrapper"><div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python"><span class="line"><span class="cl"><span class="n">CRAWLER_IMAGE_TTL</span> <span class="o">=</span> <span class="mi">7</span> <span class="o">*</span> <span class="mi">24</span> <span class="o">*</span> <span class="mi">3600</span>  <span class="c1"># presigned image URLs</span>
</span></span><span class="line"><span class="cl"><span class="n">EDGE_S_MAXAGE</span> <span class="o">=</span> <span class="mi">3600</span>
</span></span><span class="line"><span class="cl"><span class="n">EDGE_STALE_WHILE_REVALIDATE</span> <span class="o">=</span> <span class="mi">24</span> <span class="o">*</span> <span class="mi">3600</span>
</span></span><span class="line"><span class="cl">
</span></span><span class="line"><span class="cl"><span class="c1"># Fail at import time if the edge cache could outlive the image URLs.</span>
</span></span><span class="line"><span class="cl"><span class="k">if</span> <span class="n">EDGE_S_MAXAGE</span> <span class="o">+</span> <span class="n">EDGE_STALE_WHILE_REVALIDATE</span> <span class="o">&gt;=</span> <span class="n">CRAWLER_IMAGE_TTL</span><span class="p">:</span>
</span></span><span class="line"><span class="cl">    <span class="k">raise</span> <span class="ne">RuntimeError</span><span class="p">(</span><span class="s2">&#34;edge cache lifetime must stay below the image URL lifetime&#34;</span><span class="p">)</span></span></span></code></pre></div></div>
<p>Một ràng buộc giữa hai hằng số nằm ở hai tệp khác nhau thì gần như vô hình khi rà soát mã, nhưng lộ ra ngay khi tiến trình khởi động. Vậy thì cứ đặt phép kiểm tra ở chỗ tiến trình khởi động.</p>

<h2 class="relative group">Hai thứ Cloudflare làm mà tôi phải gỡ lại
    <div id="hai-thứ-cloudflare-làm-mà-tôi-phải-gỡ-lại" class="anchor"></div>
    
    <span
        class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none">
        <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#hai-th%e1%bb%a9-cloudflare-l%c3%a0m-m%c3%a0-t%c3%b4i-ph%e1%ba%a3i-g%e1%bb%a1-l%e1%ba%a1i" aria-label="Cọc dấu">#</a>
    </span>
    
</h2>
<p><strong><code>Vary: Origin</code> khiến gói JavaScript không vào được bộ nhớ đệm.</strong> <code>django-cors-headers</code> đóng dấu <code>Vary: Origin</code> lên mọi phản hồi mà nó đi qua, còn Cloudflare thì không lưu đệm bất cứ thứ gì vary theo nhiều hơn <code>Accept-Encoding</code>. Thế là gói JavaScript (bundle) 1.6 MB — thứ nặng nhất trên đường tải quan trọng (critical path) — lặng lẽ bị loại hẳn khỏi máy chủ biên. Cách sửa là một middleware đặt đầu tiên trong danh sách, để nó chạy sau cùng lúc phản hồi đi ra, và viết lại <code>Vary</code> cho các đường dẫn tài nguyên tĩnh.</p>
<p><strong>Nén ở máy chủ biên còn tệ hơn nén ở máy chủ gốc.</strong> Để Cloudflare tự nén Brotli tức thời thì ra 2,041,742 byte, trong khi gzip của chính máy chủ gốc chỉ ra 1,658,115. To hơn hai mươi ba phần trăm, chỉ để đổi lấy cái sướng là không phải nghĩ ngợi gì. Nén tức thời tối ưu cho CPU chứ không tối ưu cho tỉ lệ nén; tài nguyên nén sẵn từ máy chủ gốc vẫn thắng.</p>

<h2 class="relative group">Báo cho công cụ tìm kiếm mà không cần chờ được thu thập
    <div id="báo-cho-công-cụ-tìm-kiếm-mà-không-cần-chờ-được-thu-thập" class="anchor"></div>
    
    <span
        class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none">
        <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#b%c3%a1o-cho-c%c3%b4ng-c%e1%bb%a5-t%c3%acm-ki%e1%ba%bfm-m%c3%a0-kh%c3%b4ng-c%e1%ba%a7n-ch%e1%bb%9d-%c4%91%c6%b0%e1%bb%a3c-thu-th%e1%ba%adp" aria-label="Cọc dấu">#</a>
    </span>
    
</h2>
<p>Có hai giao thức, nhưng gộp cả hai lại thì phạm vi phủ vẫn ít đến đáng thất vọng.</p>
<p><strong>IndexNow</strong> chỉ cần một cú ping là phủ được Bing, Yandex và Seznam. Google và Naver thì không tham gia. Mỗi khi một tin đăng được lưu, tôi gửi ping ở chế độ nền với thời gian chờ ngắn, và bỏ qua tin đăng đã bán hoặc đã đóng. Gặp lỗi mạng thì nó ghi một dòng cảnh báo vào nhật ký và không bao giờ làm hỏng lần lưu đã kích hoạt nó. Với một kênh phụ kiểu làm được đến đâu hay đến đó (best-effort), đó là cách hành xử duy nhất chấp nhận được.</p>
<p><strong>Indexing API của Google</strong> chỉ nhận đúng hai loại schema, và một trong hai là <code>JobPosting</code>, thứ mà tôi lại có. Tin tuyển dụng còn mở thì gửi <code>URL_UPDATED</code>, tin đã đóng thì gửi <code>URL_DELETED</code>. Lệnh xoá đó chỉ trung thực vì tin đăng đã đóng cũng trả <code>noindex</code>, và mã nguồn có ghi chú rõ chuyện này, để lỡ ai gỡ noindex đi thì cũng biết mình còn làm hỏng thêm thứ gì.</p>
<p>Có hai chỗ làm tôi mất thời gian. Thứ nhất, hạn mức (quota) là 200 URL mỗi ngày, mà một lần nhập hàng loạt tin đăng sẽ gọi nó hàng trăm lần — nên tin đăng nhập vào phải được bỏ qua, không thì một lần nhập đốt sạch hạn mức của cả ngày. Thứ hai, endpoint là <code>urlNotifications:publish</code>, dùng dấu hai chấm. Dùng dấu gạch chéo là Google trả về một trang HTML 404 trơn, trông y hệt như API đang bị tắt.</p>

<h2 class="relative group">Dữ liệu có cấu trúc dạy tôi những gì
    <div id="dữ-liệu-có-cấu-trúc-dạy-tôi-những-gì" class="anchor"></div>
    
    <span
        class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none">
        <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#d%e1%bb%af-li%e1%bb%87u-c%c3%b3-c%e1%ba%a5u-tr%c3%bac-d%e1%ba%a1y-t%c3%b4i-nh%e1%bb%afng-g%c3%ac" aria-label="Cọc dấu">#</a>
    </span>
    
</h2>
<p>Ba quy tắc về dữ liệu có cấu trúc (structured data), cái nào cũng học được sau khi bị Search Console phàn nàn:</p>
<ol>
<li><strong>Không phân tích được thì bỏ ra.</strong> Mức lương gửi đến dưới dạng văn bản tự do. Trước đây tôi nhét nguyên chuỗi đó vào <code>baseSalary.value</code>, vốn không hợp lệ, thế là tin tuyển dụng nào cũng bị gắn cờ thiếu đơn vị. Giờ lương nào không phân tích (parse) được thì đơn giản là không có.</li>
<li><strong>Đừng bao giờ bịa ra một trường chỉ để chiều schema.</strong> Tin tuyển dụng hiếm khi ghi địa chỉ cụ thể đến tên đường. Rất dễ bị cám dỗ bịa ra một địa chỉ nghe hợp lý cho <code>PostalAddress</code>. Nhưng một địa chỉ bịa trên tin tuyển dụng còn tệ hơn một địa chỉ thiếu, nên tôi chỉ đưa vào khu vực (locality) và quốc gia.</li>
<li><strong>Ngày hết hạn không phải là tuỳ chọn.</strong> Google bỏ qua <code>JobPosting</code> nào không có <code>validThrough</code>, nên tôi tự suy ra một giá trị, kèm mức sàn để một tin đăng cũ không tự nhận là đã hết hạn từ hôm qua.</li>
</ol>
<p>Còn quy tắc thứ tư, về sơ đồ trang web (sitemap): <strong>đừng khai <code>changefreq: daily</code> cho mọi thứ.</strong> Bảo Googlebot thu thập lại một nghìn tin đăng mỗi ngày thì trong mắt nó, máy chủ của bạn đang quá tải, và nó sẽ đáp lại bằng cách giảm tốc độ thu thập cho cả trang web. Hãy suy ra giá trị này từ lần gần nhất nội dung thực sự thay đổi.</p>
<p>Sơ đồ trang web cũng có một mức sàn về chất lượng: tiêu đề và nội dung cộng lại phải đủ bốn mươi ký tự. Search Console từng báo khoảng một nghìn tin đăng ở trạng thái “Crawled – currently not indexed”, và có một trang đồ cũ mà toàn bộ nội dung riêng của nó chỉ gồm một tiêu đề đúng một chữ và một số điện thoại. Bốn mươi ký tự là tôi cố tình đặt thấp, vì 471 trên 484 tin đăng viết bằng tiếng Hàn, mà tiếng Hàn chứa được nhiều ý hơn trên mỗi ký tự; một ngưỡng canh theo tiếng Anh sẽ loại mất một nửa sàn mua bán. Tin đăng nào nội dung mỏng thì vẫn được thu thập qua các trang danh mục, và sẽ tự động quay lại sơ đồ trang web khi có người sửa chúng.</p>

<h2 class="relative group">Tôi rút ra được gì
    <div id="tôi-rút-ra-được-gì" class="anchor"></div>
    
    <span
        class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none">
        <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#t%c3%b4i-r%c3%bat-ra-%c4%91%c6%b0%e1%bb%a3c-g%c3%ac" aria-label="Cọc dấu">#</a>
    </span>
    
</h2>
<ul>
<li><strong>Trả nhiều phần thân khác nhau ở cùng một URL trước hết là bài toán khoá lưu đệm, rồi mới đến chuyện khác.</strong> Hãy tìm hiểu xem CDN của bạn lấy khoá theo những gì, và cứ giả định nó bỏ qua <code>Vary</code> cho đến khi bạn chứng minh được điều ngược lại với đúng kiểu nội dung (content type) đó.</li>
<li><strong>Khi hai hệ thống phải thống nhất về một danh sách, hãy xác định chiều sai nào là an toàn</strong>, rồi ghi điều đó ngay cạnh cả hai bản. Nói thẳng “hai bản này có thể lệch nhau, và đây là cách duy nhất chúng được phép lệch” vẫn hơn là giả vờ chúng không bao giờ lệch.</li>
<li><strong>So khớp bot theo tên bot, đừng bao giờ theo tên công ty.</strong> Nhất là ở ngoài thế giới nói tiếng Anh, nơi chính công ty làm bot cũng làm luôn cái trình duyệt mà người dùng của bạn đang cầm trên tay.</li>
<li><strong>Bất biến giữa những hằng số nằm xa nhau thì hãy đặt ở chỗ nào hỏng thật to.</strong> Kiểm tra lúc nạp mô-đun chẳng tốn gì, và không ai lách qua được.</li>
</ul>
]]></content:encoded>
      <media:content url="https://jared.lynskey.co.nz/en/posts/2026/2026-09-09-cloudflare-crawlers-cache/featured.jpg" medium="image" type="image/jpeg" />
    </item>
  </channel>
</rss>
