<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:media="http://search.yahoo.com/mrss/">
  <channel>
    <title>CloudWatch · 仁才德</title>
    <link>https://jared.lynskey.co.nz/zh-cn/tags/cloudwatch/</link>
    <description>关于软件工程与研发团队领导力的短文——绩效评估、招聘与团队扩张、CI/CD、DevOps 监控、智能体 AI。写于首尔。</description>
    <generator>Hugo</generator>
    <language>zh-CN</language>
    <copyright>© 2026 仁才德</copyright>
    <lastBuildDate>Sat, 07 Nov 2026 00:00:00 +1300</lastBuildDate>
    <atom:link href="https://jared.lynskey.co.nz/zh-cn/tags/cloudwatch/index.xml" rel="self" type="application/rss+xml" />
    <item>
      <title>开发者真正会用的监控系统：指标、日志、链路追踪，以及 CloudWatch 和 Datadog 怎么选</title>
      <link>https://jared.lynskey.co.nz/zh-cn/posts/2025/2025-10-13-devops-monitoring/</link>
      <guid isPermaLink="true">https://jared.lynskey.co.nz/zh-cn/posts/2025/2025-10-13-devops-monitoring/</guid>
      <pubDate>Sun, 12 Oct 2025 00:00:00 +0000</pubDate>
      <dc:creator>Jared Lynskey</dc:creator>
      <category>DevOps</category>
      <category>Monitoring</category>
      <category>Observability</category>
      <category>CloudWatch</category>
      <category>Datadog</category>
      <category>Developer Experience</category>
      <category>Site Reliability</category>
      <description>怎么搭一套开发者真正会用的监控系统：把指标、日志和链路打通，让告警直接说明从哪查起，以及什么时候 CloudWatch 就够、什么时候值得上 Datadog。</description>
      <content:encoded><![CDATA[<p>给开发者用的监控系统，说到底只有一件事要做：出了问题尽快让人知道，并且直接告诉他坏了什么、坏在哪。要做到这一点，指标、日志和链路得互相打通，告警要指明从哪开始查，仪表板得是大家不用催也会主动打开的那种。不管是自己开发监控系统，还是用现成的工具，标准都一样；跑在 AWS 上的话，小团队用 CloudWatch 就够了，规模上去了，Datadog 才物有所值。</p>
<p>&ldquo;在我机器上能跑&quot;和&quot;在生产环境能跑&quot;之间有一道鸿沟，监控本该把它填上。可大多数时候填不上，因为监控往往被当成运维工具来建，而不是开发者出事时会伸手去拿的东西。</p>
<p>我最近开始以自由职业身份做 DevOps 和基础设施的活儿，每到一个新环境，最先看的东西之一就是监控配置——它比 README 更能说明一个团队的真实状态。失败的方式几乎千篇一律：工具都在，但和开发者的实际工作方式是脱节的。有人在一个 bug 上耗了三小时，其实能看生产日志的话五分钟就完事；故障不是靠告警发现的，是靠客服工单；或者反过来，一天 200 条告警，绝大部分是噪音，于是所有人干脆全部无视，每次出事的前半小时都花在搞清&quot;到底坏了什么&quot;上，而不是修它。</p>
<p>这篇讲的是通用做法。我现在给两个产品<a href="https://jared.lynskey.co.nz/zh-cn/posts/2026/2026-10-22-monitoring-tools-two-products/" >实际在用的工具</a>，另外写了一篇。</p>

<h2 class="relative group">指标、日志、链路：打通了才有用
    <div id="指标日志链路打通了才有用" class="anchor"></div>
    
    <span
        class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none">
        <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e6%8c%87%e6%a0%87%e6%97%a5%e5%bf%97%e9%93%be%e8%b7%af%e6%89%93%e9%80%9a%e4%ba%86%e6%89%8d%e6%9c%89%e7%94%a8" aria-label="锚点">#</a>
    </span>
    
</h2>
<p>指标告诉你出问题了（错误率飙升、延迟突增），日志告诉你发生了什么（堆栈、请求内容、报错信息），链路告诉你问题在哪（哪个服务、哪个接口、哪次数据库调用）。这些都是常识。关键在于三者有没有打通：告警一响，你应该能从指标一路点到相关日志，再点到链路。如果开发者还得在三个工具之间手动比对时间戳，那不管每个工具单看多漂亮，这套方案就是失败的。</p>
<p>仪表板也用同一条标准检验。CPU、内存、磁盘 I/O 对容量规划很重要，但对排查一个 500 错误毫无帮助。大家会主动打开的仪表板，上面放的是：技术指标旁边摆着业务指标（错误率旁边是每小时注册数）、时间轴上叠加的最近部署、最近一小时的前五个错误（带日志链接），以及延迟百分位——p50、p95、p99——而不只是平均值。一个没人主动打开的仪表板，就是没有证明自己的价值。</p>
<p>告警同理。每条告警都该回答两个问题：坏了什么？从哪开始查？</p>
<p>坏告警：&ldquo;web-server-3 CPU 高&rdquo;</p>
<p>好告警：&ldquo;14:32 起 /api/payments 错误率 &gt; 5%。最近部署：14:15，@sarah。[查看日志] [查看链路]&rdquo;</p>
<p>往第二种靠拢有几个办法：按基线偏离告警，而不是按拍脑袋定的阈值；按归属路由（支付的错误发给支付团队，别全组织广播）；相关错误合并成一条 Slack 消息，别发 50 条。反馈环也要收紧——从&quot;出事了&quot;到&quot;开发者知道了&quot;应该在一分钟以内，这意味着实时日志流而不是五分钟一批、每个仪表板都有部署标记、以及跨服务边界不断链的分布式追踪。</p>

<h2 class="relative group">为用它的人而建
    <div id="为用它的人而建" class="anchor"></div>
    
    <span
        class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none">
        <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e4%b8%ba%e7%94%a8%e5%ae%83%e7%9a%84%e4%ba%ba%e8%80%8c%e5%bb%ba" aria-label="锚点">#</a>
    </span>
    
</h2>
<p>运维团队最大的错误，是给自己建监控。解决办法一点也不高深：在开发者调试的时候坐到旁边，看他们在哪卡住；问问事故当中大家在问什么——&ldquo;哪个服务？&ldquo;&ldquo;什么变了？&ldquo;&ldquo;请求长什么样？&quot;；再搞清楚对产品真正要紧的指标是什么。基本不会是 CPU，多半是结账完成率、上传成功率这类东西。</p>
<p>然后是消除阻力。给新服务接监控要花一整天的话，没人会做。要提供能自动接入你们在用框架（Django、Express、Spring）的库、可以直接复制的仪表板和告警模板，以及不用提工单就能自己加指标的自助工具。整套东西还要当代码来管：配置进版本控制，告警规则要测试（该响的时候真的会响），要做多区域的话一开始就规划进去。</p>
<p>建好之后，还得靠同样的习惯让它活下去。埋点代码和其他生产代码一样走代码评审，自定义指标要配测试。每次复盘都要问一句&quot;什么样的监控能让我们更早发现&rdquo;，答案当周就落到仪表板和告警里，而不是只留在复盘报告中。另外我一年会清理几次，把没人打开的东西删掉，因为一条没人处理的告警，只会教大家忽略下一条。</p>

<h2 class="relative group">AWS 上的小团队？先用 CloudWatch
    <div id="aws-上的小团队先用-cloudwatch" class="anchor"></div>
    
    <span
        class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none">
        <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#aws-%e4%b8%8a%e7%9a%84%e5%b0%8f%e5%9b%a2%e9%98%9f%e5%85%88%e7%94%a8-cloudwatch" aria-label="锚点">#</a>
    </span>
    
</h2>
<p>不到 50 个工程师、又跑在 AWS 上的话，CloudWatch 就是正确起点，第一天就想买更高级工具的冲动最好忍住。EC2、Lambda、RDS、ECS 全都自动上报 CloudWatch，不写一行埋点代码就有了可见性；小团队每月 10~50 美元，没有固定平台费；指标、日志、链路（走 X-Ray）、告警都在一个地方。像样的告警和仪表板，一个下午就能搭出来，用不了几周。</p>
<p>最被低估的是 CloudWatch Logs Insights——不用架 Elasticsearch 就能查日志：</p>
<div class="highlight-wrapper"><div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">fields @timestamp, @message
</span></span><span class="line"><span class="cl">| filter @message like /ERROR/
</span></span><span class="line"><span class="cl">| stats count() by bin(5m)</span></span></code></pre></div></div>
<p>其他几点：</p>
<ul>
<li>复合告警能压噪音：错误率高&quot;且&quot;响应时间劣化时才告警，别每个条件单独响。</li>
<li>真正的价值在自定义指标。用 CloudWatch SDK 把业务指标（注册、交易、功能使用）和基础设施指标放在一起。</li>
<li>CloudWatch Synthetics 能按计划跑金丝雀测试，模拟真实用户路径，让你赶在用户之前发现结账坏了。</li>
<li>X-Ray 用极少的配置就能拿到分布式追踪，对大多数微服务架构够用了。</li>
</ul>
<p>什么时候 CloudWatch 不够用了，也很好判断：要上多云了、想要正经的异常检测了、仪表板定制开始难受了，或者团队过了 50 人、需要真正的协作功能了。</p>

<h2 class="relative group">团队大了：Datadog
    <div id="团队大了datadog" class="anchor"></div>
    
    <span
        class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none">
        <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e5%9b%a2%e9%98%9f%e5%a4%a7%e4%ba%86datadog" aria-label="锚点">#</a>
    </span>
    
</h2>
<p>Datadog 很贵——大组织一年 2 万到 10 万美元以上很正常——但到了规模就值回票价。AWS、Azure、GCP、本地机房、容器、Serverless、数据库、前端，一个视图全看到。Watchdog 不用手动调阈值就能标记异常模式，这点很关键，因为几千个服务是不可能靠人盯的。它还补上了 CloudWatch 缺的协作层：团队仪表板、RBAC、共享调查笔记本、PagerDuty/Opsgenie 集成、多条件告警、阈值突破预测、维护窗口，以及能下钻到代码级性能分析的 APM 和自动生成的服务拓扑图。</p>
<p>推行顺序我大致会这么排：先给关键服务接入，第一天就按团队和环境把标签打全；指标命名规范、仪表板模板、告警级别、SLO 定义要趁早定好——事后补标准是苦役；接入 CI/CD 部署标记、事件管理和 Slack；给培训留出时间，Datadog 强归强，不是看看就会的；最后盯紧账单：过滤噪音指标、大流量服务对链路采样、定期盘点到底在为哪些功能付费。</p>
<p>签约之前值得比较一下：New Relic（定位类似，大流量追踪有时更便宜）、Dynatrace（AIOps 很强，金融行业常见）、Splunk（日志分析顶级，安全团队已经在用的话更合适）、Grafana Cloud（已经在用 Prometheus/Loki 的话是自然归宿）。</p>
<p>实践中很多团队最后落在混合方案上：AWS 原生服务交给自动又便宜的 CloudWatch，应用层交给 Datadog，再让 Datadog 采集 CloudWatch 指标拼出统一视图。不花哨，但好使。</p>

<h2 class="relative group">CloudWatch 和 Datadog 对比
    <div id="cloudwatch-和-datadog-对比" class="anchor"></div>
    
    <span
        class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none">
        <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#cloudwatch-%e5%92%8c-datadog-%e5%af%b9%e6%af%94" aria-label="锚点">#</a>
    </span>
    
</h2>
<table>
	<thead>
			<tr>
					<th></th>
					<th>CloudWatch</th>
					<th>Datadog</th>
			</tr>
	</thead>
	<tbody>
			<tr>
					<td>适合谁</td>
					<td>不到 50 个工程师、全在 AWS 上的团队</td>
					<td>服务多、用不止一家云的大组织</td>
			</tr>
			<tr>
					<td>费用结构</td>
					<td>按量付费，没有平台费；小团队每月 10~50 美元</td>
					<td>大组织一年 2 万到 10 万美元以上很正常，账单得一直盯着</td>
			</tr>
			<tr>
					<td>上手成本</td>
					<td>EC2、Lambda、RDS、ECS 自动上报，一个下午就能搭出像样的告警</td>
					<td>先给关键服务接入，趁早定好标签和命名规范，还要留出培训时间</td>
			</tr>
			<tr>
					<td>多云</td>
					<td>以 AWS 为中心，要上多云就说明该换了</td>
					<td>AWS、Azure、GCP、本地机房、容器、Serverless 一个视图全看到</td>
			</tr>
			<tr>
					<td>异常检测</td>
					<td>基本是自己调的告警，想要更多也说明该换了</td>
					<td>Watchdog 不用手动调阈值就能标记异常</td>
			</tr>
			<tr>
					<td>协作</td>
					<td>比较薄弱，团队过了 50 人就会不够用</td>
					<td>团队仪表板、RBAC、共享调查笔记本、PagerDuty/Opsgenie 集成</td>
			</tr>
			<tr>
					<td>链路追踪</td>
					<td>X-Ray，配置很少</td>
					<td>能下钻到代码级性能分析的 APM，自动生成服务拓扑图</td>
			</tr>
	</tbody>
</table>

<h2 class="relative group">从零开始：监控系统搭建顺序
    <div id="从零开始监控系统搭建顺序" class="anchor"></div>
    
    <span
        class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none">
        <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e4%bb%8e%e9%9b%b6%e5%bc%80%e5%a7%8b%e7%9b%91%e6%8e%a7%e7%b3%bb%e7%bb%9f%e6%90%ad%e5%bb%ba%e9%a1%ba%e5%ba%8f" aria-label="锚点">#</a>
    </span>
    
</h2>
<p>我的顺序是：</p>
<ol>
<li>先找开发者聊，问清事故当中什么最痛。</li>
<li>给要紧的流程定义 SLO：对登录、结账、搜索来说，&ldquo;正常&quot;到底是什么意思。</li>
<li>从这条关键路径开始埋点。</li>
<li>接着加分布式追踪，在微服务架构里它的排障回报率最高。</li>
<li>告警挂在这些流程上，而不是挂在 CPU 上，每条告警发给负责的团队。</li>
<li>给每条告警配一份运维手册，让凌晨三点的自己知道该查什么。</li>
<li>在日历上排一个季度回顾，删掉过期告警、修正漂移的阈值、确认仪表板还对得上现在的架构。</li>
</ol>
<p>再列几个我反复把团队从里面捞出来的坑：工具太多（能配合的 3 个胜过各自为战的 6 个）；图表没有基线（500 rps 是正常水位还是十倍突增？）；监控了用户根本感知不到的东西（无状态容器的磁盘 I/O）；还有监控系统本身没有冗余——告警系统在事故中间挂掉，你就在最不能瞎的时候瞎了。</p>
<p>这些没有一件需要最花哨的工具。需要的只是：让开发者在他们真正会看的地方，快速拿到需要的信息。</p>
]]></content:encoded>
      <media:content url="https://jared.lynskey.co.nz/en/posts/2025/2025-10-13-devops-monitoring/featured.jpeg" medium="image" type="image/jpeg" />
    </item>
  </channel>
</rss>
