istio.io/archive/v1.9/zh/blog/2018/export-logs-through-stackdr.../index.html

137 lines
38 KiB
HTML
Raw Blame History

This file contains invisible Unicode characters

This file contains invisible Unicode characters that are indistinguishable to humans but may be processed differently by a computer. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

<!doctype html><html lang=zh itemscope itemtype=https://schema.org/WebPage><head><meta charset=utf-8><meta http-equiv=x-ua-compatible content="IE=edge"><meta name=viewport content="width=device-width,initial-scale=1,shrink-to-fit=no"><meta name=theme-color content="#466BB0"><meta name=title content="通过 Stackdriver 将日志导出到 BigQuery、GCS、Pub/Sub"><meta name=description content="如何通过 Stackdriver 将 Istio 访问日志导出到 BigQuery、GCS、Pub/Sub 等不同的接收器。"><meta name=author content="Nupur Garg and Douglas Reid"><meta name=keywords content="microservices,services,mesh"><meta property="og:title" content="通过 Stackdriver 将日志导出到 BigQuery、GCS、Pub/Sub"><meta property="og:type" content="website"><meta property="og:description" content="如何通过 Stackdriver 将 Istio 访问日志导出到 BigQuery、GCS、Pub/Sub 等不同的接收器。"><meta property="og:url" content="/v1.9/zh/blog/2018/export-logs-through-stackdriver/"><meta property="og:image" content="/v1.9/img/istio-whitelogo-bluebackground-framed.svg"><meta property="og:image:alt" content="Istio Logo"><meta property="og:image:width" content="112"><meta property="og:image:height" content="150"><meta property="og:site_name" content="Istio"><meta name=twitter:card content="summary"><meta name=twitter:site content="@IstioMesh"><title>Istioldie 1.9 / 通过 Stackdriver 将日志导出到 BigQuery、GCS、Pub/Sub</title><script async src="https://www.googletagmanager.com/gtag/js?id=UA-98480406-2"></script><script>window.dataLayer=window.dataLayer||[];function gtag(){dataLayer.push(arguments);}
gtag('js',new Date());gtag('config','UA-98480406-2');</script><link rel=alternate type=application/rss+xml title="Istio Blog" href=/v1.9/blog/feed.xml><link rel=alternate type=application/rss+xml title="Istio News" href=/v1.9/news/feed.xml><link rel=alternate type=application/rss+xml title="Istio Blog and News" href=/v1.9/feed.xml><link rel="shortcut icon" href=/v1.9/favicons/favicon.ico><link rel=apple-touch-icon href=/v1.9/favicons/apple-touch-icon-180x180.png sizes=180x180><link rel=icon type=image/png href=/v1.9/favicons/favicon-16x16.png sizes=16x16><link rel=icon type=image/png href=/v1.9/favicons/favicon-32x32.png sizes=32x32><link rel=icon type=image/png href=/v1.9/favicons/android-36x36.png sizes=36x36><link rel=icon type=image/png href=/v1.9/favicons/android-48x48.png sizes=48x48><link rel=icon type=image/png href=/v1.9/favicons/android-72x72.png sizes=72x72><link rel=icon type=image/png href=/v1.9/favicons/android-96x96.png sizes=96xW96><link rel=icon type=image/png href=/v1.9/favicons/android-144x144.png sizes=144x144><link rel=icon type=image/png href=/v1.9/favicons/android-192x192.png sizes=192x192><link rel=manifest href=/v1.9/manifest.json><meta name=apple-mobile-web-app-title content="Istio"><meta name=application-name content="Istio"><link rel=stylesheet href="https://fonts.googleapis.com/css?family=Work+Sans:400|Chivo:400|Work+Sans:500,300,600,300italic,400italic,500italic,600italic|Chivo:500,300,600,300italic,400italic,500italic,600italic"><link rel=stylesheet href=/v1.9/css/all.css><script src=/v1.9/js/themes_init.min.js></script></head><body class="language-unknown archive-site"><script>const branchName="release-1.9";const docTitle="通过 Stackdriver 将日志导出到 BigQuery、GCS、Pub\/Sub";const iconFile="\/v1.9/img/icons.svg";const buttonCopy='复制到剪切板';const buttonPrint='打印';const buttonDownload='下载';</script><script src="https://www.google.com/cse/brand?form=search-form" defer></script><script src=/v1.9/js/all.min.js data-manual defer></script><header><nav><a id=brand href=/v1.9/zh/><span class=logo><svg viewBox="0 0 300 300"><circle cx="150" cy="150" r="146" stroke-width="2"/><polygon points="65 240 225 240 125 270"/><polygon points="65 230 125 220 125 110"/><polygon points="135 220 225 230 135 30"/></svg></span><span class=name>Istioldie 1.9</span></a><div id=hamburger><svg class="icon hamburger"><use xlink:href="/v1.9/img/icons.svg#hamburger"/></svg></div><div id=header-links><a title="了解如何部署、使用和运维 Istio。" href=/v1.9/zh/docs/>文档</a>
<a class=current title="关于使用 Istio 的博客文章。" href=/v1.9/zh/blog/2020/>博客<i class=dot data-prefix=/blog></i></a>
<a title="关于 Istio 项目的最新报道。" href=/v1.9/zh/news/>新闻<i class=dot data-prefix=/news></i></a>
<a title="关于 Istio 的常见问题。" href=/v1.9/zh/faq/>FAQ</a>
<a title="关于 Istio 项目的说明。" href=/v1.9/zh/about/>关于</a><div class=menu><button id=gearDropdownButton class=menu-trigger title=选项和设置 aria-label="Options and Settings" aria-controls=gearDropdownContent><svg class="icon gear"><use xlink:href="/v1.9/img/icons.svg#gear"/></svg></button><div id=gearDropdownContent class=menu-content aria-labelledby=gearDropdownButton role=menu><a tabindex=-1 role=menuitem lang=en id=switch-lang-en>English</a>
<a tabindex=-1 role=menuitem lang=zh id=switch-lang-zh class=active>中文</a><div role=separator></div><a tabindex=-1 role=menuitem class=active id=light-theme-item>亮主题</a>
<a tabindex=-1 role=menuitem id=dark-theme-item>暗主题</a><div role=separator></div><a tabindex=-1 role=menuitem id=syntax-coloring-item>代码高亮</a><div role=separator></div><h6>本站的其它版本</h6><a tabindex=-1 role=menuitem onclick="navigateToUrlOrRoot('https://istio.io/blog\/2018\/export-logs-through-stackdriver\/');return false;">当前版本</a>
<a tabindex=-1 role=menuitem onclick="navigateToUrlOrRoot('https://preliminary.istio.io/blog\/2018\/export-logs-through-stackdriver\/');return false;">下个版本</a>
<a tabindex=-1 role=menuitem href=https://istio.io/archive>旧版本</a></div></div><button id=search-show title="搜索 istio.io" aria-label=搜索><svg class="icon magnifier"><use xlink:href="/v1.9/img/icons.svg#magnifier"/></svg></button></div><form id=search-form name=cse role=search><input type=hidden name=cx value=002184991200833970123:iwwf17ikgf4>
<input type=hidden name=ie value=utf-8>
<input type=hidden name=hl value=en>
<input type=hidden id=search-page-url value=/v1.9/search>
<input id=search-textbox class=form-control name=q type=search aria-label="搜索 istio.io">
<button id=search-close title=取消搜索 type=reset aria-label=取消搜索><svg class="icon cancel-x"><use xlink:href="/v1.9/img/icons.svg#cancel-x"/></svg></button></form></nav></header><div class=banner-container></div><main class=primary><div id=sidebar-container class="sidebar-container sidebar-offcanvas"><nav id=sidebar aria-label="Section Navigation"><div class=directory><div class=card><button class="header dynamic" id=card0 title="2020 年的博客文章。" aria-controls=card0-body><svg class="icon blog"><use xlink:href="/v1.9/img/icons.svg#blog"/></svg>2020 年的博客文章</button><div class=body aria-labelledby=card0 role=region id=card0-body><ul role=tree aria-expanded=true class=leaf-section aria-labelledby=card0><li role=none><a role=treeitem title="Istio 的另一个 Sidecar 代理。 (2020年7月29日)" href=/v1.9/zh/blog/2020/mosn-proxy/>在 Istio 中使用 MOSN另一个数据平面</a></li><li role=none><a role=treeitem title="Istiod 将 Istio 控制平面组件合并为一个二进制文件。 (2020年3月19日)" href=/v1.9/zh/blog/2020/istiod/>介绍 istiod简化控制平面</a></li><li role=none><a role=treeitem title="以声明方式为 Envoy 和 Istio 配置 Wasm 扩展。 (2020年3月16日)" href=/v1.9/zh/blog/2020/deploy-wasm-declarative/>在 Istio 中进行 WebAssembly 声明式部署</a></li><li role=none><a role=treeitem title="Istio 的扩展中使用 WASM 的前景。 (2020年3月5日)" href=/v1.9/zh/blog/2020/wasm-announce/>重新定义代理的扩展性Envoy 和 Istio 引入 WebAssembly</a></li><li role=none><a role=treeitem title="Istio 在 2020 年的愿景声明及路线图。 (2020年3月3日)" href=/v1.9/zh/blog/2020/tradewinds-2020/>Istio 2020——为了商用</a></li><li role=none><a role=treeitem title="一种更安全的秘密管理方式。 (2020年2月20日)" href=/v1.9/zh/blog/2020/istio-agent/>移除跨 pod Unix domain socket</a></li><li role=none><a role=treeitem title="为 Istio deploymentcluster提供自动化 Istio 配置,并让其像单个网格一样工作。 (2020年1月5日)" href=/v1.9/zh/blog/2020/multi-cluster-mesh-automation/>使用 Admiral 管理 Istio 多集群的配置和服务发现</a></li></ul></div></div><div class=card><button class="header dynamic" id=card1 title="2019 年的博客文章。" aria-controls=card1-body><svg class="icon blog"><use xlink:href="/v1.9/img/icons.svg#blog"/></svg>2019 年的博客文章</button><div class=body aria-labelledby=card1 role=region id=card1-body><ul role=tree aria-expanded=true class=leaf-section aria-labelledby=card1><li role=none><a role=treeitem title="通过分析 Istio 配置来发现潜在问题和一般问题。 (2019年11月14日)" href=/v1.9/zh/blog/2019/introducing-istioctl-analyze/>istioctl analyze 介绍</a></li><li role=none><a role=treeitem title="一种更安全管理 Istio webhook 的方法。 (2019年11月14日)" href=/v1.9/zh/blog/2019/webhook/>安全管理 Webhook</a></li><li role=none><a role=treeitem title="正式启用访问 Istio 资源。 (2019年11月14日)" href=/v1.9/zh/blog/2019/announcing-istio-client-go/>Istio client-go 发布公告</a></li><li role=none><a role=treeitem title="Istio v1beta1 授权策略的设计原则、基本概述及迁移操作。 (2019年11月14日)" href=/v1.9/zh/blog/2019/v1beta1-authorization-policy/>Istio v1beta1 授权策略概述</a></li><li role=none><a role=treeitem title="在 Istio 中配置和管理 DNS 证书。 (2019年11月14日)" href=/v1.9/zh/blog/2019/dns-cert/>DNS 证书管理</a></li><li role=none><a role=treeitem title="关于 Istio 基于 operator 的安装和控制平面管理特性的介绍。 (2019年11月14日)" href=/v1.9/zh/blog/2019/introducing-istio-operator/>Istio Operator 简介</a></li><li role=none><a role=treeitem title="把 Istio 入口网关配置为外部服务的代理。 (2019年10月15日)" href=/v1.9/zh/blog/2019/proxy/>把 Istio 作为外部服务的代理</a></li><li role=none><a role=treeitem title="将需要隔离的环境部署到单独的网格中,并通过网格联邦启用网格间通信。 (2019年10月2日)" href=/v1.9/zh/blog/2019/isolated-clusters/>用于隔离和边界保护的多网格部署</a></li><li role=none><a role=treeitem title="如何使用 Istio 去监控被阻止的和透传的外部服务流量。 (2019年9月28日)" href=/v1.9/zh/blog/2019/monitoring-external-service-traffic/>监控被阻止的和透传的外部服务流量</a></li><li role=none><a role=treeitem title="使用 Istio 实现零代码改动保护多云 Kubernetes 应用。 (2019年9月18日)" href=/v1.9/zh/blog/2019/app-identity-and-access-adapter/>APP 身份和访问适配器</a></li><li role=none><a role=treeitem title="本文演示 Mixer 进程外适配器实现 Knative scale-from-zero 逻辑的具体过程。 (2019年9月18日)" href=/v1.9/zh/blog/2019/knative-activator-adapter/>适用于 Knative 的 Mixer 适配器</a></li><li role=none><a role=treeitem title="利用 Kubernetes 可信任的 JWT 来更安全地为工作负载实例颁发证书。 (2019年9月10日)" href=/v1.9/zh/blog/2019/trustworthy-jwt-sds/>Istio 1.3 Secret 服务发现的更改</a></li><li role=none><a role=treeitem title="Istio API 的设计原则和这些 API 是如何演变的。 (2019年8月5日)" href=/v1.9/zh/blog/2019/evolving-istios-apis/>Istio API 的演变</a></li><li role=none><a role=treeitem title="管控出口流量的备选方案比较,包括性能因素。 (2019年7月22日)" href=/v1.9/zh/blog/2019/egress-traffic-control-in-istio-part-3/>Istio 中安全管控出口流量,第三部分</a></li><li role=none><a role=treeitem title="使用 Istio 的出口流量管控来阻止相关出口流量攻击。 (2019年7月10日)" href=/v1.9/zh/blog/2019/egress-traffic-control-in-istio-part-2/>Istio 中的安全管控出口流量,第二部分</a></li><li role=none><a role=treeitem title="评估 Istio 数据平面性能的工具和指南。 (2019年7月9日)" href=/v1.9/zh/blog/2019/performance-best-practices/>最佳实践Service Mesh 基准性能测试</a></li><li role=none><a role=treeitem title="了解如何延长 Istio 自签名根证书的有效期。 (2019年6月7日)" href=/v1.9/zh/blog/2019/root-transition/>延长 Istio 自签名根证书的有效期</a></li><li role=none><a role=treeitem title="涉及出口流量攻击和出口流量管控要求。 (2019年5月22日)" href=/v1.9/zh/blog/2019/egress-traffic-control-in-istio-part-1/>Istio 中的安全管控出口流量,第一部分</a></li><li role=none><a role=treeitem title="Istio 1.1 性能概览。 (2019年3月19日)" href=/v1.9/zh/blog/2019/istio1.1_perf/>为性能而设计的 Istio 1.1</a></li><li role=none><a role=treeitem title="在多集群服务网格环境中配置 Istio 的路由规则。 (2019年2月7日)" href=/v1.9/zh/blog/2019/multicluster-version-routing/>多集群服务网格中的分版本路由</a></li><li role=none><a role=treeitem title="宣布新的博客策略。 (2019年2月5日)" href=/v1.9/zh/blog/2019/sail-the-blog/>博客策略更新!</a></li><li role=none><a role=treeitem title="评估加入 Egress gateway 对性能造成的影响。 (2019年1月31日)" href=/v1.9/zh/blog/2019/egress-performance/>Egress gateway 性能测试</a></li><li role=none><a role=treeitem title="揭秘 Istio 是如何将其数据平面组件添加到现有 deployment。 (2019年1月31日)" href=/v1.9/zh/blog/2019/data-plane-setup/>揭开 Istio Sidecar 注入模型的神秘面纱</a></li><li role=none><a role=treeitem title="使用 AppSwitch 解决应用程序启动顺序和启动延迟。 (2019年1月14日)" href=/v1.9/zh/blog/2019/appswitch/>使用 AppSwitch 进行 Sidestepping 依赖性排序</a></li><li role=none><a role=treeitem title="Istio 有了一个新的论坛。 (2019年1月10日)" href=/v1.9/zh/blog/2019/announcing-discuss.istio.io/>Istio 论坛成立</a></li><li role=none><a role=treeitem title="如何使用 cert-manager 手工部署一个自定义 Ingress 网关。 (2019年1月10日)" href=/v1.9/zh/blog/2019/custom-ingress-gateway/>使用 Cert-Manager 部署一个自定义 Ingress 网关</a></li></ul></div></div><div class=card><button class="header dynamic" id=card2 title="2018 年的博客文章。" aria-controls=card2-body><svg class="icon blog"><use xlink:href="/v1.9/img/icons.svg#blog"/></svg>2018 年的博客文章</button><div class="body default" aria-labelledby=card2 role=region id=card2-body><ul role=tree aria-expanded=true class=leaf-section aria-labelledby=card2><li role=none><a role=treeitem title="如何在不部署 Sidecar 代理的情况下使用 Istio 进行流量管理。 (2018年11月21日)" href=/v1.9/zh/blog/2018/incremental-traffic-management/>增量式应用 Istio 第一部分,流量管理</a></li><li role=none><a role=treeitem title="描述了一个基于 Istio 的 Bookinfo 示例的简单场景。 (2018年11月16日)" href=/v1.9/zh/blog/2018/egress-mongo/>使用外部 MongoDB 服务</a></li><li role=none><a role=treeitem title="Istio 在 Twitch 举办了为期一天的直播庆祝 1.0 的发布。 (2018年8月3日)" href=/v1.9/zh/blog/2018/istio-twitch-stream/>Istio 在 Twitch 上全天直播</a></li><li role=none><a role=treeitem title="惠普如何在 Istio 上构建其下一代鞋类个性化平台。 (2018年7月31日)" href=/v1.9/zh/blog/2018/hp/>Istio 是惠普 FitStation 平台的改变者</a></li><li role=none><a role=treeitem title="使用 AppSwitch 自动接入应用并降低延迟。 (2018年7月30日)" href=/v1.9/zh/blog/2018/delayering-istio/>使用 AppSwitch 精简 Istio 层次</a></li><li role=none><a role=treeitem title="描述 Istio 的授权功能以及如何在各种用例中使用它。 (2018年7月20日)" href=/v1.9/zh/blog/2018/istio-authorization/>基于 Istio 授权的 Micro-Segmentation</a></li><li role=none><span role=treeitem class=current title="如何通过 Stackdriver 将 Istio 访问日志导出到 BigQuery、GCS、Pub/Sub 等不同的接收器。 (2018年7月9日)">通过 Stackdriver 将日志导出到 BigQuery、GCS、Pub/Sub</span></li><li role=none><a role=treeitem title="描述如何配置 Istio 进行 HTTP Egress 流量监控和访问策略。 (2018年6月22日)" href=/v1.9/zh/blog/2018/egress-monitoring-access-control/>HTTP Egress 流量监控和访问策略</a></li><li role=none><a role=treeitem title="Istio v1alpha3 路由 API 介绍, 动机及其设计原则。 (2018年4月25日)" href=/v1.9/zh/blog/2018/v1alpha3-routing/>Istio v1aplha3 路由 API 介绍</a></li><li role=none><a role=treeitem title="描述如何在 AWS 上使用网络负载均衡器配置 Istio Ingress。 (2018年4月20日)" href=/v1.9/zh/blog/2018/aws-nlb/>使用 AWS NLB 配置 Istio Ingress</a></li><li role=none><a role=treeitem title="使用 Kubernetes 命名空间和 RBAC 为 Istio 构建软性多租户环境。 (2018年4月19日)" href=/v1.9/zh/blog/2018/soft-multitenancy/>Istio 的软性多租户支持</a></li><li role=none><a role=treeitem title="介绍更安全,低风险的部署和发布到生产。 (2018年2月8日)" href=/v1.9/zh/blog/2018/traffic-mirroring/>用于在生产环境进行测试的 Istio 流量镜像功能</a></li><li role=none><a role=treeitem title="描述基于 Istio 的 Bookinfo 示例的简单场景。 (2018年2月6日)" href=/v1.9/zh/blog/2018/egress-tcp/>使用外部 TCP 服务</a></li><li role=none><a role=treeitem title="描述基于 Istio Bookinfo 示例的简单场景。 (2018年1月31日)" href=/v1.9/zh/blog/2018/egress-https/>使用外部 Web 服务</a></li></ul></div></div><div class=card><button class="header dynamic" id=card3 title="2017 年的博客文章。" aria-controls=card3-body><svg class="icon blog"><use xlink:href="/v1.9/img/icons.svg#blog"/></svg>2017 年的博客文章</button><div class=body aria-labelledby=card3 role=region id=card3-body><ul role=tree aria-expanded=true class=leaf-section aria-labelledby=card3><li role=none><a role=treeitem title="提高可用,降低延迟。 (2017年12月7日)" href=/v1.9/zh/blog/2017/mixer-spof-myth/>Mixer 和 SPOF 神话</a></li><li role=none><a role=treeitem title="概要说明 Mixer 的插件架构。 (2017年11月3日)" href=/v1.9/zh/blog/2017/adapter-model/>Mixer 适配器模型</a></li><li role=none><a role=treeitem title="Istio 的策略如何关联 Kubernetes 的网络策略 。 (2017年8月10日)" href=/v1.9/zh/blog/2017/0.1-using-network-policy/>Istio 使用网络策略</a></li><li role=none><a role=treeitem title="使用 Istio 创建自动缩放的金丝雀部署。 (2017年6月14日)" href=/v1.9/zh/blog/2017/0.1-canary/>使用 Istio 进行金丝雀部署</a></li><li role=none><a role=treeitem title="Istio Auth 0.1 公告。 (2017年5月25日)" href=/v1.9/zh/blog/2017/0.1-auth/>使用 Istio 增强端到端安全</a></li></ul></div></div></div></nav></div><div class=article-container><button tabindex=-1 id=sidebar-toggler title=折叠导航栏><svg class="icon pull"><use xlink:href="/v1.9/img/icons.svg#pull"/></svg></button><nav aria-label=Breadcrumb><ol><li><a href=/v1.9/zh/ title=用于连接、保护、控制和观测服务。>Istio</a></li><li><a href=/v1.9/zh/blog/ title="关于使用 Istio 的博客文章。">博客</a></li><li><a href=/v1.9/zh/blog/2018/ title="2018 年的博客文章。">2018 年的博客文章</a></li><li>通过 Stackdriver 将日志导出到 BigQuery、GCS、Pub/Sub</li></ol></nav><article aria-labelledby=title><div class=title-area><div style=width:100%><h1 id=title>通过 Stackdriver 将日志导出到 BigQuery、GCS、Pub/Sub</h1><p class=byline><span>作者</span>
<span class=attribution>Nupur Garg and Douglas Reid</span><span> | </span><span><svg class="icon calendar"><use xlink:href="/v1.9/img/icons.svg#calendar"/></svg><span>&nbsp;</span>2018年7月9日</span><span> | </span><span title="496 字"><svg class="icon clock"><use xlink:href="/v1.9/img/icons.svg#clock"/></svg><span>&nbsp;</span>阅读大约需要 3 分钟</span>
<span>&nbsp;</span>
<span></span></p></div></div><nav class=toc-inlined aria-label="Table of Contents"><div><hr><ol><li role=none aria-label=开始之前><a href=#before-you-begin>开始之前</a><li role=none aria-label="配置 Istio 导出日志"><a href=#configuring-Istio-to-export-logs>配置 Istio 导出日志</a><ol><li role=none aria-label=设置各种日志接收器><a href=#setting-up-various-log-sinks>设置各种日志接收器</a><ol><li role=none aria-label=BigQuery><a href=#big-query>BigQuery</a><li role=none aria-label="Google Cloud Storage (GCS)"><a href=#google-cloud-storage>Google Cloud Storage (GCS)</a><li role=none aria-label="Google Cloud Pub/Sub"><a href=#google-cloud-pub-sub>Google Cloud Pub/Sub</a></ol></li><li role=none aria-label="设置 Stackdriver"><a href=#setting-up-stack-driver>设置 Stackdriver</a></ol></li><li role=none aria-label=了解发生了什么><a href=#understanding-what-happened>了解发生了什么</a><li role=none aria-label=清理><a href=#cleanup>清理</a><li role=none aria-label=日志导出的可用性><a href=#availability-of-logs-in-export-sinks>日志导出的可用性</a></ol><hr></div></nav><div><aside class="callout warning"><div class=type><svg class="large-icon"><use xlink:href="/v1.9/img/icons.svg#callout-warning"/></svg></div><div class=content>该博客文章是在 Istio 0.8 的版本下编写的,因此其中某些内容现在可能已过时。</div></aside></div><p>这篇文章展示了如何将 Istio 日志指向 <a href=https://cloud.google.com/stackdriver/><code>Stackdriver</code></a> 并将这些日志导出到各种配置的接收器,例如 <a href=https://cloud.google.com/bigquery/><code>BigQuery</code></a><a href=https://cloud.google.com/storage/><code>Google Cloud Storage(GCS)</code></a><a href=https://cloud.google.com/pubsub/><code>Cloud Pub/Sub</code></a>。在这篇文章的最后,可以从喜欢的地方(如 BigQuery、GCS 或 Cloud Pub/Sub对 Istio 数据进行分析。</p><p><a href=/v1.9/zh/docs/examples/bookinfo/><code>Bookinfo</code></a> 示例应用程序在整个任务中用作示例应用程序。</p><h2 id=before-you-begin>开始之前</h2><p>在集群中 <a href=/v1.9/zh/docs/setup/><code>安装 Istio</code></a> 并部署应用程序。</p><h2 id=configuring-Istio-to-export-logs>配置 Istio 导出日志</h2><p>Istio 使用 <code>logentry</code> <a href=/v1.9/zh/docs/reference/config/policy-and-telemetry/templates/logentry><code>模板</code></a> 导出日志。这里指定了可用于分析的所有变量。它包含源服务、目标服务、<code>auth</code> 指标(即将实现&mldr;&mldr;)等信息。以下是示意图:</p><figure style=width:75%><div class=wrapper-with-intrinsic-ratio style=padding-bottom:75%><a data-skipendnotes=true href=/v1.9/zh/blog/2018/export-logs-through-stackdriver/istio-analytics-using-stackdriver.png title="导出日志到 Stackdriver 进行分析的图释"><img class=element-to-stretch src=/v1.9/zh/blog/2018/export-logs-through-stackdriver/istio-analytics-using-stackdriver.png alt="导出日志到 Stackdriver 进行分析的图释"></a></div><figcaption>导出日志到 Stackdriver 进行分析的图释</figcaption></figure><p>Istio 支持将日志导出到 Stackdriver而 Stackdriver 又可以配置为将日志导出到喜欢的接收器,如 BigQuery、Pub/Sub 或 GCS。请按照以下步骤设置喜欢的接收器首先导出日志然后在 Istio 中使用 Stackdriver。</p><h3 id=setting-up-various-log-sinks>设置各种日志接收器</h3><p>所有接收器的通用设置:</p><ol><li>为项目启用 <a href=https://cloud.google.com/monitoring/api/enable-api><code>Stackdriver Monitoring API</code></a></li><li>确保配置的接收器的 <code>principalEmail</code> 具有对项目写入的权限和日志管理员角色的权限。</li><li>确保已设置 <code>GOOGLE_APPLICATION_CREDENTIALS</code> 环境变量。请按照 <a href=https://cloud.google.com/docs/authentication/getting-started><code>此处</code></a> 的说明进行设置。</li></ol><h4 id=big-query>BigQuery</h4><ol><li><a href=https://cloud.google.com/bigquery/docs/datasets><code>创建 BigQuery 数据集</code></a> 作为日志导出的目标。</li><li>记录数据集的 ID。这里需要设置 Stackdriver 处理程序。它的格式为 <code>bigquery.googleapis.com/projects/[PROJECT_ID]/datasets/[DATASET_ID]</code></li><li><a href=https://cloud.google.com/logging/docs/api/tasks/exporting-logs#writing_to_the_destination><code>接收器授权</code></a>cloud-logs@system.gserviceaccount.com。它具有 IAM 中的 BigQuery Data Editor 的角色。</li><li>如果使用 <a href=/v1.9/zh/docs/setup/platform-setup/gke/><code>Google Kubernetes Engine</code></a>,请确保在集群上启用了 <code>bigquery</code> <a href=https://cloud.google.com/sdk/gcloud/reference/container/clusters/create><code>Scope</code></a></li></ol><h4 id=google-cloud-storage>Google Cloud Storage (GCS)</h4><ol><li><a href=https://cloud.google.com/storage/docs/creating-buckets><code>创建 GCS 存储桶</code></a>,希望导出日志到 GCS 中。</li><li>记录存储桶的 ID。这里需要配置 Stackdriver。它的形式为 <code>storage.googleapis.com/[BUCKET_ID]</code></li><li><a href=https://cloud.google.com/logging/docs/api/tasks/exporting-logs#writing_to_the_destination><code>接收器授权</code></a><code>cloud-logs @ system.gserviceaccount.com</code>。它具有 IAM 中的 Storage Object Creator 的角色。</li></ol><h4 id=google-cloud-pub-sub>Google Cloud Pub/Sub</h4><ol><li><a href=https://cloud.google.com/pubsub/docs/admin><code>创建主题</code></a>,希望导出日志到 Google Cloud Pub/Sub 中。</li><li>记录主题的 ID。这里需要配置 Stackdriver。它的形式为<code>pubsub.googleapis.com/projects/[PROJECT_ID]/topics/[TOPIC_ID]</code></li><li><a href=https://cloud.google.com/logging/docs/api/tasks/exporting-logs#writing_to_the_destination><code>接收器授权</code></a><code>cloud-logs @ system.gserviceaccount.com</code>。它具有 IAM 中的 Pub/Sub Publisher 角色。</li><li>如果使用 <a href=/v1.9/zh/docs/setup/platform-setup/gke/><code>Google Kubernetes Engine</code></a>,请确保在集群中启动了 <code>pubsub</code> <a href=https://cloud.google.com/sdk/gcloud/reference/container/clusters/create><code>Scope</code></a></li></ol><h3 id=setting-up-stack-driver>设置 Stackdriver</h3><p>必须创建 Stackdriver 处理程序,将数据导出到 Stackdriver。Stackdriver 处理程序的配置在 <a href=/v1.9/zh/docs/reference/config/policy-and-telemetry/adapters/stackdriver/><code>此处</code></a> 描述。</p><ol><li><p>保存如下的 yaml 文件为 <code>stackdriver.yaml</code> 。并替换 <code>&lt;project_id>,
&lt;sink_id>, &lt;sink_destination>, &lt;log_filter></code> 为相应的值。</p><pre><code class=language-yaml data-expandlinks=true data-repo=istio>apiVersion: &#34;config.istio.io/v1alpha2&#34;
kind: stackdriver
metadata:
name: handler
namespace: istio-system
spec:
# 设置 pushInterval 值。默认值是每分钟一次,不设置使用默认值。
# pushInterval: 1m
# 必须设置 Stacldriver 适配器 project_id 的值。
project_id: &#34;&lt;project_id&gt;&#34;
# apiCredentials 和 apiKey 必须设置之一;首选方法是`appCredentials`,它对应于 Google 应用程序默认凭据。
# 如果没有提供,我们使用默认应用凭据。
# appCredentials:
# apiKey:
# serviceAccountPath:
# 描述如何将 Istio 日志映射到 Stackdriver。
logInfo:
accesslog.logentry.istio-system:
payloadTemplate: &#39;{{or (.sourceIp) &#34;-&#34;}} - {{or (.sourceUser) &#34;-&#34;}} [{{or (.timestamp.Format &#34;02/Jan/2006:15:04:05 -0700&#34;) &#34;-&#34;}}] &#34;{{or (.method) &#34;-&#34;}} {{or (.url) &#34;-&#34;}} {{or (.protocol) &#34;-&#34;}}&#34; {{or (.responseCode) &#34;-&#34;}} {{or (.responseSize) &#34;-&#34;}}&#39;
httpMapping:
url: url
status: responseCode
requestSize: requestSize
responseSize: responseSize
latency: latency
localIp: sourceIp
remoteIp: destinationIp
method: method
userAgent: userAgent
referer: referer
labelNames:
- sourceIp
- destinationIp
- sourceService
- sourceUser
- sourceNamespace
- destinationIp
- destinationService
- destinationNamespace
- apiClaims
- apiKey
- protocol
- method
- url
- responseCode
- responseSize
- requestSize
- latency
- connectionMtls
- userAgent
- responseTimestamp
- receivedBytes
- sentBytes
- referer
sinkInfo:
id: &#39;&lt;sink_id&gt;&#39;
destination: &#39;&lt;sink_destination&gt;&#39;
filter: &#39;&lt;log_filter&gt;&#39;
---
apiVersion: &#34;config.istio.io/v1alpha2&#34;
kind: rule
metadata:
name: stackdriver
namespace: istio-system
spec:
match: &#34;true&#34; # 缺省 match 为 true
actions:
- handler: handler.stackdriver
instances:
- accesslog.logentry
---
</code></pre></li><li><p>创建配置</p><pre><code class=language-bash data-expandlinks=true data-repo=istio>$ kubectl apply -f stackdriver.yaml
stackdriver &#34;handler&#34; created
rule &#34;stackdriver&#34; created
logentry &#34;stackdriverglobalmr&#34; created
metric &#34;stackdriverrequestcount&#34; created
metric &#34;stackdriverrequestduration&#34; created
metric &#34;stackdriverrequestsize&#34; created
metric &#34;stackdriverresponsesize&#34; created
</code></pre></li><li><p>访问示例应用程序。
对于 <code>Bookinfo</code> 示例,请使用浏览器访问 <code>http://$GATEWAY_URL/productpage</code> 或发出以下命令:</p><pre><code class=language-bash data-expandlinks=true data-repo=istio>$ curl http://$GATEWAY_URL/productpage
</code></pre></li><li><p>验证日志是否正在通过 Stackdriver 流向配置的接收器。</p></li></ol><ul><li>Stackdriver导航到项目的 <a href=https://pantheon.corp.google.com/logs/viewer><code>Stackdriver Logs Viewer</code></a>,查看 “GKE Container” -> “Cluster Name” -> “Namespace Id”查看 Istio 访问日志。</li><li>BigQuery导航到项目的 <a href=https://bigquery.cloud.google.com/><code>BigQuery Interface</code></a>,在接收器的数据集中找到一个前缀为 <code>accesslog_logentry_istio</code> 的表。</li><li>GCS导航到项目的 <a href=https://pantheon.corp.google.com/storage/browser/><code>Storage Brower</code></a>,在接收器的桶中找到一个名为 <code>accesslog.logentry.istio-system</code> 的桶。</li><li>Pub/Sub导航到项目的 <a href=https://pantheon.corp.google.com/cloudpubsub/topicList><code>Pub/Sub 主题列表</code></a>,在接收器的主题中找到 <code>accesslog</code> 主题。</li></ul><h2 id=understanding-what-happened>了解发生了什么</h2><p>上面的 <code>Stackdriver.yaml</code> 文件配置了 Istio 将访问日志发送到 Stackdriver然后添加了一个接收器配置将日志导出。具体如下</p><ol><li><p>添加一个 <code>stackdriver</code> 类型的处理程序:</p><pre><code class=language-yaml data-expandlinks=true data-repo=istio>apiVersion: &#34;config.istio.io/v1alpha2&#34;
kind: stackdriver
metadata:
name: handler
namespace: &lt;your defined namespace&gt;
</code></pre></li><li><p><code>spec</code> 上增加 <code>logInfo</code></p><pre><code class=language-yaml data-expandlinks=true data-repo=istio>spec:
logInfo: accesslog.logentry.istio-system:
labelNames:
- sourceIp
- destinationIp
...
...
sinkInfo:
id: &#39;&lt;sink_id&gt;&#39;
destination: &#39;&lt;sink_destination&gt;&#39;
filter: &#39;&lt;log_filter&gt;&#39;
</code></pre></li></ol><p>在上面的配置中sinkInfo 包含有关日志导出到所需接收器的信息。有关如何填写不同接收器的更多信息,请参阅 <a href=https://cloud.google.com/logging/docs/export/#sink-terms><code>此处</code></a>
 
1. 为 Stackdriver 添加规则</p><pre><code><pre><code class=language-yaml data-expandlinks=true data-repo=istio>apiVersion: &#34;config.istio.io/v1alpha2&#34;
kind: rule
metadata:
name: stackdriver
namespace: istio-system spec:
match: &#34;true&#34; # 缺省 match 为 true
actions:
- handler: handler.stackdriver
instances:
- accesslog.logentry
</code></pre></code></pre><h2 id=cleanup>清理</h2><ul><li><p>删除新的 Stackdriver 配置:</p><pre><code class=language-bash data-expandlinks=true data-repo=istio>$ kubectl delete -f stackdriver.yaml
</code></pre></li><li><p>如果不打算任何后续任务,请参阅 <a href=/v1.9/zh/docs/examples/bookinfo/#cleanup><code>Bookinfo cleanup</code></a> 指令关闭应用程序。</p></li></ul><h2 id=availability-of-logs-in-export-sinks>日志导出的可用性</h2><p>导出到 BigQuery 只需几分钟(可以认为是瞬间完成的),不过 GCS 要延迟 2 至 12 小时,而 Pub/Sub 则几乎没有延迟。</p></article><nav class=pagenav><div class=left><a title="描述 Istio 的授权功能以及如何在各种用例中使用它。" href=/v1.9/zh/blog/2018/istio-authorization/><svg class="icon left-arrow"><use xlink:href="/v1.9/img/icons.svg#left-arrow"/></svg>基于 Istio 授权的 Micro-Segmentation</a></div><div class=right><a title="描述如何配置 Istio 进行 HTTP Egress 流量监控和访问策略。" href=/v1.9/zh/blog/2018/egress-monitoring-access-control/>HTTP Egress 流量监控和访问策略<svg class="icon right-arrow"><use xlink:href="/v1.9/img/icons.svg#right-arrow"/></svg></a></div></nav><div id=feedback><div id=feedback-initial>这些信息有用吗?<br><button class="btn feedback" onclick="sendFeedback('zh',1)">是的</button>
<button class="btn feedback" onclick="sendFeedback('zh',0)">没有</button></div><div id=feedback-comment>Do you have any suggestions for improvement?<br><br><input id=feedback-textbox type=text placeholder="Help us improve..." data-lang=zh></div><div id=feedback-thankyou>Thanks for your feedback!</div></div><div id=endnotes-container aria-hidden=true><h2>链接</h2><ol id=endnotes></ol></div></div><div class=toc-container><nav class=toc aria-label="Table of Contents"><div id=toc><ol><li role=none aria-label=开始之前><a href=#before-you-begin>开始之前</a><li role=none aria-label="配置 Istio 导出日志"><a href=#configuring-Istio-to-export-logs>配置 Istio 导出日志</a><ol><li role=none aria-label=设置各种日志接收器><a href=#setting-up-various-log-sinks>设置各种日志接收器</a><ol><li role=none aria-label=BigQuery><a href=#big-query>BigQuery</a><li role=none aria-label="Google Cloud Storage (GCS)"><a href=#google-cloud-storage>Google Cloud Storage (GCS)</a><li role=none aria-label="Google Cloud Pub/Sub"><a href=#google-cloud-pub-sub>Google Cloud Pub/Sub</a></ol></li><li role=none aria-label="设置 Stackdriver"><a href=#setting-up-stack-driver>设置 Stackdriver</a></ol></li><li role=none aria-label=了解发生了什么><a href=#understanding-what-happened>了解发生了什么</a><li role=none aria-label=清理><a href=#cleanup>清理</a><li role=none aria-label=日志导出的可用性><a href=#availability-of-logs-in-export-sinks>日志导出的可用性</a></ol></div></nav></div></main><footer><div class=user-links><a class=channel title="立刻下载 Istio 1.9.5" href=/v1.9/docs/setup/getting-started/#download aria-label="Download Istio"><span>download</span><svg class="icon download"><use xlink:href="/v1.9/img/icons.svg#download"/></svg>
</a><a class=channel title="加入 Istio discussion board 参与讨论获取帮助" href=https://discuss.istio.io aria-label="Istio discussion board"><span>discuss</span><svg class="icon discourse"><use xlink:href="/v1.9/img/icons.svg#discourse"/></svg></a>
<a class=channel title="Stack Overflow 中列举了针对实际问题以及部署、配置和使用 Istio 的各项回答" href=https://stackoverflow.com/questions/tagged/istio aria-label="Stack Overflow"><span>stack overflow</span><svg class="icon stackoverflow"><use xlink:href="/v1.9/img/icons.svg#stackoverflow"/></svg></a>
<a class=channel title="在 Slack 上与 Istio 社区交互讨论开发问题(仅限邀请)" href=https://slack.istio.io aria-label=slack><span>slack</span><svg class="icon slack"><use xlink:href="/v1.9/img/icons.svg#slack"/></svg></a>
<a class=channel title="关注我们的 Twitter 来获取最新信息" href=https://twitter.com/IstioMesh aria-label=Twitter><span>twitter</span><svg class="icon twitter"><use xlink:href="/v1.9/img/icons.svg#twitter"/></svg></a><div class=tag>对于用户</div></div><div class=info><p class=copyright>中文内容由 ServiceMesher 社区维护,部分文档可能稍微滞后于英文版本,同步工作持续进行中<br>Istio 归档
1.9.5<br>&copy; 2020 Istio Authors, <a href=https://policies.google.com/privacy>隐私政策</a><br>归档于 2021年5月18日</p></div><div class=dev-links><a class=channel title="Istio 的代码在 GitHub 上开发" href=https://github.com/istio/community aria-label=GitHub><span>github</span><svg class="icon github"><use xlink:href="/v1.9/img/icons.svg#github"/></svg></a>
<a class=channel title="如果您想深入了解 Istio 的技术细节,请查看我们日益完善的设计文档" href=https://groups.google.com/forum/#!forum/istio-team-drive-access aria-label="team drive"><span>drive</span><svg class="icon drive"><use xlink:href="/v1.9/img/icons.svg#drive"/></svg></a>
<a class=channel title="如果您想为 Istio 项目做出贡献,请考虑加入我们的工作组" href=https://github.com/istio/community/blob/master/WORKING-GROUPS.md aria-label="working groups"><span>working groups</span><svg class="icon working-groups"><use xlink:href="/v1.9/img/icons.svg#working-groups"/></svg></a><div class=tag>对于开发者</div></div></footer><div id=scroll-to-top-container aria-hidden=true><button id=scroll-to-top title=回到顶部><svg class="icon top"><use xlink:href="/v1.9/img/icons.svg#top"/></svg></button></div></body></html>