mirror of https://github.com/loggie-io/docs.git
doc: add docs for rocketmq sink (#160)
Signed-off-by: hansedong <admin@yinxiaoluo.com>
This commit is contained in:
hansedong
GitHub
parent
e131798cc6
commit
a89a32983a
|
|
@ -0,0 +1,162 @@
|
|||
# rocketmq
|
||||
|
||||
rocketmq sink 可以将日志数据发送至下游 [RocketMQ](https://github.com/apache/rocketmq) 。
|
||||
|
||||
!!! example
|
||||
|
||||
```yaml
|
||||
sink:
|
||||
type: rocketmq
|
||||
nameServer:
|
||||
- 127.0.0.1:9876
|
||||
topic: "log-${fields.topic}"
|
||||
```
|
||||
|
||||
## nameServer
|
||||
|
||||
| `字段` | `类型` | `是否必填` | `默认值` | `含义` |
|
||||
| ---------- |-----------|--------| --------- |-----------------------------|
|
||||
| nameServer | string 数组 | 非必填 | 无 | RocketMQ nameserver addr 列表 |
|
||||
|
||||
## nsResolver
|
||||
|
||||
| `字段` | `类型` | `是否必填` | `默认值` | `含义` |
|
||||
| ---------- |-----------| ----------- |-------|-------------------------------------|
|
||||
| nsResolver | string 数组 | 非必填 | 无 | 用于获取 nameserver addr 的 reslover 列表 |
|
||||
|
||||
> 注意：nameServer 和 nsResolver 二选一，必须要设置一个
|
||||
|
||||
## topic
|
||||
|
||||
| `字段` | `类型` | `是否必填` | `默认值` | `含义` |
|
||||
| ---------- | ----------- | ---------- |--------|------------------------|
|
||||
| topic | string | 必填 | loggie | 发送日志至 RocketMQ 的 topic |
|
||||
|
||||
可使用 `${a.b}` 的方式，获取 event 里的字段值作为具体的 topic 名称。
|
||||
|
||||
比如，一个 event 为：
|
||||
|
||||
```json
|
||||
{
|
||||
"topic": "loggie",
|
||||
"hello": "world"
|
||||
}
|
||||
```
|
||||
可配置 `topic: ${topic}`，此时该 event 发送到 RocketMQ 的 topic 为 "loggie"。
|
||||
|
||||
同时支持嵌套的选择方式：
|
||||
|
||||
```json
|
||||
{
|
||||
"fields": {
|
||||
"topic": "loggie"
|
||||
},
|
||||
"hello": "world"
|
||||
}
|
||||
```
|
||||
|
||||
可配置 `topic: ${fields.topic}`，同样也会发送到 topic "loggie"。
|
||||
|
||||
## ifRenderTopicFailed
|
||||
|
||||
| `字段` | `类型` | `是否必填` | `默认值` | `含义` |
|
||||
|----------------------|--------| ----------- |-------|-----------------------|
|
||||
| ifRenderTopicFailed | object | 非必填 | | 配置 topic 动态渲染失败的动作参数 |
|
||||
| ifRenderTopicFailed.dropEvent | bool | 非必填 | true | 是否丢弃此消息 |
|
||||
| ifRenderTopicFailed.ignoreError | bool | 非必填 | false | 是否忽略错误 |
|
||||
| ifRenderTopicFailed.defaultValue | string | 非必填 | 无 | 渲染失败时使用的默认配置的 topic 值 |
|
||||
|
||||
## group
|
||||
|
||||
| `字段` | `类型` | `是否必填` | `默认值` | `含义` |
|
||||
| ---------- | ----------- | ----------- | --------- |---------------------------------------------|
|
||||
| group | string | 非必填 | DEFAULT_PRODUCER | 同一类 Producer 的集合，这类 Producer 发送同一类消息且发送逻辑一致 |
|
||||
|
||||
## tag
|
||||
|
||||
| `字段` | `类型` | `是否必填` | `默认值` | `含义` |
|
||||
|------| ----------- | ----------- |-------|-------------------------------------------------------------|
|
||||
| tag | string | 非必填 | 无 | 为消息设置的标志，用于同一主题下区分不同类型的消息，可理解为二级消息类型，用来进一步区分某个 Topic 下的消息分类 |
|
||||
|
||||
RocketMQ 有对 tag 能力的支持，因此，类似 topic，tag 也可使用 `${a.b}` 的方式，获取 event 里的字段值作为具体的 tag 名称。
|
||||
|
||||
比如，一个 event 为：
|
||||
|
||||
```json
|
||||
{
|
||||
"tag": "loggie",
|
||||
"hello": "world"
|
||||
}
|
||||
```
|
||||
可配置 `tag: ${tag}`，此时该 RocketMQ 的消息的 tag 为 "loggie"。
|
||||
|
||||
同时支持嵌套的选择方式：
|
||||
|
||||
```json
|
||||
{
|
||||
"fields": {
|
||||
"tag": "loggie"
|
||||
},
|
||||
"hello": "world"
|
||||
}
|
||||
```
|
||||
|
||||
可配置 `tag: ${fields.tag}`，同样也会配置消息的 tag 为 "loggie"。
|
||||
|
||||
## ifRenderTagFailed
|
||||
|
||||
| `字段` | `类型` | `是否必填` | `默认值` | `含义` |
|
||||
|----------------------|--------| ----------- |-------|---------------------|
|
||||
| ifRenderTagFailed | object | 非必填 | | 配置 tag 动态渲染失败的动作参数 |
|
||||
| ifRenderTagFailed.dropEvent | bool | 非必填 | true | 是否丢弃此消息 |
|
||||
| ifRenderTagFailed.ignoreError | bool | 非必填 | false | 是否忽略错误 |
|
||||
| ifRenderTagFailed.defaultValue | string | 非必填 | 无 | 渲染失败时使用的默认配置的 tag 值 |
|
||||
|
||||
> 注意：因为 tag 是非必须参数，默认为空，因此，只有配置了 tag 并且渲染失败时，ifRenderTagFailed 参数才会生效
|
||||
|
||||
## messageKeys
|
||||
|
||||
| `字段` | `类型` | `是否必填` | `默认值` | `含义` |
|
||||
| ---------- |-----------| ----------- |-------|----------------------------------------------------------|
|
||||
| messageKeys | string 数组 | 非必填 | 无 | 消息的业务标识，由消息生产者（Producer）设置，`唯一` 标识某个业务逻辑，比如以订单 ID 为 key |
|
||||
|
||||
## retry
|
||||
|
||||
| `字段` | `类型` | `是否必填` | `默认值` | `含义` |
|
||||
| ---------- | ----------- | ----------- |-------|------|
|
||||
| retry | int | 非必填 | 2 | 重试次数 |
|
||||
|
||||
## sendMsgTimeout
|
||||
|
||||
| `字段` | `类型` | `是否必填` | `默认值` | `含义` |
|
||||
| ---------- | ----------- | ----------- |-------|-----------|
|
||||
| sendMsgTimeout | time.Duration | 非必填 | 3s | 消息发送的超时时间 |
|
||||
|
||||
## compressLevel
|
||||
|
||||
| `字段` | `类型` | `是否必填` | `默认值` | `含义` |
|
||||
| ---------- |------| ----------- |-------|---------------|
|
||||
| compressLevel | int | 非必填 | 5 | 消息的压缩登记，取值范围：0 1 2 3 4 5 6 7 8 9 |
|
||||
|
||||
## compressMsgBodyOverHowmuch
|
||||
|
||||
| `字段` | `类型` | `是否必填` | `默认值` | `含义` |
|
||||
| ---------- |------| ----------- | --------- | -------- |
|
||||
| compressMsgBodyOverHowmuch | int | 非必填 | 4096 | 消息Body超过多大开始压缩（Consumer收到消息会自动解压缩），单位字节 |
|
||||
|
||||
## topicQueueNums
|
||||
|
||||
| `字段` | `类型` | `是否必填` | `默认值` | `含义` |
|
||||
| ---------- |------| ----------- |-------| -------- |
|
||||
| topicQueueNums | int | 非必填 | 4 | 在发送消息，自动创建服务器不存在的topic时，默认创建的队列数 |
|
||||
|
||||
## credentials
|
||||
|
||||
> credentials 用于 RocketMQ 开启了 ACL 权限控制的场景
|
||||
|
||||
| `字段` | `类型` | `是否必填` | `默认值` | `含义` |
|
||||
| ---------- |-------|--------|-------|------------------------------------|
|
||||
| credentials | object | 非必填 | 无 | 客户端用于身份验证的凭证信息，仅在服务端开启身份识别和认证时需要传输 |
|
||||
| credentials.accessKey | string | 必填 | 无 | accessKey |
|
||||
| credentials.accessKey | string | 必填 | 无 | secretKey |
|
||||
| credentials.securityToken | string | 非必填 | 无 | secretKey |
|
||||
Loading…
Reference in New Issue