易盾服务启动手册

外观

antispam-business-livevideo — 直播视频准入检测与直播墙人审处置 ​

分层：业务检测层（点播/直播） ｜ 部署单元：6 个 ｜ 数据库：TiDB antispam ｜ base image：base-image:jdk17（构建 tag base-250409）

一、模块定位与架构 ​

本模块是易盾「直播视频 / 直播墙」内容安全产品：客户直播流开播后，对视频流自动抽帧识别涉黄、涉暴、涉政、广告等违规，让审核员在直播墙上一眼看到风险最高的直播间并执行忽略 / 警告 / 提示 / 断流，再把处置结论可靠回传给客户。它承载直播视频反垃圾从准入到人审处置、回调与计量的权威判定与数据留存。

架构分层：

  • 协议层：facade/http-check-api（提交/准入检测）、facade/http-api（回调/查询/实时反馈）、facade/dubbo-check-api+facade/dubbo-check-provider、facade/dubbo-api+facade/dubbo-provider
  • 逻辑层：service/business（审核处置/计分/计量/回调）、storage（Kafka 消费/控制消息/CDC/归档）
  • 数据层：service/base（MyBatis DAO/Manager/ES Searcher）、domain（实体模型）、common（BO/枚举/常量）
  • 支撑：scheduler（Elastic-Job 扫库/归档/告警）、console/api（控制台后端，独立部署）

关键数据流（机器检测）：

  1. LiveVideoCheckControllerV4.check（http-check-api 提交）→ LiveVideoCheckProvider.check（Dubbo 检测链准入）
  2. 入库 live_video + LiveVideoStartCheckService.startCheck 调图像组 /video/yidun/start
  3. 图像组抽帧检测 → 控制消息 Kafka yidun_live_video_control
  4. StorageApplication 内 LiveVideoControlConsumer 路由 → 截图结果落 live_video_data + 进回调池
  5. LiveVideoWallCallbackControllerV4 组装回调 → 客户拉取或主动推送
  6. 归档与计量消息 → antispam-bill

二、可部署服务清单 ​

部署单元目录artifactId镜像名端口服务类型独立 Dockerfile是否进 kubernetes.yml
facade/dubbo-providerantispam-business-livevideo-facade-dubbo-providerantispam-business-livevideo-dubbo-providerDubbo 随机Dubbo Provider（业务）是是（replicas=2）
facade/dubbo-check-providerantispam-business-livevideo-facade-dubbo-check-providerantispam-business-livevideo-dubbo-check-providerDubbo 随机Dubbo Provider（检测）是是（replicas=2）
facade/http-check-apiantispam-business-livevideo-facade-http-check-apiantispam-business-livevideo-http-check-api8401（k8s Service 暴露 80）HTTP 接入是是（replicas=2）
facade/http-apiantispam-business-livevideo-facade-httpantispam-business-livevideo-http-api8402（k8s Service 暴露 80）HTTP 接入是是（replicas=2）
storageantispam-business-livevideo-storageantispam-business-livevideo-storage无Kafka 消费者/Worker是是（replicas=2）
schedulerantispam-business-livevideo-schedulerantispam-business-livevideo-scheduler无定时任务是是（replicas=2）
console/apiantispam-business-livevideo-console-api—8080控制台后端无（不构建）否

k8s 镜像地址统一为 private-registry.yidun.internal/yidun/<镜像名>:1.0.0.private；console/api 有启动类但无 Dockerfile，不进 kubernetes.yml。

三、同模块启动顺序 ​

  1. facade/dubbo-provider — 业务配置/查询服务先就绪，其它单元通过 Dubbo 依赖其契约。
  2. facade/dubbo-check-provider — 检测服务，供提交入口调用。
  3. storage — 建立 Kafka 消费与入库链路，承接后续提交数据。
  4. scheduler — 扫库/归档任务，依赖已落库数据。
  5. facade/http-check-api — 对外提交入口，最终暴露。
  6. facade/http-api — 回调/查询/反馈入口。

理由：先 provider（内）后 api（外），消费与定时在数据面就绪后启动，避免启动期空扫。

四、逐服务启动逻辑 ​

单元目录 facade/http-check-api ​

  • 启动类：com.netease.is.antispam.business.livevideo.facade.http.check.HttpCheckApplication（src/main/java/.../facade/http/check/HttpCheckApplication.java）
  • @SpringBootApplication：无 exclude。
  • @Enable*：@EnableBusinessClient、@EnableRateLimiter、@EnableRecoverComponent、@EnableApolloConfig、@EnableI18nComponent。
  • main()：无自定义逻辑，直接 SpringApplication.run。
  • 启动钩子：未发现。

单元目录 facade/http-api ​

  • 启动类：com.netease.is.antispam.business.livevideo.facade.http.HttpApplication（.../facade/http/HttpApplication.java）
  • @SpringBootApplication：无 exclude。
  • @Enable*：@EnableBusinessClient、@EnableOssClient、@EnableCdcDataSubscribe、@EnableRateLimiter、@EnableRecoverComponent、@EnableI18nComponent；另 @PropertySources({@PropertySource("classpath:livevideo-oss.properties")})。
  • main()：无自定义逻辑。
  • 启动钩子：未发现（依赖上述 @Enable* 拉起的组件）。

单元目录 facade/dubbo-check-provider ​

  • 启动类：com.netease.is.antispam.business.livevideo.facade.dubbo.check.DubboCheckApplication（.../facade/dubbo/check/DubboCheckApplication.java）
  • @SpringBootApplication：无 exclude。
  • @Enable*：@EnableCdcDataSubscribe、@EnableOssClient、@EnableBusinessClient、@EnableAspectJAutoProxy、@EnableRecoverComponent、@EnableConfigurationProperties({LiveVideoConfig.class})（@ConfigurationProperties(prefix="antispam.checker")）。
  • 另有 @ComponentScan("com.netease.is.antispam.business.livevideo")、@MapperScan("com.netease.is.antispam.business.livevideo.dao")、@PropertySource("classpath:livevideo-oss.properties")。
  • main()：无自定义逻辑。
  • 启动钩子：未发现。

单元目录 facade/dubbo-provider ​

  • 启动类：com.netease.is.antispam.business.livevideo.facade.dubbo.DubboApplication（.../facade/dubbo/DubboApplication.java）
  • @SpringBootApplication(exclude = DataSourceAutoConfiguration.class) — 排除自动数据源，改用手写 DataSourceConfig。
  • @Enable*：@EnableBusinessClient、@EnableAspectJAutoProxy、@EnableOssClient、@EnableCdcDataSubscribe、@EnableRecoverComponent、@EnableApolloConfig + @ComponentScan + @MapperScan("...dao") + @PropertySource("livevideo-oss.properties")。
  • DataSourceConfig：masterDataSource（spring.datasource.master）/mirrorDataSource（spring.datasource.mirror）两个 Druid 数据源，@Primary 的 DynamicDataSource 默认指向 master，实现主从切换。
  • main()：无自定义逻辑。
  • 启动钩子：未发现。

单元目录 storage ​

  • 启动类：com.netease.is.antispam.business.livevideo.storage.StorageApplication（.../storage/StorageApplication.java）
  • @SpringBootApplication：无 exclude。
  • @Enable*：@EnableBusinessClient、@EnableScheduling、@EnableStorageAutoConfiguration、@EnableCdcDataSubscribe、@EnableOssClient、@EnableRecoverComponent、@EnableApolloConfig、@EnableIsolateComponent；@PropertySource("livevideo-oss.properties")。
  • @EnableStorageAutoConfiguration → @Import(StorageConfiguration.class)；StorageConfiguration 为 @ComponentScan({"com.netease.is.antispam.business.livevideo","com.netease.is.antispam.components.callback"}) + @MapperScan("...dao")。
  • 启动钩子 StorageSmartLifecycle implements SmartLifecycle：isAutoStartup()=true、getPhase()=0、start() 遍历 List<WrapRecover> 逐个 recover.start()（异常仅记日志），isRunning() 恒返回 false。另 YidunQosApplication 的 doOffline 先 kafkaListenerEndpointRegistry.stop() 再逐个 stop ConcurrentMessageListenerContainer 后 sleep 3000。多处 @PostConstruct（LiveVideoInsertCache、LiveSpeakerCache、LiveVideoControlConsumer、VideoControlCache、各 Abstract*Handler、CdcEsService、BusinessEventListener）。

单元目录 scheduler ​

  • 启动类：com.netease.is.antispam.business.livevideo.scheduler.SchedulerApplication（.../scheduler/SchedulerApplication.java）
  • @SpringBootApplication：无 exclude。
  • @Enable*：@EnableBusinessClient、@EnableTransactionManagement、@EnableElasticJob、@EnableOssClient、@EnableCdcDataSubscribe、@EnableRecoverComponent、@EnableApolloConfig；@ComponentScan({"com.netease.is.antispam.business.livevideo","com.netease.is.antispam.components.callback.clean","com.netease.is.antispam.components.callback.activeretry"}) + @MapperScan("...dao") + @PropertySource("livevideo-oss.properties")。
  • main()：无自定义逻辑。
  • 启动钩子：LiveMonitorFix、LiveVideoDataFixWorker、BusinessEventListener。

五、启动前置依赖 ​

依赖配置键/地址阻塞 or 弱依赖配置文件
TiDBspring.datasource.url=jdbc:mysql://tidb-cluster0-tidb.tidb.svc:4000/antispam（http-check）阻塞application-private.properties
Redis Sentinelspring.redis.sentinel.nodes=redis0-redis-ha.yidun-infra.svc:26379，master=master01阻塞application-private.properties
ZooKeeper（Dubbo 注册）zookeeper://zk-*.zookeeper.yidun-infra:2181，group /yidun/antispam/online-new/yidun-antispam-dubbo阻塞application-private.properties
Kafkacommon.kafka.bootstrap.servers=kafka-yidun-*.yidun-infra:9092阻塞（storage/http）application-private.properties
Apolloapp.id=antispam-livevideo_http-check / _storage / _scheduler / _dubbo，apollo.bootstrap.enabled=true阻塞application.properties
业务配置缓存（antispam-business）business.client.options.zookeeper.address=zk-*.zookeeper.yidun-infra:2181，rootPath=/netease-antispam/online/config阻塞application-private.properties
Elasticsearch 6.5.4ES 地址（CDS/检索）弱依赖（检索降级）Apollo
OSSlivevideo-oss.properties阻塞（@PropertySource 硬引用）classpath 资源

六、启动参数与 Profile ​

  • Spring profiles：默认 dev（application.properties 内 spring.profiles.active=dev）；容器由 JAVA_OPTS 覆写为 private（application-private.properties）。
  • Maven profile：private、dev、test、online、online-jd。
  • JAVA_OPTS（k8s）：-Xmx1024m -Xms1024m -XX:+UseG1GC -Dspring.profiles.active=private，并置 ENABLE_SKYWALKING=true、SW_AGENT_COLLECTOR_BACKEND_SERVICES=skywalking-skywalking-oap.yidun-infra.svc:11800。
  • base image 与仓库：private-registry.nis.netease.com/library/base-image:jdk17；镜像推送 private-registry.nis.netease.com/yidun，tag base-250409；k8s 拉取 private-registry.yidun.internal/yidun/...:1.0.0.private。
  • 启动命令：Dockerfile 设 ENTRYPOINT ["bash","docker-entrypoint.sh"]，APP_NAME 形如 antispam-business-livevideo-facade-<unit>。
  • 构建：buildAll.sh 先 mvn clean install -Pprivate，再遍历各子模块 build.sh（-c false）构建镜像。

七、启动期踩坑 ​

  1. livevideo-oss.properties 在仓库内不存在，但被 4 个单元的 @PropertySource 硬引用；若 classpath 无此资源，@PropertySource 默认 ignoreResourceNotFound=false 会导致启动失败。
  2. k8s 探针 httpGet /health/status port:80 与仓库内 server.port=8401/8402 不一致；private profile 未显式声明 server.port，端口来源不确定，Service 却只暴露 80。
  3. StorageSmartLifecycle.isRunning() 恒返回 false，生命周期容器的「运行中」判断失真，可能被重复触发 start()。
  4. facade/dubbo-provider 排除 DataSourceAutoConfiguration 后完全依赖自建 DataSourceConfig，缺 spring.datasource.master/mirror 配置不会 fail-fast，运行时才暴露。
  5. @EnableCdcDataSubscribe 在多个单元（http-api、dubbo-check-provider、dubbo-provider、storage、scheduler）同时开启，CDC 订阅重复建立。
  6. buildAll.sh 用 -c false 跳过各单元二次编译，会用父构建（可能陈旧）的产物打镜像。
  7. 全部 6 个 Deployment 均 replicas=2 且 imagePullPolicy: Always，滚动期间 provider 短暂不可用需调用方容错。
  8. degrade.file.file=classpath:sentinel/online/DegradeRule.json 引用的规则文件需确认存在于 classpath。

八、跨模块前置 ​

  • antispam-business：提供 SecretInfoCache/TargetCache/ProductCache/TargetConfigCache 等鉴权与业务配置缓存，须先启动；ZooKeeper 配置源 /netease-antispam/online/config 可用。
  • antispam-image：ImageCheckFacade.getCheckParam 取检测类型/子标签配置，抽帧结果回传链路依赖它。
  • antispam-keyword / antispam-rule / antispam-list：检测链中的关键词、规则、名单与 IP 区域 checker。
  • antispam-bill：计量消息（REQUEST_STAT、Antispam_Bill_CensorStat）依赖其接收端。
  • 图像组（仓库外 HTTP 服务）：LiveVideoProxyService 调 /video/yidun/start|stop|detect；antispam-livevideo-solution 等经 Kafka yidun_live 提交直播流入库。

相关：全局启动顺序 · 部署单元矩阵 · 踩坑速查

内部技术文档 · 请勿外传

网易易盾 · 反垃圾内容安全平台