spark streaming 调试技巧

1. spark streaming 如果以local 模式运行，log日志非常清楚。
2. 如果log 日志是运行在yarn 模式下，driver 的日志可以通过reource manager 日志看到。但是executor的日志却看不到，我们常常毛病都产生在executor里，比如典型的毛病：如果我们连接hbase去存取数据的话，我们会在driver里初始化了连接，缺疏忽的excutors里，致使程序出错。如果你的代码里有try cache，executor的 毛病不会影响driver 运行，但是结果却是毛病的。我们这需要查看executor的日志：由于executor运行在yarn 的模式下，我们从本地containner查看日志。 CDH 版本yarn container 的日志再以下路径下：

[root@hadoop⑶ ~]# ll /var/log/hadoop-yarn/container/application_1429701572510_0022/container_1429701572510_0022_01_000002/
总用量 932
-rw-r

生活不易，码农辛苦
如果您觉得本网站对您的学习有所帮助,可以手机扫描二维码进行捐赠