使用IDEA时，导入的Maven项目默认的LanguageLevel和JavaCompiler都是1.5，1.5的情况下连最简单的@Override注解都不支持。虽然可以通过setting中可以修改JavaCompiler版本和在Project Structure可以修改LanguageLevel，但是一旦Maven项目有变化，甚至刷新一下pom.xml，IDEA会重置这些配置。相当的苦逼。
在win环境下开发spark应用，不可避免的会要在开发完功能模块后进行单元测试，期间我就遇到过问题，在spark本地模式下始终无法操作hive，不是找不到database就是找不到table。这里我将最终解决的方法记录下来。
在win7环境下，运行spark，local模式，将dataframe的数据写入hive表中，出现报错：The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwx------
每一个项目到最后都得打包，时间长了，细节总会忘记，打出来的包也出现各种问题，不想浪费这种时间，就得做笔记。
开始学习hadoop时写过一次，一晃就两年了，记忆也模糊起来。现在再次需要时，居然还花了我两小时搜集和整理资料才使代码正常跑起来，如果是两年前就无所谓了，可现在不同，我觉得这种时间完全没必要浪费，索性记录下来。
配置这些参数前，应充分理解这几个参数的含义，以防止误配给集群带来的隐患。另外，这些参数均需要在yarn-site.xml中配置。
Copyright 芒果酷（mangocool.com） All rights reserved. 湘ICP备14019394号
免责声明：本网站部分文章转载其他媒体，意在为公众提供免费服务。如有信息侵犯了您的权益，可与本网站联系，本网站将尽快予以撤除。