Sep 18 2016

win7下dataframe保存到hive表的本地模式和远程集群模式

作者:MangoCool  |  分类:软件技术  |  来源:MangoCool

在win环境下开发spark应用,不可避免的会要在开发完功能模块后进行单元测试,期间我就遇到过问题,在spark本地模式下始终无法操作hive,不是找不到database就是找不到table。这里我将最终解决的方法记录下来。

Sep 14 2016

The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwx------

作者:MangoCool  |  分类:软件技术  |  来源:MangoCool

在win7环境下,运行spark,local模式,将dataframe的数据写入hive表中,出现报错:The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwx------

Aug 29 2016

idea打jar包方法

作者:MangoCool  |  分类:软件技术  |  来源:MangoCool

每一个项目到最后都得打包,时间长了,细节总会忘记,打出来的包也出现各种问题,不想浪费这种时间,就得做笔记。

Aug 19 2016

java api操作hdfs

作者:MangoCool  |  分类:软件技术  |  来源:MangoCool

开始学习hadoop时写过一次,一晃就两年了,记忆也模糊起来。现在再次需要时,居然还花了我两小时搜集和整理资料才使代码正常跑起来,如果是两年前就无所谓了,可现在不同,我觉得这种时间完全没必要浪费,索性记录下来。

Aug 12 2016

Hadoop YARN配置参数—权限与日志聚集相关参数

作者:MangoCool  |  分类:软件技术  |  来源:MangoCool

配置这些参数前,应充分理解这几个参数的含义,以防止误配给集群带来的隐患。另外,这些参数均需要在yarn-site.xml中配置。

Aug 10 2016

Centos下新建用户及设置ftp用户权限

作者:MangoCool  |  分类:软件技术  |  来源:MangoCool

相信小伙伴们也会经常遇到这种需求,须对不同的用户赋予不同的ftp访问权限,这样不仅极大的保证了服务器的安全,同时也不影响每个用户的使用。

热心公益
强烈推荐,九折推荐码:6WNH6P
  • 服务器只买阿里云

关于我

一个喜欢唱歌,热衷旅行,爱好电子产品的java码农。没事,跟三五好友吼上几嗓子,约上几个背着行囊去露营或者宅在家里抱着孩子敲代码。

座右铭:当你的才华还撑不起你的野心的时候,你就应该静下心来学习,永不止步!

            人生之旅历途甚长,所争决不在一年半月,万不可因此着急失望,招精神之萎葸。


Copyright 芒果酷(mangocool.com) All rights reserved. 湘ICP备14019394号

免责声明:本网站部分文章转载其他媒体,意在为公众提供免费服务。如有信息侵犯了您的权益,可与本网站联系,本网站将尽快予以撤除。