Sep 22 2016

max-min标准化

作者:MangoCool  |  分类:软件技术  |  来源:MangoCool

大部分max-min标准化,都是将所有的数据归一化到[0,1]的范围内,这种需求并不能适应所有的需求,如果能映射到指定的范围内就很灵活了,其实这是一个简单的数学问题。

Sep 20 2016

解决IDEA maven变更后自动重置LanguageLevel和JavaCompiler版本的问题

作者:MangoCool  |  分类:软件技术  |  来源:MangoCool

使用IDEA时,导入的Maven项目默认的LanguageLevel和JavaCompiler都是1.5,1.5的情况下连最简单的@Override注解都不支持。虽然可以通过setting中可以修改JavaCompiler版本和在Project Structure可以修改LanguageLevel,但是一旦Maven项目有变化,甚至刷新一下pom.xml,IDEA会重置这些配置。相当的苦逼。

Sep 18 2016

win7下dataframe保存到hive表的本地模式和远程集群模式

作者:MangoCool  |  分类:软件技术  |  来源:MangoCool

在win环境下开发spark应用,不可避免的会要在开发完功能模块后进行单元测试,期间我就遇到过问题,在spark本地模式下始终无法操作hive,不是找不到database就是找不到table。这里我将最终解决的方法记录下来。

Sep 14 2016

The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwx------

作者:MangoCool  |  分类:软件技术  |  来源:MangoCool

在win7环境下,运行spark,local模式,将dataframe的数据写入hive表中,出现报错:The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwx------

Aug 29 2016

idea打jar包方法

作者:MangoCool  |  分类:软件技术  |  来源:MangoCool

每一个项目到最后都得打包,时间长了,细节总会忘记,打出来的包也出现各种问题,不想浪费这种时间,就得做笔记。

Aug 19 2016

java api操作hdfs

作者:MangoCool  |  分类:软件技术  |  来源:MangoCool

开始学习hadoop时写过一次,一晃就两年了,记忆也模糊起来。现在再次需要时,居然还花了我两小时搜集和整理资料才使代码正常跑起来,如果是两年前就无所谓了,可现在不同,我觉得这种时间完全没必要浪费,索性记录下来。

众里寻他
神头条
热心公益
强烈推荐,九折推荐码:6WNH6P
  • 服务器只买阿里云

关于我

一个喜欢唱歌,热衷旅行,爱好电子产品的码农。没事,跟三五好友吼上几嗓子,约上几个背着行囊去露营或者宅在家里抱着孩子敲代码。

座右铭:当你的才华还撑不起你的野心的时候,你就应该静下心来学习,永不止步!

            人生之旅历途甚长,所争决不在一年半月,万不可因此着急失望,招精神之萎葸。


Copyright 芒果酷(mangocool.com) All rights reserved. 湘ICP备14019394号

免责声明:本网站部分文章转载其他媒体,意在为公众提供免费服务。如有信息侵犯了您的权益,可与本网站联系,本网站将尽快予以撤除。