Tamás Tarjányi's Blog

When I  started to use Capacity Scheduler hierarchical queue features on top of Hortonworks' HDP 2.0 I have immediately realized that I need automatic assignment of job to queue based on username. Sounds easy and useful? Yes! But could not find any configuration parameter and example for that. I found only references to use mapred.job.queuename config option. This can be configured in HIVE via set mapred.job.queuename=yourqueue or using -Dmapred.job.queuename=yourqueue as a hadoop command argument. After some hours of unavailing googling I have checked the corresponding code part and have been shocked. This is available only since HADOOP-2.6 (HDP-2.2). Check YARN-2411 for details. According to the CHANGELOG this is a relatively new feature. So sadly this is not available to me until an upgrade. :( See below an example based on YARN-2411 to use it in Hadoop 2.6 or higher for Hortonworks HDP-2.2 1. user1 is mapped to queue1, group1 is mapped to queue2: yarn.schedul...

As a result of my fault, and also result of strange behaviour of Ambari UI, I have overwritten my default capacity scheduler configuration data on my Hadoop Hortonworks HDP 2.0 cluster. Looking around I have found the xml file containing the original value as /var/lib/ambari-agent/cache/stacks/HDP/2.0._/services/YARN/configuration/capacity-scheduler.xml However on the UI you need a properties file style format. Here it is. yarn.scheduler.capacity.maximum-applications=10000 yarn.scheduler.capacity.maximum-am-resource-percent=0.2 yarn.scheduler.capacity.root.queues=default yarn.scheduler.capacity.root.capacity=100 yarn.scheduler.capacity.root.default.capacity=100 yarn.scheduler.capacity.root.default.user-limit-factor=1 yarn.scheduler.capacity.root.default.maximum-capacity=100 yarn.scheduler.capacity.root.default.state=RUNNING yarn.scheduler.capacity.root.default.acl_submit_jobs=* yarn.scheduler.capacity.root.default.acl_administer_jobs=* yarn.scheduler.capacity.root.acl_...

Az NSA botrány ahogy én látom – A politikai szál „Horkanó zaj támadt belülről, aztán csönd lett” A. A. Milne: Micimackó Bevezetés Hosszabb szünet után megint nekifutottam egy összefoglalónak. A szünetnek két fő oka volt. Az egyik, hogy mivel kiszivárogtatás folyik, meg kellett várni, amíg megint összegyűlik annyi információ, amiről már érdemes írni. Utólag be kell lássam, hogy túl sokáig vártam. A másik, hogy jó ideig inkább politikai színtéren zajlott a botrány, és bár nem azt mondom, hogy ez kevésbé lenne fontos, SŐT, de – bocsássátok meg nekem eme személyes megnyilvánulás – engem sokkal kevésbé érdekel ez a vonal és ezért nem is tértem ki erre az első összefoglalóban. Ettől függetlenül úgy gondolom, megérett az idő egy újabb összefoglalóra, és most, minden viszolygásom ellenére, az unalmas politikai vonalról olvashattok nem keveset, hogy utána majd megint a technikai dolgokra összpontosíthassunk. A politikai vonal Az első nemzetközi/külpolitikai jellegű botrány a még 2009-...

I do not like negative campaigning but when I read the story about Microsoft`s anti-Google mugs and the answer from Google  I felt the need to quickly made my versions.

Ezt az összefoglalót először facebookon  tettem közzé , majd később az androbiten is megjelent  egy kedves kollégámnak köszönhetően.  De gondoltam itt is megjelentetem utólagosan.      The world is a dangerous place to live     not because of the people who are evil,     but because of the people who don't do anything about it.                                                Albert Einstein 2013.06.06.           Hír:    Kiderült, hogy az USA kormánya több millió Verizon ügyfél hívásának adatait gyűjtheti össze egy titkos engedély alapján .    A magyarázat szerint, mivel csak a hívások metaadatait tárolták - ki kit hívott, mikor és mennyi ideig tartott a hívás - de magukat a hívásokat nem, és a metaadat nem minősül kommunikációnak, ezért nem volt szükség kü...

In the last days I was testing Hortonworks Data Platform 2.0 (Alpha) . Previously I mainly used Cloudera distributions but because of this bug  in CDH 4.1.3 I wanted to test alternatives. And I choose HDP. Note: This bug practically means that using RCFILE is useless with hive-0.9.0. The column pruning is not used by hive at all. Now it seems that the problem is in HIVE-0.9.0. Unfortunately there is a bug also in HDP 2.0. This is not so serious however. When Ambari is  used for automated installation it can fail with  "Oozie test Fails" or if Oozie is not selected than with "Hive/HCatalog test Fails" message and the deployment log will show the following error message:  "\"Sun Mar 03 21:38:03 +0100 2013 /Stage[2]/Hdp2-hive::Hive::Service_check/Exec[/tmp/hiveSmoke.sh]/returns (notice): FAILED: Hive Internal Error: org.apache.hadoop.hive.ql.metadata.HiveException(MetaException(message:Could not connect to meta store using any of the URIs provide...

Over the weekend I have had 2 technical problems. And a third one which was the emotional consequence of the 2 technical ones. So the first problem was a result of iOS5 update. My iTouch 4th gen became unstable. I liked my iTouch, iPad and iXXXXX because they were always responsive and reliable. No lags no glitches no errors. But after I have installed iOS5 on my iTouch. My oh my!!! Lags are there and makes me feel like on Windows. The other issue seems to be a bug. You can test it by yourself. Start "App Store" - Select "Updates" - Select "Purchased" - Select "Not on this iPod" - Swipe right to left on any item and then select the "Hide" button. In my case "App Store" always does exit. Steve Jobs have died just one week before the release of iOS5 and here we are. Everything I really like for iOS devices have gone. Think about it. The other problem is more serious. And to be honest more depressing to me. I have upgrad...