hive JDBC client 端 使用整理

要使用 hive jdbc 在client 端，需要以下的 lib (當然版本會更新)，參考[1]

hive-jdbc-0.7.1.jar

hive-exec-0.7.1.jar

hive-metastore-0.7.1.jar

hive-service-0.7.1.jar

hadoop-0.20.0-core.jar

commons-logging-1.0.4.jar

log4j-1.2.16.jar

libfb303.jar

slf4j-api-1.6.1.jar

slf4j-log4j12-1.6.1.jar

在 [2] 裡面有提供一組包好得 Hive JDBC lib ，可以一次下載完全部相關的jar
不然也可以一個一個的找


至於實際的範例，官方網站[3]有提供



參考：

[1] How to connect Hadoop Hive,http://community.qlikview.com
[2] Connect to Hadoop Hive from within QlikView,http://tiqview.tumblr.com 
[3] https://cwiki.apache.org/Hive/hiveclient.html

轉貼 hive server 端啟動方式

hive 三種啟動方式及用途，關注通過jdbc連接的啟動：
 1， hive  命令列模式，直接輸入/hive/bin/hive的執行程式，或者輸入 hive –service cli
用於linux平臺命令列查詢，查詢語句基本跟mysql查詢語句類似
 2， hive  web介面的啟動方式，hive –service hwi  
用於通過流覽器來訪問hive，感覺沒多大用途
3， hive  遠端服務 (埠號10000) 啟動方式，nohup hive –service hiveserver  & 
用java等程式實現通過jdbc等驅動的訪問hive就用這種起動方式了，這個是程式師最需要的方式了

註：  hive –service hiveserver 就可以啟動， 加上 nohup 指令是確保當ssh 離線後服務依然執行，  ssh 背景執行 可以參考[2]


參考：
[1] hive 三種啟動方式及用途，關注通過jdbc連接的啟動, Raymond(奧特man)
[2] ssh 背景執行的小技巧, Neo's Blog

心得 ， JNDI 存取 Oracle 錯誤 ORA-01861

小心得，使用 JNDI  寫入 Oracle 資料庫時，出現了 ORA-01861 錯誤訊息，查證了一下， 原來是日期時間的問題， 吧 日期時間的輸入欄位換成  ： to_date('2003/05/03 21:02:44', 'yyyy/mm/dd hh24:mi:ss')


之類的就可以


參考： Oracle/PLSQL: Insert a date/time value into an Oracle table

心得 Mongo DB 安裝

Mongo DB 是 NoSQL 中 適合處理大量文件的資料庫，適合儲存大量的資料，如Log[1].
此外他也支援大部分的程式語言，C | C# | C++ | C# & .NET | ColdFusion | Erlang | Haskell | Factor | Java | Javascript | PHP | Python | Ruby | Perl | More... [2].

至於安裝說明，可以從官網[2],中點選 Quick Start 就有相對應的教學。

這裡針對Windows 環境作簡單的敘述：

1. 下載檔案。
2. 將下載的檔案解壓縮。
3. 移動檔案，像我下載的版本是 mongodb-win32-i386-2.0.1, 由於是在Dos 下測試，不妨將檔案傳新命名如mongodb.並移動在上層的目錄，如C:\mongodb 。
4. 建立資料庫資料夾，mongodb設定都會在 \data\db 資料夾下讀取，若剛剛是放在c槽，路徑就是
C:\data\db,若放在D槽就是D:\data\db, 以此類推。
5.進入DOS ，開始->執行->cmd
6. 進入mongodb 的bin資料夾，如 C:\mongodb\bin. 輸入  mongod 開啟伺服器服務
7. 若上一步成功的話可以在開一個cmd， 輸入 如範例的 3+3 測試性能

其他有關NoSQL 的介紹，可以參考[3]，這裡根據特性將NoSQL分成四類，不過其他的地方是三類，所以大約瞭解一下就好。



參考:
[1]. Use Case-MongoDB
[2]. MongoDB Home
[3]. NoSQL解決資料庫暴量的新方法

心得 SQL 查詢資料效率

感覺這好像是常識，不過看到還是提一下，舉例來說

資料庫裡有一個table 欄位有
Email,FirstName,LastName,Password,PhoneNumber,UserId
等六個欄位

使用 select * 的 話 比 select 'Password' 所花費的效能就有些差距

圖一 select* 所花得 CPU time 有 3533












圖二 select 'Password' 所花得 CPU time 有 2555



所以不要為了省事 還是老老實實的選取所要用的欄位～

轉錄 - PHP MySQL 安裝教學

基本上可以參考這個網頁

包含

Apache http://wuyy.idv.tw/servercr/apache22.htm
PHP http://wuyy.idv.tw/servercr/phpprogram.htm
MySql http://wuyy.idv.tw/servercr/mysqldb.htm
PhpMyAdmin http://wuyy.idv.tw/servercr/phpmyadmin-h.htm

都有詳細的教學


若不想一個個設定的話 可以參考
WAMP
或
LAMP
這種整合套件




附註

---------------------------------------------------------------
1. MySQL共有三個版本, 一開始還疑惑了一下要裝哪種版本 ：

• 基本安裝 (檔名含有essential)
• 完整安裝 (win32.zip)
• 手動安裝版本 (檔名含有noinstall)

基本安裝：是一個旨在滿足多數用戶需求的MSI安裝套件。 * 完整安裝：比基本版包含更多組件，包括一套評測工具。 * 手動安裝：此版本與完整版一樣，但不包含配置嚮導或安裝器，必須手動進行安裝


2. Skype 預設會占用 80 port, 所以要把他這個選項關閉

3. php.ini 要設定擴充庫

• 可於 php.ini 中的 extension 設定要使用的擴充函式庫，欲使用函式庫只需將前面的『;』移除即可
• 使用 MySql 資料庫：extension=php_mysql.dll
• 處理多位元語系：extension=php_mbstring.dll
• 繪圖處理：extension=php_gd2.dll

在 x64 環境我是額外再開
extension=php_mcrypt.dll , 參考 http://www.jianing.name/blog/post/150/1/2/