傑瑞窩在這

程式開發的心得與筆記

[python] 使用 Spark與 Hive進行 ETL

之前實作 ETL系統是透過 Python + MongoDB/MySQL完成,對於少量的資料綽綽有餘,但如果想處理大量資料,又想要借用 Spark MLlib機器學習套件的話,那麼就使用 PySpark + Hive來達成任務吧。能使用熟悉的Python與 SQL語法,無痛轉移。

繼續閱讀

2017 Google Cloud OnBoard -Taipei 會議重點整理

Google Cloud OnBoard 是 Google 首次在台灣舉辦的大型 Google Cloud Platform (GCP)訓練課程,由認證講師帶領大家了解 Google雲端服務的各項重要功能。其中包含 Compute Engine, Container Engine, Cloud Storage, Big Query, Network等等,每個部分都有搭配實際操作,淺顯易懂。一整天的課程除了收穫滿載之外,還能拿到 OnBoard限定紀念 T Shirt以及參加證一張唷 (會閃閃發亮呢)

繼續閱讀

[教學] 快速註冊AWS帳號 (含電話驗證技巧)

深度學習、人工智慧當紅,各家新創公司都積極拓展 AI應用,透過雲端服務開發產品,這也使得雲端平台商都卯足全力,開創新的 API、新的應用方式。綜觀幾間大廠(AWS、GCP、Azure、Bluemix),AWS 仍然是市佔率最高的領導廠商,所以就來分享一下如何註冊 AWS帳號以及電話驗證的技巧,驗證不通過該怎麼解決。

繼續閱讀

Storm 快速上手:概念、佈署與範例

Apache Storm 是一個基於 Hadoop的分散式串流運算框架,廣泛的應用於即時資料處理,像是 Twitter、掏寶等公司都使用 Storm進行數據分析。究竟他有何特別之處呢,就讓我們透過簡單的說明,架設環境來體驗看看吧!

繼續閱讀

透過 PPA在 Ubuntu16.04安裝 Oracle JAVA 8 JDK

之前記錄過安裝 JAVA 8 JDK的方式,需要去官網下載安裝檔,有些麻煩。後來才發現直接新增 Oracle 的 repository就可以用 apt-get安裝囉,方式如下

繼續閱讀

« Older posts

© 2017 傑瑞窩在這

Theme by Anders NorenUp ↑