Big data crash course

คอร์ส 9.5 ชม.
overview พาทัวร์ ให้รู้จัก จักรวาลของ big data
สำเนียง india english ฟังไปสักพักจะชินเอง
auto generate subtitle ถอดคำเพี้ยนเยอะหน่อย
สอนแบบเขียนบน whiteboard อ่านตามแล้วพอรู้เรื่อง

จบคอร์สนี้แล้ว ต่อด้วยคอร์ส bigdata architect
(role ที่อยู่ขวาสุดในรูป ต้องรู้ทั้งสองช่องรวมกัน admin + develop)

analyst กับ data scientist เป็นส่วนท้ายๆ ของห่วงโซ่
หน้าที่ analyst ใช้ skill น้อยสุด ประมาณ report writer สมัยก่อน

architect ของ bigdata
ได้รู้จักชื่อต่างๆ ในโลกของ big data และเห็นภาพว่าสัมพันธ์กันอย่างไร
java เป็นภาษาหลักที่ใช้พัฒนา bigdata
จะเห็นว่า SQL (database) เป็นแค่กล่องเล็กๆ อยู่ด้านบน

stage ต่างๆ ในโลกของ bigdata และ ชื่อเครื่องมือที่ใช้

2 Likes

ถอนหายใจ เฮือกๆ
มาได้ครึ่งทางแล้ว

  • haoop - hdfs insert only
  • hbase - insert / update
  • yarn (distributed / fault torrent)
  • sqoop (import / export)
  • hive - hql / hive llap (map - batch process) / hive 2 cloudera
  • impala เป็น interactive (ad-hocs) แต่ไม่เป็น fault torrent (ไม่ใช้ yarn)

ต่อ…

  • spark
  • kafka
  • nifi