REPRESENTATION · INFORMATION · INDUCTIVE BIAS

“Deep Learning learns features automatically.”

BOUNDARY, NOT A BATTLE

Deep Learning เรียน Representation จาก Information ที่ได้รับได้ทรงพลังมาก แต่ไม่ใช่ Information Generator หน้านี้ไม่ได้ถามว่า Feature Engineering หรือ Deep Learning “ใครดีกว่า” เราจะถามว่า ข้อมูลอยู่ที่ไหน ความสัมพันธ์ถูก Represent อย่างไร และต้องใช้ข้อมูลเท่าใดเพื่อเรียนสิ่งที่เรารู้อยู่แล้ว

FEATURE LEARNABILITY SPECTRUM

ความยากไม่ได้ขึ้นกับความซับซ้อนของสูตรเพียงอย่างเดียว

เลือกแต่ละประเภทเพื่อดูว่า Information อยู่ใน Input หรือไม่ และ Architecture ต้องมี Inductive Bias แบบใด

Spectrum นี้เป็นกรอบคิด ไม่ใช่กฎตายตัว ผลขึ้นกับ Input Representation, Architecture, Training Objective และ Distribution ของข้อมูล

INFORMATION THAT DOES NOT EXIST

ถ้า Z ไม่เคยอยู่ใน Input

QUESTION

เมื่อ Hidden Variable มีอิทธิพลต่อ Y มากขึ้น Model ที่เห็นเฉพาะ X จะเป็นอย่างไร?

INTERACTImportance of hidden Z 40%

TAKEAWAY

No architecture can recover information that is absent from its input. Simulation นี้เป็น deterministic conceptual model ไม่ใช่ benchmark จริง

Bioinformatics: sequence + conservationCybersecurity: packet + historyFinance: transaction + market contextManufacturing: sensor + operating regime

SAMPLE EFFICIENCY

Neural Network เรียนสูตรที่เรารู้อยู่แล้วได้ไหม?

QUESTION

Efficiency = Output / Input อาจเรียนจากตัวอย่างได้ แต่ต้องเสียข้อมูลเท่าใดในการค้นพบ Ratio นี้ใหม่?

INTERACTTraining samples 100

MODEL A

Raw Input → Neural Network

ยืดหยุ่น แต่ต้องประมาณ division และ invariance จาก data

—

MODEL B

Input + Engineered Ratio → Simple Model

ใส่ relation ที่รู้แล้ว จึงใช้ sample น้อยกว่าใน simulation นี้

—

TAKEAWAY

คำถามที่ดีกว่า “เรียนได้ไหม” คือ “ต้องใช้ข้อมูลเท่าใดเพื่อ Rediscover สิ่งที่เรารู้อยู่แล้ว?” นี่คือมุมหนึ่งของ Sample Efficiency

RAW RECORDS VS RELATIONSHIPS

Transaction ทีละแถวไม่ใช่ Network

OBSERVE THE ROWS

A → B
B → C
C → D
D → A
B → D

มองทีละแถว คุณเห็น Cycle หรือ Community ชัดแค่ไหน?

EXPLAIN

MLP ที่รับ Record แยกกันไม่เห็น Topology นี้ ส่วน GNN ช่วยได้เพราะเราเปลี่ยน Representation เป็น Graph แล้ว การเปลี่ยน Architecture ไม่ได้ทำให้ Representation Design หายไป

DOMAIN KNOWLEDGE VS BRUTE FORCE

Feature นี้มาจาก X หรือมาจากที่อื่น?

เลือกสาขา

ลาก Feature ลงกล่องตามแหล่งกำเนิดของ Information แล้วกดตรวจคำตอบ

Derivable directly from X

Requires transformation

Requires another dataset

Requires domain theory

Requires external knowledge

PREDICTIVE MAINTENANCE

Raw, Engineered หรือ Hybrid?

RAW + DL

ยืดหยุ่น · อาจพบ pattern ใหม่

data hungry · compute สูง · shortcut risk

ENGINEERED

sample efficient · interpretable · prior knowledge

อาจทิ้งข้อมูลใหม่ · พึ่ง expert

HYBRID

raw signal + known features

เพิ่ม integration และ validation cost

THE MOST DANGEROUS CASE

Model เรียน Concept หรือ Background?

▲Class A

●Class B

Training accuracy98%

Training set ทำให้ Shape และ Background สัมพันธ์กับ Class พร้อมกัน

Test accuracy: 97%

OBSERVE

Deep Learning optimize Objective ที่เราให้ ไม่ได้ค้นพบ Explanation ที่เราตั้งใจโดยอัตโนมัติ

CORRELATION ≠ MECHANISM

Temperature ↑ และ Failure ↑ แปลว่าอะไร?

Workload

↘

Temperature

→

Failure

↖

Machine age

เลือกคำตอบ แล้วอธิบายว่าข้อมูล Observational เพียงพอหรือไม่

FEATURE ENGINEERING TAXONOMY

สิ่งที่ยากที่สุดอาจไม่ใช่สูตรที่ซับซ้อนที่สุด

Feature type	DL approximate?	Information in X?	Data requirement	Interpretability	Domain knowledge

INTERACTIVE CHALLENGE

Can Deep Learning learn this from the given input?

1 / 10Score 0

FINAL MENTAL MODEL

ก่อนใช้ Deep Learning ให้ถาม 5 คำถาม

Necessary information อยู่ใน X จริงหรือไม่?
Architecture represent ความสัมพันธ์ที่เกี่ยวข้องได้หรือไม่?
ต้องใช้ข้อมูลเท่าใดเพื่อเรียนสิ่งนั้น?
เรารู้ Domain Relationship ที่มีประโยชน์อยู่แล้วหรือไม่?
Model อาจสำเร็จด้วย Shortcut หรือไม่?

Raw Data+Domain Knowledge+Representation+Model+Validation= Machine Learning System

Raw Data + Big Neural Network ≠ Intelligence

Deep Learning is a powerful representation learner.
It is not an information generator.

อย่าถามเพียงว่า “Deep Learning เรียนสิ่งนี้ได้ไหม?” ให้ถามว่า Model มี Information อะไร เรากำลังใส่ Assumption อะไร และมันต้องเสีย Data เท่าใดเพื่อค้นพบสิ่งที่เรารู้อยู่แล้ว

Feature engineering is not merely preprocessing.
At its best, it is the process of injecting knowledge about the problem into its representation.

“Deep Learning learns features automatically.”

Raw Input → Neural Network

Input + Engineered Ratio → Simple Model

ก่อนใช้ Deep Learning ให้ถาม 5 คำถาม

Deep Learning is a powerful representation learner.It is not an information generator.

Deep Learning is a powerful representation learner.
It is not an information generator.