“With A Hammer” blev komponeret over en toårig periode i New York, Seoul og London, påbegyndt kort efter udgivelsen af ​​“What We Drew” og under nedlukningerne under coronaviruspandemien. Det er en dagbogsagtig ode til selvudforskning; følelsen af ​​at konfrontere sine egne følelser og den transformation, der er mulig, når vi er modige nok til at gøre det. I dette tilfælde undersøger Yaeji sit forhold til vrede. Det er et afvigelse fra hendes tidligere arbejde, der blander elementer af triphop og rock med sin velkendte house-inspirerede stil og beskæftiger sig med mørkere, mere selvreflekterende lyriske temaer, både på engelsk og koreansk. Yaeji bruger også live-instrumentering for første gang på dette album – hun væver et patchwork-ensemble af livemusikere ind og inkorporerer sit eget guitarspil. “With A Hammer” indeholder elektroniske producere og tætte samarbejdspartnere K Wata og Enayet samt gæstevokal fra Londons Loraine James og Baltimores Nourished by Time.