That's What I Think

Si bien el tercer álbum de Lauper A Night to Remember (1989) obtuvo una recepción comercial positiva a nivel mundial, no logró convencer a la crítica musical, que lo llamó «descuidado» y consideró que las canciones estaban llenas de «clichés».^[1]​ En los años posteriores a A Night to Remember, la cantante participó en varios conciertos junto con otros artistas, como The Wall - Live in Berlin con Roger Waters, con quien interpretó el tema «Another Brick in the Wall».^[2]​ Además, fue parte del concierto tributo a John Lennon realizado en Liverpool.^[3]​ En 1991, protagonizó su segunda película Off and Running, en cuyo rodaje conoció al actor David Thornton, con quien se casó a finales del año.^[4]​ Un año más tarde colaboró para el musical Tycoon en la grabación de la canción «The World is Stone», la cual obtuvo un buen desempeño en varios países de Europa, especialmente en Francia, pues llegó al segundo puesto de la lista Syndicat National de l'Édition Phonographique (SNEP).^[5]​ Todos estos años y eventos ocurridos le sirvieron para revaluar su carrera y la nueva dirección que deseaba tomar. Sobre su nuevo proyecto, Lauper recordó:

Luego de casarme con David, decidimos olvidar los problemas y nos fuimos al Cabo durante un mes. Solo quería sentirme viva. Tenía que volver a encontrar el sentido de por qué había empezado a cantar. ¿Por qué me convertí en artista?, ¿cuál fue mi historia? Iba a escribir un libro, pero supongo que el momento no era el adecuado, así que dije: «Está bien, no puedes escribir un libro pero puedes escribir tu historia en canciones. Así que hazlo».^[6]​

Mike DeGagne del sitio web AllMusic dijo que canciones como "That's What I Tink", o "Make for the most promising", son las más prometedoras" de los 11 cortes del álbum Hat Full of Stars . Larry Flick de Billboard escribió: "Con este mezclador pop con inyección de funk , Lauper ofrece lo que puede ser su sencillo más accesible y encantador en mucho tiempo". Añadió: "Una voz ronca está enmarcada por guitarras que se retuercen y cuernos florecientes, que se filtran en una línea de bajo pulcra y musculosa. Y el lindo coro es un canto divertido".  Mark Millan de The Daily Vault lo calificó como una muy buena canción y un "comentario social contundente si alguna vez hubo uno".James Masterton lo felicitó como una "pista inteligentemente construida" en su comentario semanal sobre las listas del Reino Unido.  Holly George Warren de Rolling Stone notó el "sonido gutural" de Lauper.