Creo que muchas de las otras respuestas aquí apuntan a buenos libros para física y educación física básica.
Mi recomendación es que leas Relativity, Special and General Theory of Relativity de Albert Einstein, se puede descargar de forma gratuita en iBooks. Esta versión tiene muy pocas ventajas matemáticas y es muy buena para explicar el proceso de pensamiento y el razonamiento que llevaron a Albert Einstein a derivar ambas teorías.
Me resultó muy esclarecedor tratar de seguir el razonamiento y comprenderlo en su mayor parte, aunque entenderlo todo de una vez se vuelve mucho más difícil. Aun así, darse cuenta de que gran parte de lo que se deriva aquí proviene del razonamiento y solo se hacen pocas referencias a otras investigaciones y los resultados anteriores son realmente impresionantes, y algo de lo que podemos aprender.
Si comprende esto, pruebe la versión con las matemáticas. Disfrutar.