¿Cuál es el procedimiento para publicar un artículo sobre teoría de números en una revista matemática internacional?

Creo que es un procedimiento de tres pasos, donde cada paso en sí es importante en sí mismo.
1) Encuentra el tema de interés en la teoría de números. Investigue sobre el tema elegido y produzca algunos resultados sin pulir. El tema de interés debería ser tal que debería ser de interés de al menos un pequeño grupo de audiencia. Los resultados deben tener una base sólida y tal vez una prueba formal.

2) Encuentre la revista relevante que acepta manuscritos sobre teoría de números. Antes de enviar, uno debe verificar cuidadosamente el estado de la revista, y debe tratar de enviar documentos a las revistas respetables.

3) Según las revisiones del artículo, se acepta o se rechaza. En ambos casos, mejore el documento según lo sugerido por los revisores. Si el papel es rechazado, no pierda la esperanza, es parte de la investigación. ¡Mejore el papel y envíe de nuevo!

Sí, Suyash lo explicó bien. Para comenzar, uno necesita tener una idea clara dentro de la teoría de números. Entonces se debe realizar un trabajo sustancial dentro de él, preferiblemente con la ayuda de un profesor experimentado. Cuando tenga un resultado único y, al consultar con ese profesor, sienta que es lo suficientemente bueno como para ser publicado, entonces comience a buscar revistas de matemáticas adecuadas. Por lo general, el profesor podría ayudarlo con algunas buenas recomendaciones y enviar el documento en el formato prescrito.

Para más lea esto:
Consejos para matemáticos aficionados.
Cómo escribir su primer artículo – American Mathematical Society: página en ams.org