Ce que vous souhaitez faire, c'est renvoyer le texte à la ligne dans la cellule actuelle. Vous pouvez le faire manuellement en appuyant sur Alt + Entrée chaque fois que vous souhaitez une nouvelle ligne.
Ou bien, vous pouvez définir cela comme comportement par défaut en cliquant sur Renvoyer à la ligne automatiquement dans l'onglet Accueil du Ruban. Désormais, chaque fois que vous appuierez sur Entrée, le texte sera automatiquement renvoyé à la ligne plutôt que dans une nouvelle cellule.