Anas b. Malik is reported to have said:

I observed four rak'ahs in the noon prayer with the Messenger of Allah (ﷺ) at Medina, and said two rak'ahs in the afternoon prayer at Dhu'l-Hulaifa.

حَدَّثَنَا سَعِيدُ بْنُ مَنْصُورٍ، حَدَّثَنَا سُفْيَانُ، حَدَّثَنَا مُحَمَّدُ بْنُ الْمُنْكَدِرِ، وَإِبْرَاهِيمُ بْنُ مَيْسَرَةَ، سَمِعَا أَنَسَ بْنَ مَالِكٍ، يَقُولُ صَلَّيْتُ مَعَ رَسُولِ اللَّهِ صلى الله عليه وسلم الظُّهْرَ بِالْمَدِينَةِ أَرْبَعًا وَصَلَّيْتُ مَعَهُ الْعَصْرَ بِذِي الْحُلَيْفَةِ رَكْعَتَيْنِ ‏.‏