1934年10月，中央红军开始长征。谢觉哉和一些老同志被安排在中央直属队随军长征。

长征路上，前有围堵，后有追兵，天上还有飞机肆虐，加上饥寒交迫，行军十分困难。红军不但要行军作战，而且要筹粮筹款，其艰难程度可想而知。谢觉哉当时已是50岁的人了，但他从不要特殊照顾。组织上分配他一匹马，他经常让给伤病员骑，自己和战士们同甘共苦，一道跋山涉水。他说:“这样做,心里才踏实。”

谢觉哉本就体弱多病，而长征路上环境又特别艰苦，患病是常态。有一天，已行军80多里，眼看快要到达宿营地。一路行军的钱希钧见谢觉哉坐在路旁，脸色憔悴，便问他哪里不舒服，他说:“这两天受了寒，两腿无力，歇一会再走。”钱希钧摸了摸他的头，发现他正在发高烧，便要去请医生。谢觉哉连忙阻止说:“不要去，药非常紧张.要留给重病号和伤员同志用，我这点小病算不了什么，歇一会就会好的。”

1935年1月中旬，红军到达遵义，中央政治局召开了遵义会议。当时毛泽东他们在楼上开会，谢觉哉在楼下的一间房子里打摆子。但当听说会议确立了毛泽东在党和红军中的领导地位时，谢觉哉顿时精神振奋，不顾病魔缠身，以惊人的毅力爬起来又坚持行军。

红军过草地时，给养更加困难，没有米和面，更没有油盐，有时连找野草充饥都很费劲。而青棵，已算是最好的粮食了。但青棵不磨成粉是难以下咽的。在红军路过的一些地方，由于反动派造谣，群众不了解红军，把家里的磨子藏起来，红军在沿途有时难以到磨子。水煮的青棵，对年迈的谢觉哉而言，咽不下，也难消化。他只得把自己分的那份领回后炒熟焙干，边行军，边慢慢咀嚼。由于营养跟不上，谢觉哉的身体一天比一天差。

红军到达阿西后，一天，谢觉哉高兴地找到曾三,递给他一个小包。曾三把小包打开一看，里面是一小块牛肉。曾三忙问这牛肉是哪里弄来的?谢觉哉道:“这是毛主席送的。毛主席说我身体虚弱，给我补补身体，而他自己又累又瘦了咧!他身上的担子加重了，更需要补养啊!开始我不要，毛主席硬要送给我。”

曾三听后说:“你身体不好，补补身体也是应该的。”谢觉哉听后对曾三说:“我需要补一补，看你，也需要补补啊!来，曾三同志，在你这里煮熟，我们分享吧!”在那艰苦的岁月，一小块牛肉，毛主席送给谢觉哉，谢觉哉又硬要与战友共享，他们首先想到的都是别人。

一次行军中，谢觉哉又病了。只见他脸色苍白地坐在路旁，眼睛微闭，随队行医生见此情况非常着急，先给谢觉哉吃了点药，然后想给他喂点干粮。结果医师发现他的干粮袋圆鼓鼓的，不禁大吃一惊。原来，分给他的那点有限的口粮基本上未动。行军的同志说:“谢老在行军中，经常忍饥挨饿，吃草根树皮充饥。分给他的那点口粮老是舍不得吃，他背着口粮行军，饿着肚子走路。他说要把节约下来的粮食，在最困难的时候给伤病员和战士们吃。”

不久后的一天，行军途中，突然下起了倾盆大雨，大家身上被雨淋得湿透，而四处又无人烟，大家又饿又冷。见此情况，谢觉哉连忙把自己平时节约下来的干粮，全部拿出来分给伤病员吃。大家望着年迈体弱的谢觉哉，谁都推让不吃。谢觉哉着急地说:“现在还推么子啰!‘动口三分力’，快吃吧!”

长征途中，不仅充满艰难困苦，而且随时有着牺牲的危险。但谢觉哉具有坚定的共产主义信念和充满高度的革命乐观主义精神。在茫茫的草地上，每当夜幕降临，谢觉哉就与战友们谈笑风生。有天晚上，为了鼓舞大家的士气，他有声有色地讲述了李自成的故事。他说:“李自成领导农民起义，有几次都几乎全军覆灭，但李自成和他的农民兄弟们，坚定信念，敢于斗争，克服困难，几次拉起队伍继续奋战，最后终于打进了北京城，吓得崇祯皇帝一个人仓皇逃到煤山，在一棵树上上吊自杀了。”

1935年1月，谢觉哉历尽千辛万苦，胜利到达陕北。谢觉哉在回忆长征时说:“我是幸运地参加了长征的人，现在回想起来，有很多事值得回味，但回味的已不是苦而是甜。”