义山所存散文极少，《李贺小传》却确实是经典飘逸之作。这篇人物传记别具一格，采用了古文简洁干净的文法，只选择一些逸闻奇事从侧面烘托，没有详细描述世人生平，整篇文正围绕了一个“奇”字。文章很短，但完全写出了有“诗鬼”之称的李贺之所以为“鬼”的一面，令人叹服。文末的感叹尤其有力：“呜呼！天苍苍而高也，上果有帝耶？帝果有苑圃宫阁之玩耶？苟信然，则天之高邈，帝之尊严，亦宜有人物文采愈此世者，何独眷眷于长吉而使其不寿耶？噫！又岂世所谓才而奇者，不独地上少，即天上亦不多耶？长吉生时二十七年，位不过奉礼太常，时人亦多拍摈毁斥之。又岂才而奇者，帝独重之，而人反不重耶？又岂人见会胜帝耶？”虽是悼叹李贺，也不难看出义山的自伤之感——若非如此，以义山写出“春蚕到死丝方尽，蜡炬成灰泪始干”之纤弱笔触，如何能成就这番惊风雨的气势？完全是想什么便写什么，无所谓学谁人之道，讳忌尴尬时事。另《别令狐拾遗书》和《与陶进士书》也是一反其诗歌写作深情绵邈之风，大有危苦激切、愤世嫉俗之意，甚至还带有厌世、悲伤的情绪。他有自己的操守和大节，所以终于在散文写作时不再隐晦，不平与愤怒随着淋漓的墨迹透过纸背，千百年流传于世间。

    义山擅写的，其实还是骈文。他师从令狐楚，很快就以骈文闻名。他的骈文挺拔而不纤弱、华藻而不淫荡，虽称四六而骈散兼行，托体较尊，有情韵之美。对仗工整用事精切这些对他来说自是容易，难得的是气韵自然，除了官场应付的文章外，出自内心情感需要所撰之文可称得上情意淡雅，语言流丽，真挚动人。一篇《祭小侄女寄寄文》，通篇全不用典，朴实无华，自然生动。哀伤深恸的口吻，使人仿佛看见一只温暖的大手抚上一个乖巧可爱孩子的头顶。把四六骈文适于吟诵的特点发挥到了极致，而又添加了掷地有声的清朗，全无一丝浮华。其中深情的表露，绝不下于韩愈的《祭十二郎文》。义山有一本名为《樊南四六》的骈体文集，名为四六，自然是多律化的骈文，而且具有明显的文体意味，是骈文体制进一步规范化、标准化，句式有固定的字数，韵律有平仄的相同，将柔和的美感加入骈文的严整。

    关于对骈文和散文的看法，他明确地在《樊南乙集序》里写道：“居门下时，敕定奏记，始通今体。后又两为秘省房中官，恣展古籍，往往咽喙于任、范、徐、庾之间。有请作文，或时得好对切事，声势物景，哀上浮壮，能感动人。十年京师寒且饿，人或目曰：韩文杜诗，彭阳章奏，樊南穷冻，人或知之。仲弟圣仆，特善古文，居会昌中，进士为第一二，常以今体规我，而未能为休。”充分肯定了古文，给予其很高评价，并阐明自己更喜写骈文。“哀上浮壮，能感动人”，更正说明他的骈文骈散兼行，得错综之美，富有情韵。但他也对古文家全面排斥骈文、一刻也不忘提倡“宗经明道”非常不满。那句前文里提到的“孔氏固圣矣，次山安在必其师之耶”大胆地对师圣明道提出非议，人固然不用为虚无的华丽作文，但如一味崇古也未必就更加高明，能反映出自己真实情感和意图才是最重要的——管它这些所谓圣贤、忌讳作甚？太过为某些非文学目的而刻意为文——这些目的反而成为了文学的桎梏，使其失去本真。有适合古体的文章，当然也有适合今体的文章，何必为目的所累？诗纯、文纯，这才是义山的追求。就是怀有这样的灵性，加上其对声律对仗的精通和气势的哀壮，义山的四六才得以在晚唐称雄。

    义山的散文既纠正了古文家们对骈文的全盘否定，也修整了骈文华而不实言之无物的缺点，较好地推动了中国古代散文理论和散文创作。他的理论与中唐复古运动古文家们理论的不同，从另一个方面展示了他身处晚唐时所必然产生的唯美主义思想。