Според Евангелието Яков заедно с баща си и брат си е бил рибар. В Евангелието от Матея и Марко се разказва за живота на двамата братя-апостоли.
В Евангелията, братята Яков и Йоан се наричат синове Зеведееви по името на техния баща Зеведей, а също така според евангелист Марко, Иисус наричал братята Воанергес (в превод: синове на гърма), очевидно заради силния и поривист характер.
В литературата Яков Зеведеев често е наричан и Яков Стари, за да го отличат от апостол Яков Алфеев, който от своя страна е наричан Яков Млади.
Яков е споменат в списъка на апостолите в Евангелието от Матей, в Евангелието от Марко, в Евангелието от Лука, а също и в Деяния на светите апостоли.
Свети Яков заедно с брат си и апостол Петър са най-приближените ученици на Иисус Христос. Заедно с Петър и Йоан той е свидетел на възкресението на дъщерята на Яир. Само тримата са свидетели на Преображенето Господне.
След Възкресението и Възнесението Господне Яков се появява на страниците на Деяния Апостолови. Той заедно с другите апостоли е изпълнен със Светия Дух в деня на Петдесетница, и участва в устройството на първите християнски общини. В Деянията се съобщава за неговата смърт, според които цар Ирод Агрипа„ убил Якова, брата на Йоан, с меч“. Следвайки текста по-нататък, това се е случило през 44 г.
Апостол Яков е единственият апостол, чиято смърт е описана на страниците на Новия Завет.
