Правильно ли я понимаю, что если медиа трафик направляется между клиентами напрямую, то астериску все равно какие клиентами используются кодеки и он не участвует кодировании голоса?
Не совсем. Астериск не будет участвовать в кодировании, но он должен понимать о форматах этих кодеков. Скажем если клиент предлагает кодек Silk, то ваш Астериск скорее всего ничего не будет знать о нём, и инвайт второму клиенту от Астериска не будет содержать SDP maudio
И если приглашать абонентов в разговор, т.е. организовывать конференцию средствами клиента, то тоже без разницы какие используются клиентами кодеки?
Совсем не так. Конференция строится обычно по принципу смешивания входящих в один звуковой стрим, обычно на спецподсистеме - MCU
Так вот этот микшер очень точно должен знать про все входящие кодеки, ибо ему надо их распаковать, смешать в один, и оправлять назад смесь уже закодированной кодеком.