Para instalar o Apache:
apt-get install apache2
MySQL (servidor e cliente):
apt-get install mysql-server mysql-client
PHP (e as bibliotecas para conectar o PHP ao Apache e MySQL):
sudo apt-get install php5 libapache2-mod-php5 php5-mysql
Alternativamente, você pode instalar o Apache, PHP e MySql em um único comando:
sudo apt-get install apache2 mysql-server mysql-client php5 libapache2-mod-php5 php5-mysql
Para que você publique seus arquivos no diretório public_html dentro do seu home, habilite o módulo userdir do apache da seguinte maneira:
sudo a2enmod userdir
Entretanto, é necessário editar o arquivo php5 para que possamos executar PHP dentro do nosso home.
sudo vi /etc/apache2/mods-available/php5.conf
Assim, comente as linhas abaixo no arquivo php5.conf:
#<IfModule mod_userdir.c>
#<Directory /home/*/public_html>
#php_admin_value engine Off
#</Directory>
#</IfModule>
Reinicie o apache para que as configurações sejam aplicadas:
sudo /etc/init.d/apache2 restart
Agora, os arquivos que você colocar no diretório public_html dentro do seu home estarão disponíveis em http://host/~seuUsuário. Lembre-se de que para executar na sua máquina localmente o host será localhost ou 127.0.0.1
Veja um vídeo com instruções básicas de como realizar a instalação no Ubuntu:
Notas sobre Tecnologia 
[…] você deseja utilizar o framework Yii e fez a instalação padrão do PHP, Apache e MySQL, por meio do apt, notará que algumas dependências são necessárias para rodar o Yii. Assim, […]