Nginx Virtual Hosts – Multiples sitios
diciembre 2, 2010 Publicado en Configuración, Escalabilidad, InfraEstructura con 2 Comentarios
En Apache es posible hacer que una unica instancia de la aplicación sirva, aloje, o responda por varios sitios web gracias a la directiva VirtualHost, en nginx es tambien posible hacer esto gracias a la directiva Server. En una entrada anterior, Instalación de nginx como servidor estático, les hable sobre el servidor estático nginx y como se instalaba, a continuación voy a mostrarles como configurarlo para que aloje varios sitios web a la vez de una manera ordenada al mejor estilo de apache.
Lo primero que debemos hacer es crear la carpeta donde almacenaramos los archivos de configuración para cada uno de nuestros sitios:
$ mkdir /etc/nginx/conf.d
creamos el archivo de configuración para nuestro primer sitio
$ vi /etc/nginx/conf.d/sitio1.conf
y lo editamos
server {
listen 192.168.1.1:80;
server_name www.dominio1.com;
access_log /var/log/dominio1/access.log main;
error_log /var/log/dominio1/error.log warn;
#SECCION PRINCIPAL
location / {
root /path/to/document/root/domain1;
index index.html index.htm;
}
error_page 404 /error.html;
}creamos el archivo de configuración para nuestro segundo2sitio
$ vi /etc/nginx/conf.d/sitio2.conf
y lo editamos
server {
listen 192.168.1.1:80;
server_name www.dominio2.com;
access_log /var/log/dominio2/access.log main;
error_log /var/log/dominio2/error.log warn;
#SECCION PRINCIPAL
location / {
root /path/to/document/root/domain2;
index index.html index.htm;
}
error_page 404 /error.html;
}En los archivos de configuración de los sitios la directiva Server es quien nos permite definir los diferentes sitios que queremos alojar en nginx, y el serverName es quien permitira distinguir a nginx a cual sitio el usuario quiere ingresar.
Ahora modificamos el archivo principal de configuración de nginx para indicarle donde debe buscar los archivos .conf que acabamos de crear, asi deberia verse el archivo principal
user nginxuser nginxgroup; worker_processes 4; worker_rlimit_nofile 10240; events { worker_connections 2048; } http { include mime.types; default_type application/octet-stream; server_name_in_redirect off; server_tokens off; include /etc/nginx/conf.d/*.conf; }
Ahora lo unico que necesitamos es crear un archivo index dentro de cada una de las carpetas de los dos sitios, reiniciar el servidor nginx y acceder por browser a nuestros dos sitios según lo definido en la directiva ServerName, si son sitios locales necesitaremos modificar nuestro archivos hosts
Tags: host, Http, nginx, server, ServerName, virtualhost, web, webserver
Instalar app ZendFramework en hosting compartido
noviembre 9, 2010 Publicado en Admin-tips, Configuración, InfraEstructura con 6 Comentarios
En este momento como proyecto personal me encuentro pasando una aplicación a ZendFramework, todo funciona 1A en mi maquina virtual, pero en el momento de subirlo a mi proveedor de hosting compartido se presentaron varios inconvenientes, a continuación les cuento como logre solucionarlos para instalar la app.
La estructura de mi aplicación en mi maquina local era la siguiente:
/projectname
/application
/controllers
/views
/models
/public
/ZendFramework
y tenia definido en mi virtualHost de apache el ambiente en el cual me encontraba, y el include del framework de Zend asi:
php_value include_path /home/ubuntu/ZendFramework/ZF-1.10.8/library:/home/ubuntu/projectname
SetEnv APPLICATION_ENV “development”
Claramente y como muchos de ustedes deben saber, no es posible hacer esto en un hosting compartido, no tenemos acceso al virtualHost del apache, por tal razon tuve que crear una carpeta “library” , copiar el framework de zend dentro de ella y modificar el archivo index.php dentro de public para que me tomara la carpeta library en el include asi:
set_include_path(implode(PATH_SEPARATOR, array(
realpath(APPLICATION_PATH . ‘/../library’),
realpath(APPLICATION_PATH . ‘/modules/admin/models’),
get_include_path(),
)));
Perfecto, asi ya funciona la aplicación, nuestro DocumentRoot apunta a nuestra cuenta y no a la carpeta /public como lo hariamos en una maquina local, entonces tendremos que acceder a nuestra aplicación especificando /public en la URl, lo cual no es muy elegante:
http://projectname/public
para solucionar esto, creamos un archivo .htaccess con las siguientes reglas y lo ubicaremos en el DocumentRoot :
#Definimos el ambiente de la APP para aplicar la configuracion de el application.ini
SetEnv APPLICATION_ENV production
#Habilitamos el mod_rewrite
RewriteEngine On
#Ignoramos este archivo, no aplicamos ninguna regla
RewriteRule ^\.htaccess$ – [F]
#Si el URI no tiene nada es decir si accedemos a /, hacemos un rewrite a /public/index.php
RewriteCond %{REQUEST_URI} =”"
RewriteRule ^.*$ /public/index.php [NC,L]
#Si el URI no empieza con /public, le adicionamos /public y hacemos el rewrite, de esta manera no necesitamos escribirlo
RewriteCond %{REQUEST_URI} !^/public/.*$
RewriteRule ^(.*)$ /public/$1
#Si el archivo existe fisicamente en el servidor no hacemos nada
RewriteCond %{REQUEST_FILENAME} -f
RewriteRule ^.*$ – [NC,L]
#Todo lo que venga /public/cualquiercosa lo redireccionamos al index.php para que el bootstrap haga su trabajo
RewriteRule ^public/.*$ /public/index.php [NC,L]
La estructura final es la siguiente:
/projectname
/application
/controllers
/views
/models
/public
/library
/ZendFramework
.htaccess
Y de esa manera queda completamente funcional nuestra aplicacion en un hosting compartido
Tags: app, application, godaddy, hosting, hosting compartido, htaccess, mod_rewrite, shared, shared hosting, web, webserver, ZendFramework
Instalación de Nginx como servidor estático
septiembre 27, 2010 Publicado en Admin-tips, Configuración, Escalabilidad, InfraEstructura con 31 Comentarios
En una entrada anterior hablamos sobre los origines y las bondades que tiene el servidor http Nginx, en esta ocasión vamos a instalarlo y a realizar una configuración basica del mismo.
Lo primero que debemos hacer es descargar la ultima versión del servidor Nginx aqui, y la ultima version de pcre(Perl Compatible Regular Expressions) aqui. Para este tutorial vamos a trabajar con las versiónes nginx-0.8.51.tar.gz y pcre-8.10.tar.gz. Adicionalmente vamos a instalar un modulo para nginx que nos permite manejar las cabeceras eTag, desarrollado por kkung, el cual se puede descargar aqui.
Instalando PCRE
Descomprimimos el paquete pcre-8.10.tar.gz e ingresamos a la carpeta generada, ejecutamos los comandos configure, make y make install
tar -zxvf pcre-8.10.tar.gz
cd pcre-8.10
./configure
make
make install
Si todo sale bien, ya tendremos instalado el paquete pcre en nuestro sistema y continuaremos instalando el servidor Nginx.
Instalando Nginx
Lo primero que debemos hacer es descomprimir el modulo de eTags para archivos estaticos y renombrar la carpeta por facilidad, simplemente con:
tar -zxvf kkung-nginx-static-etags-s20090317-3-gce0fdd4.tar.gz
mv kkung-nginx-static-etags-s20090317-3-gce0fdd4 nginx-static-etags
Descomprimimos el paquete nginx-0.8.51.tar.gz e ingresamos a la carpeta generada. Ejecutamos el comando configure incluyendo el paquete que acabamos de descomprimir, asi como la opción que nos permite tener estadisticas del servidor (server-status en apache), seguido de make y make install
tar -zxvf nginx-0.8.51.tar.gz
cd nginx-0.8.51
./configure –user=userowner –group=groupowner –with-http_stub_status_module –add-module=/instaladores/nginx/static-etags
make
make install
Nota: En caso en que al ejeuctar el comando “make” opbtengamos el siguiente error, lo unico que debemos hacer es entrar al archivo /instaladores/nginx-static-etags/ngx_http_static_etags_module.c y generar una linea vacia al final.
/instaladores/nginx-static-etags/ngx_http_static_etags_module.c:168:2: no newline at end of file
make[1]: *** [objs/addon/nginx-static-etags/ngx_http_static_etags_module.o] Error 1
make[1]: Leaving directory `/instaladores/nginx-0.8.51′
make: *** [build] Error 2
Hasta aqui ya tenemos instalado nuestro servidor nginx para HTTP el cual se encuentra en /usr/local/nginx, ahora vamos a realizar unas tareas administrativas para que sea mas sencillo configurar y trabajar con nginx.
Primero que todo vamos a configurar el sistema para que podamos acceder a la configuración del servidor nginx en /etc/nginx, para esto necesitamos crear dos links simbólicos de la siguiente manera:
ln -s /usr/local/nginx/conf/ /etc/nginx
ln -s /usr/local/nginx/sbin/nginx /usr/sbin/nginx
lo segundo, es que vamos a crear un script por medio del cual podemos subir y bajar el servidor nginx como cualquier otro servicio de linux, y lo alojaremos en /etc/init.d/, aca les dejo el script para que los descarguen nginx script inicio
Por último modificaremos el archivo de configuración para colocar un sitio de ejemplo, para esto debemos modificar el archivo /etc/nginx/nginx.conf para que quede de la siguiente manera:
user userowner groupowner;
worker_processes 1;events {
worker_connections 512;
}http {
include mime.types;
default_type application/octet-stream;log_format main ‘$remote_addr – $host $remote_user [$time_local] “$request” ‘
‘$status $body_bytes_sent “$http_referer” “$http_user_agent” “$gzip_ratio” “$http_x_forwarded_for” “$upstream_status”‘;
server {
listen 80;
server_name test.local;access_log /var/log/access.log main;
# [ debug | info | notice | warn | error | crit ]
error_log /var/log/error.log debug;etags on;
etag_hash on;
etag_hash_method md5;#SECCION PRINCIPAL
location / {
root /var/www/;
index index.html index.htm;
}#####NGINGX STATUS
location /nginx_status {
stub_status on;
access_log off;
allow all;
}
error_page 404 /error.html;
}
}
Una vez creado el archivo de configuración de nuestro sitio de prueba, subimos el servicio y listo, al acceder por un navegador podremos ver nuestro sitio funcionando.
/etc/init.d/nginx start
En una próxima entrada estare hablando de configuraciones y optimizaciones especificas para este servidor.
Tags: etag, nginx, pcre, proxy, reverse proxy, web, webserver
Los 4 secretos de escalabilidad en Facebook
junio 24, 2010 Publicado en Escalabilidad, InfraEstructura con 55 Comentarios
Aditya Agarwal, Director de Ingenieía de Facebook, dio una excelente conferencia acerca del escalamiento en Facebook que cubrio su arquitectura, pero la charla realmente fue más sobre como escalar una organizacion preservando lo mejor de su cultura. La clave de la conferencia es:
You can get the code right, you can get the products right, but you need to get the culture right first. If you don’t get the culture right then your company won’t scale.
Puedes tener el codigo bien, puedes tener los productos bien, pero necesitas tener bien la cultura primero. Si no tienes bien la cultura entonces la compañia no podrá escalar
Esto nos lleva a los 4 secretos de escalabilidad en Facebook:
- Escalamiento necesita Iteración
- No sobredimensione
- Escoja la mejor herramienta, pero tenga en cuenta que traerá consigo otras consideraciones
- Ajuste la cultura. Muevase rápido – rompa paradigmas. Alto Impacto – equipos pequeños. Sea valiente – innove.
Estas son algunas consideraciones antes de hablar sobre cada uno de los cuatro secretos en Facebook:
Facebook es muy grande
400 millones de usuarios actuvos; los usuarios utilizan facebook 20 minutos al dia en promedio; 5 billones de piezas de contenido (actualizaciones de estado, comentarios, gustos, carga de fotos, carga de videos, mensajes de chat, mensajes de correo, eventos, paginas de fans, conexiones de amigos) son compartidas en facebook cada semana; 3 billones de fotos cargadas cada mes; 250 aplicaciones que tienen mas de 1 millon de usuarios al mes; 80.000 conexiones de aplicacion, 500.000 aplicaciones; 2 millones de desarrolladores; 150 millones de operaciones por segundo en memcache; miles de servidores de memcache con decenas de Terabytes en memoria.
Facebook es dificil de escalar
Cada tipo de contenido tiene su propio patrón de acceso lo cual hace dificil el escalamiento. Todos usan Facebook de una manera diferente. Cada experiencia de usuario es unica. La mayoria de sitios web escalan de manera horizontal, porque su data puede ser particionada. En Facebook los usuarios no pueden ser particionados porque pueden unirse a cualquier red, Facebook es una red global que trata de cautivar a todo el mundo, permite a cualquiera ser amigo de cualquiera, y puede representar cualquier relación entre usuarios. cada usuario nuevo puede acceder los datos de cualquier otro usuario por lo tanto no se puede particionar geograficamente o por otra tipo de criterio. En promedio, cada usuario de Facebook tiene 130 amigos.
La arquitectura tiene 4 componentes principales
- Balanceador de Carga
- Servidores Web (PHP)
- Servicios (Buscador, publicidad, memcache,etc)
- Bases de Datos
Los 4 secretos de escalabilidad en Facebook
1. Escalamiento necesita Iteración. Las soluciones por lo general funcionan al principio, pero deben ser modificadas a medida que pasa el tiempo. Lo que funciona en el primer año, podria no funcionar despues. PHP, por ejemplo, es simple usarlo al principio, pero no es una buena elección cuando se tienen miles de webservers.
Otro ejemplo son las fotos, actualmente sirven 1.2 millones de fotos por segundo. La primera versión se creo de la manera facil, sin preocuparse ucho por como escalaba, simplemente enfocandose en que funcionara bien. El cargador almacenaba el archivo en un NFS y la meta-data en MySql, funciono bien los 3 primeros meses y causo muchas noches sin poder dormir, aun lo hace. El Time to market, o tiempo para salir al mercado fue la ventaja más competitiva que se tenia, tener la funcionalidad era más importante que si esta escalaba bien o no.
La segunda fase fue la optimización, se evidencio que las imagenes pequeñas son mas accesadas por lo cual se empezaron a almacenar en cache, además empezaron a usar un CDN, el servicio NFS no fue diseñado para almacenar 80 billones de pequeños archivos, asi que toda la meta-data no se ajustaba a la memoria, por lo cual eran necesarios 2 o 3 IOs a disco, lo cual era lento.
La tercera fase es un sistema que crea un archivo que es un BLOB almacenado en el sistema de archivos. Las imagenes son almacenadas en un BLOB y se conoce el offset de la foto en el BLOB para su recuperacion, esto se traduce en 1 IO por cada foto.
2. No sobredimensione. Unicamente utilice lo necesario a medida que va escalando. Descubra donde debe iterar en una solución, optimice o construya la solución usted mismo. Ellos dedicaron mucho tiempo tratando de optimizar PHP, terminaron escribiendo HipHop, un transformador de código que convierte PHP en C++, lo cual genero una cantidad masiva de ahorro en CPU y memoria. Esto no debe ser realizado en el dia 1, pero deberia, enfoquese primero en el producto antes de escribir un lengueaje nuevo por completo.
3. Escoja la mejor herramienta, pero tenga en cuenta que traerá consigo otras consideraciones. Si usted realmente necesita usar Python adelante, pero tenga en cuenta que tendrá su costo, usualmente en instalación, monitoreo, operación. Si usted decide usar una arquitectura basada en servicios, tendrá que construir la mayoria del backend usted mismo y eso toma tiempo, con LAMP por ejemplo tiene todo esto gratis. A medida que incursiona en el alcance por servicios, tendrá que reinventar la rueda.
4. Ajuste la cultura. Muevase rapido – rompa paradigmas. Alto Impacto – equipos pequeños. Sea valiente – innove. Construya un ambiente interno que promueva la construcción correcta de las funcionalidades y despues se optimicen segun sea necesario, sin preocuparse por la innovación, sin preocuparse por romper paradigmas, pensando en grande, pensando en que será lo siguiente en construir despues de este primer paso. Usted puede tener el codigo correcto, los productos correctos, pero si la cultura no es la apropiada no podrá escalar de manera eficiente.
- Muevase rápido. Sea el primero en el mercado, esta bien si rompe paradigmas. Por ejemplo, Facebook corre en una capa web compuesta en su totalidad por HipHop, el cual fue desarrollado por 3 personas. Muy arriesgado, esto llevo a que el sitio se cayera regularmente (Sin memoria, cilcos infinitos), pero al final la recompensa es que encontraron como hacer que funcionará. La alternativa era que se realizaran pruebas durante 3 meses, lo cual retrasaba todo el desarrollo. Este es un ejemplo puntual, pero lo más importante es la cultura, que la gente crea que lo más importante es que tan rápido se pueden mover en el mercado.
- Alto Impacto. Los equipos pequeños pueden hacer grandes cosas. Buscador, fotos, chat, HipHop, fueron desarrollados por pequeños equipos. Arme los equipos con la gente adecuada, empoderelos y dejelos trabajar.
- Sea Valiente. No le tema al fracaso, esta bien intentar cosas nuevas y fallar, puede ser descabellado decir “Vamos a hacer una nueva JVM”, pero la recompensa puede ser grandiosa cuando funciona.
En Facebook no hay dueños del producto, todos son dueños del producto. Dele a la gente apropiación de lo que hacen, si solo una persona obtiene el crédito, entonces nadie contribuira para llevar el producto al siguiente nivel. Las ideas vienen internamente de los usuarios y las personas, si la responsabilidad no esta distribuida y solo un número de personas siente que son parte del producto, entonces solo ellos serán suceptibles de ser motivados. Moverse rápido no es solo un deseable, las compañias deben encontrar maneras para que la gente sienta que es una realidad.
A continuación les dejo el link donde pueden ver el video completo de la conferencia :
http://www.infoq.com/presentations/Scale-at-Facebook
Tags: arquitectura, blob, C++, cdn, escalabilidad, Facebook, hackatons, HipHop, IO, LAMP, MySql, NFS, php, Python, scale, server, web, webserver
Nginx – web server y reverse proxy
junio 9, 2010 Publicado en Escalabilidad, InfraEstructura con 34 Comentarios
Nginx es un servidor web del estilo de lighttpd, donde su proposito principal es servir contenido estatico de manera rapida y eficiente, llegando a tener un desempeño superior al tradicional apache. Fue desarrollado especificamente para el sitio ruso rambler por Igor Sysoev hace ya mas de 5 años, si bien es relativamente nuevo comparado con sus similares, ha venido tomando fuerza y a hoy esta en el 4.7% de los sitios mas visitados.
Dentro de sus caracteristicas HTTP basicas ofrece:
- Servir archivos estaticos e index
- Autoindexado
- Proxy de reversa acelerado, con posibilidad de cache, balanceo de carga simple y tolerancia a fallas
- Soporte acelerado de servidores FastCGI remotos con cache, balanceo de carga simple y tolerancia a fallas
- Arquitectura modular. Filtros incluyendo gzipping, XSLT, SSI y redimensionamiento de imagenes
- Soporte SSL y TLS SNI
Caracteristicas HTTP adicionales:
- Virtual servers basados en Nombre y en Ip
- Soporte a conexiones persistentes
- Configuración flexible
- Reconfiguración y upgrade en linea sin necesidad de detener el servicio
- Definición de formatos personalizados para logs, escritura en log por lotes, rotación rapida de logs
- Redirección de errores con codigo 3xx-5xx
- Modulo de rewrite (comparado con el de apache tiene sus limitaciones)
- Control de acceso basado en la IP del cliente y autenticación basica HTTP
- Streaming de FLV
- Permite configurar limites de conexiones simultaneas o peticiones desde una dirección IP
- Tiene perl embebido
- Un proceso maestro y multiples procesos worker. Los procesos worker se ejecutan como usuario sin privilegios
- 10.000 conexiones HTTP inactivas consumen 2.5M de memoria
- Operaciones de copiado de datos se mantienen al minimo posible
Dentro de las plataformas donde se ha probado se encuentran:
- FreeBSD 3 — 8 / i386; FreeBSD 5 — 8 / amd64;
- Linux 2.2 — 2.6 / i386; Linux 2.6 / amd64;
- Solaris 9 / i386, sun4u; Solaris 10 / i386, amd64, sun4v;
- MacOS X / ppc, i386;
- Windows XP, Windows Server 2003.
En la proxima entrada describire como instalar y configurar Nginx para un sitio web dinamico.
Tags: apache, igor sysoev, nginx, proxy, rambler, reverse proxy, web, webserver
