Realizando la idealidad

Hace un tiempo tuve que modificar un programa que recibía muchos datos y los iba insertando en la base de datos, lo cual constituía un cuello de botella por la gran cantidad de inserciones realizadas, con lo cual se nos ocurrió agrupar en bloques esas inserciones y realizarlas por lotes, cada cierto tiempo, de forma transaccional. Este fue el resultado, por si a alguien le interesa:

SqlConnection connection = null;
int ret = 1;
try
{
//Nos conectamos a la BD
connection = new SqlConnection(ConsultasBd.ConnString);

//Insertamos en nuestro dataTable los valores que posteriormente vamos a volcar de golpe
dtHistoricos.Rows.Add(new object[] { dtHistoricos.Rows.Count, eq.IdVehiculo, pos.EstadoNavegacion, pos.PrecisionPos, pos.Latitud, pos.Longitud, pos.Heading, pos.VelocidadGiro, pos.SOG, pos.COG, pos.Fecha, pos.IDMensaje, pos.IDEstacionBase, eq.IdDestino });

//hacemos lotes cada ‘numregistros’ filas
if (dtHistoricos.Rows.Count > numregistros)
{
//vamos a volcar a la base de datos un lote:
//conectamos y activamos los triggers que se vean afectados por la inserción masiva
SqlBulkCopy bcp = new SqlBulkCopy(ConsultasBd.ConnString, SqlBulkCopyOptions.FireTriggers);

//el tamaño del lote será de ‘batch’
bcp.BatchSize = batch;
//bcp.NotifyAfter = numRegistros;
bcp.DestinationTableName = “PNC_HIS_AISPosiciones”;
//bcp.SqlRowsCopied += new SqlRowsCopiedEventHandler(OnSqlRowsCopied);

// Realizo la copia masiva
if (connection.State == ConnectionState.Closed)
connection.Open();

//volcamos a la base de datos el lote completito
bcp.WriteToServer(dtHistoricos);
dtHistoricos.Rows.Clear();
}
}
catch (Exception e)
{
//Escribir información en fichero de log
Log.Write(e.Message + ” en: ” + e.StackTrace, true);
ret = -1;
dtHistoricos.Rows.Clear();
}
finally
{
connection.Close();
}

————————————————————

Donde la función que crea la estructura del DataTable es:

————————————————————

private static DataTable crearTablaHistoricos()
{
//Crea la estructura de un DataTable con la de la tabla PNC_HIS_AISPosiciones

DataTable dt = new DataTable();
DataColumn dc;
try
{
dc = new DataColumn();
dc.DataType = System.Type.GetType(“System.Int32″);
dc.ColumnName = “iIdPosicion”;
dc.Unique = true;
dt.Columns.Add(dc);

dc = new DataColumn();
dc.DataType = System.Type.GetType(“System.Int32″);
dc.ColumnName = “iIdVehiculo”;
dc.Unique = false;
dt.Columns.Add(dc);

dc = new DataColumn();
dc.DataType = System.Type.GetType(“System.Int32″);
dc.ColumnName = “iEstadoNavegacion”;
dc.Unique = false;
dt.Columns.Add(dc);

dc = new DataColumn();
dc.DataType = System.Type.GetType(“System.Boolean”);
dc.ColumnName = “bPrecisionPosicion”;
dc.Unique = false;
dt.Columns.Add(dc);

dc = new DataColumn();
dc.DataType = System.Type.GetType(“System.Double”);
dc.ColumnName = “dLatitud”;
dc.Unique = false;
dt.Columns.Add(dc);

dc = new DataColumn();
dc.DataType = System.Type.GetType(“System.Double”);
dc.ColumnName = “dLongitud”;
dc.Unique = false;
dt.Columns.Add(dc);

dc = new DataColumn();
dc.DataType = System.Type.GetType(“System.Int32″);
dc.ColumnName = “iTrueHeading”;
dc.Unique = false;
dt.Columns.Add(dc);

dc = new DataColumn();
dc.DataType = System.Type.GetType(“System.Int32″);
dc.ColumnName = “iVelocidadGiro”;
dc.Unique = false;
dt.Columns.Add(dc);

dc = new DataColumn();
dc.DataType = System.Type.GetType(“System.Int32″);
dc.ColumnName = “iSOG”;
dc.Unique = false;
dt.Columns.Add(dc);

dc = new DataColumn();
dc.DataType = System.Type.GetType(“System.Int32″);
dc.ColumnName = “iCOG”;
dc.Unique = false;
dt.Columns.Add(dc);

dc = new DataColumn();
dc.DataType = System.Type.GetType(“System.DateTime”);
dc.ColumnName = “dtFecha”;
dc.Unique = false;
dt.Columns.Add(dc);

dc = new DataColumn();
dc.DataType = System.Type.GetType(“System.Int32″);
dc.ColumnName = “iIdMensaje”;
dc.Unique = false;
dt.Columns.Add(dc);

dc = new DataColumn();
dc.DataType = System.Type.GetType(“System.Int32″);
dc.ColumnName = “iIdBase”;
dc.Unique = false;
dt.Columns.Add(dc);

dc = new DataColumn();
dc.DataType = System.Type.GetType(“System.Int32″);
dc.ColumnName = “iIdDestino”;
dc.Unique = false;
dt.Columns.Add(dc);
//retornamos el datatable creado
return dt;
}
catch (Exception eo)
{
Log.Write(“Ocurrió un error al crear la ESTRUCTURA del DataTable para la inserción masiva. Error “+eo.Message+” Traza: “+eo.StackTrace,true);
return null;
}
}

Las líneas comentadas no son necesarias. Tal cual está escrito el código se va construyendo un DataTable con los datos que se van recibiendo, y cuando esta estructura de datos alcanza cierto tamaño, se vuelca su contenido en la base de datos.

Hace escasos días tuve que configurar un RAID 1 en un servidor HP Proliant DL140, con 1,60GHz Quad-Core (es decir, cuatro núcleos), 2GB de Memoria RAM, ampliables a 16GB de RAM, y dos discos duros de 80Gb que reemplazamos por dos discos de 500Gb. Al principio tuvimos problemas porque pensamos que faltaba el dispositivo hardware que conectaba la placa base a los discos para controlar los accesos a los mismos. Descargamos de la página de HP unos drivers para configurar un “array” en Windows pero al ejecutar dicha aplicación no encontraba los controladores adecuados, con lo cual la situación se puso peliaguda.

Después de dar unas vueltas más a la página de HP y consultar en internet, dimos con la opción adecuada a manipular en la BIOS. Esta opción, en una BIOS Phoenix se encuentra en la solapa Avanzadas>>Parallel SATA, que aparece como “Combined“; hay que cambiarla a “Enhanced“. Hecho esto aparece una opción para configurar como RAID, que pondremos a “Enabled“. Para otras versiones de la BIOS, consultad esta página: http://www.trucoswindows.com/tutoriales/tutorial.php/tutorial/3, donde se explica cómo configurar un RAID 0.

NOTA: Fuera de este tema, es importante marcar la opción del servidor que permite que éste se reinicie automáticamente tras una caída del sistema.

Una vez guardados estos cambios, reiniciamos el ordenador y aparece una nueva ventana para configurar el RAID; pulsando F8 en el caso del servidor que nos ocupa. Aparece una pantalla similar a la BIOS donde, en primer lugar, seleccionaremos las unidades que van a formar parte del RAID, guardaremos tal configuración, después seleccionaremos “Add Array”, indicando ambos discos, guardamos y al final le daremos un nombre al RAID y seleccionaremos si va a ser un RAID 0 o un RAID 1 (Mirror). Hecho esto, reiniciamos y cuando se cargan los drivers y testean los dispositivos aparece la configuración de ambos discos como RAID. Ahora, para instalar nuestro sistema operativo (vamos a suponer que es un Windows 2003 Server) necesitamos incluir, en el CD del S.O., los drivers correspondientes a la configuración RAID del equipo, que se encontrarán en el CD adjunto con la máquina (siempre y cuando ésta permita RAID, claro). Para ello copiamos todo el contenido del CD del S.O. a una carpeta local de un ordenador auxiliar que tengamos a mano, y copiamos los susodichos drivers en tal carpeta local.

Creamos una imagen ISO con estos ficheros y la grabamos en un CD que etiquetaremos como “S.O XXXX Configuración RAID X”. Para hacer un CD de Windows personalizado existe un programa muy útil llamado NLite (http://www.nliteos.com/). Para crear imágenes ISO podemos utilizar Nero, Alcohol120% o cualquier otro programa que permita esto. Yo lo hice con CDBurner, que a diferencia de otros, es gratuíto y bastante potente (http://cdburnerxp.se/). A continuación procederemos a encender de nuevo nuestra máquina objetivo con el CD insertado. Esto se hace para que cuando el S.O. acceda a la controladora de disco y le diga quién es, Windows encuentre los drivers específicos en el propio CD inmediatamente, y no falle. Así, hecho esto, cuando arranque nuestro Windows 2003 Server y vaya a formatear, solamente verá un disco de 500Gb (configuración RAID 1 o Mirror: redundancia en ambos discos, que tienen los mismos datos, de manera que si uno se rompe el sistema puede funcionar perfectamente con el otro sin que el usuario se entere); si hubiéramos configurado un RAID 0 (virtualiza ambos discos duros como si fuera uno solo en una sola partición) nos aparecería un espacio de 1Tb.

Constatada esta información, podemos proseguir con la instalación del S.O. sin ningún problema. Éste nunca sabrá si había dos discos y su espacio de direcciones real, solamente sabe esto la controladora de disco, que realizará las operaciones oportunas según la configuración RAID almacenada en ella, a la hora de realizar lecturas o escrituras.
Espero que, aunque aquí he tratado un servidor muy concreto y dos tipos de RAID muy concretas, en algo haya ayudado a algún despistadillo que haya tenido problemas como yo; salvando, como digo, las diferencias de configuración RAID y máquina objetivo.

———————————————————————————————————————————

Fuentes y sitios útiles:

Tutorial para configurar RAID 0: http://www.trucoswindows.com/tutoriales/tutorial.php/tutorial/3
Sitio oficial de NLite: http://www.nliteos.com/
Sitio oficial de CDBurnerXP: http://cdburnerxp.se/