Hace 7 años | Por Wayfarer a motherboard.vice.com
Publicado hace 7 años por Wayfarer a motherboard.vice.com

El centro de datos principal del banco ING en Bucarest, Rumania, resultó seriamente dañado el sábado durante una prueba del sistema de extinción de incendios. En lo que es un fenómeno muy raro pero conocido, fue el fuerte sonido del gas inerte siendo liberado lo que destruyó decenas de unidades de disco duro. Las vibraciones producidas por el intenso ruido (se midieron más de 130dB) provocaron que los discos duros fallaran, afectando varios servidores y sistemas de almacenamiento.

Comentarios

Shotokax

#4 si no aguantan eso es que no son de verdadero metal.

Wayfarer

#6 Te veo INGspirado...

braisf87

#6 #7 lol

r

#7 #6 voto positivo porque la conversación has sido INGpresionante

D

#24 No viene a cuento, es malo y lo has contado mal.

Premio al tonto del día.

p

#63 Que lo cuente@sacreew, que es experto en cochinadas lol

born

#c-68" class="content-link" style="color: rgb(227, 86, 20)" data-toggle="popover" data-popover-type="comment" data-popover-url="/tooltip/comment/2670530/order/68">#68 #6 #7 #9 # 34 Festival del humor

Acido

#7 #6 Pues yo pensaba que ING era IGNífugo

ElPerroDeLosCinco

#6 ¡Por favor PARA!
lol lol lol

Arariel

#6 Me duele mi hernia INGuinal de la risa.

D

#5 y no podías haber puesto el último (ENG)

mierdeame

#11 Sin picar en el link sé qué video es lol

ruinanamas

#11 El hombre que le susurraba a los discos duros. Por cierto, que locura trabajar con tanto ruido de fondo.

kucho

#11 impresionante, dan ganas de probarlo...

Xtrem3

#11 Me imagino un jueves por la tarde ahí "¿qué miras disco duro? ¿QUÉ COJONES MIRAS PUTO CABRÓN? QUIERO IRME A CASA JODEEEEEEEER Coño, ¿qué es esto?"
Si no no entiendo como alguien se da cuenta de eso lol

D

Con la de cobre que tiene que haber allí, el ruido sería de alguna sierra.

D

#9 ¿Rumanía, cobre?

D

#9 Ostras qué humor!!!

EdmundoDantes

#23 De eso estaba hablando, del precio. Un banco tiene bastante más de 4 Tb de datos, y además tiene que replicarlos para cuando pasen cosas como la del artículo

vet

#0 "durante diez horas" sería una traducción mucho más adecuad para el titular
"el gas inerte siendo liberado" no; más bien, "el gas inerte al ser liberado"

Y bueno, alguna cosilla más sin importancia que puede deberse a una redacción rápida.

b

#23 Una empresa no los compra en Amazon. Oracle, por ejemplo, te vende los SSD a unos 10000€ (4 ceros) cada uno, precio de lista.

b

#31 Qué yo sepa no hay ningún impedimento para hacer algo así, pero a un precio prohibitivo. Sale más rentable replicar el almacenamiento en discos convencionales en otro sitio y tener de paso, redundancia geográfica.

Stash

#33 Muchas veces eso implica un salto tecnológico importante.
La redundancia geográfica sale a cojón de pato suizo, pero donde se establece que vale más tenerlo que perderlo, se invierte. No es prohibitivo si tu negocio es muy grande pero encaja en un par de CPDs.

Los discos SSD Datacenter Grade han caído mucho de precio y han subido mucho de capacidad. En función del servicio se puede usar estos, o mecánicos de toda la vida.

b

#36 No conozco ING en concreto, pero en general los bancos tienen ya redundancia geográfica. Lo de ING Rumanía es raro por eso.
No veo rentable aún el tema de los SSD. Yo los he utilizado en algúnos proyectos cuando había elevados requerimientos de velocidad, nada más.

Edito: Raro lo de Rumanía no es en realidad, no es la primera vez que veo, sobre todo en pasises del este, toda una infraestructura sin redundar

Stash

#40 Te doy toda la razón. Hablamos de entidades financieras con presupuestos casi ilimitados en IT.
Son los primeros que cada segundo de operación es un montón de pasta entrando por la puerta.
Cada segundo parados es un montón de pasta perdiéndose.

En SSD yo aún no he puesto ninguno. Los he presupuestado a algún cliente (ahora trabajo con Pymes y el cuento cambia muchísimo) pero en el propio presupuesto recomendamos discos mecánicos de momento porque no aprovecharían la velocidad de los SSD para el destino del server.

#38 No te podría decir. Cada CPD y cada cliente es un mundo.
No he tocado banca así que tiro el comodín del público.

EdmundoDantes

#31 Una pregunta por curiosidad, que veo que tú sí sabes del tema. Aproximadamente ¿de qué volumen de datos estamos hablando en un caso como el del artículo?

b

#38 Conozco la banca por encima, algunos compañeros sí que hacen proyectos para ella pero yo me dedico a otro sector. Pero supongo que andará por varios cientos de teras. Ahora con esto del BigData lo almacenan todo.

EdmundoDantes

#80 La verdad es que para los que lo más grande que almacenamos es una película, es difícil imaginar cómo se pueden llenar cientos de teras a base de tan solo texto. Si te paras a pensarlo, la cantidad de información tuya que hay por ahí flotando da un poco de miedo.

limondelcaribe

Acabáramos! Entonces ya se el motivo de que ayer noche la App se volviese loca : "sin conexión a Internet" me decía...

Gracias por la noticia #0

D

#26 Arreglado, aunque mi voto es flojito : )

demostenes

No hay problema. Tenian un backup de todas las cuentas en uploaded.net

m

No te olvides de poner el HDD OFF en el FIRE-GAS ON.

r

Una pena que los servidores de la aplicación de la nueva interfaz no estuvieran ahí y se hubieran perdido...

MrLon

Mención especial para el IT crowd, tardar 10hs en poner online el disaster recovery merece un aplauso y que rueden cabezas.

TetraFreak

#12 Comprobaron si estaba enchufado. Y luego apagaron y volvieron a encender.

Ioancf

#47 > Normalmente se tiene en países distintos

con lo lento que va el Internet en otros sitios

D

#47

Hay grados para el disaster recovery, depende de lo que quieras proteger.

Lo puede poner en otra habitación, en otro edificio, en otra ciudad, en otro país .... según vas hacia la derecha, más caro. Y eso de que se ponen en países distintos ... ni de coña. Eso lo hace gente con mucha pasta. Y algunos con mucha pasta, ni tiene DR.

redscare

#91 Si lo pones en la misma ciudad (y no digamos ya en habitación de al lado) eso es sistema redundante o de backup, pero no disaster recovery, no me jodas, que no te aguanta ni que se vaya la luz una semana lol Se supone que disaster recovery es para casos de terremotos, incendios, inundaciones, tornados, etc. Cosas que pueden afectar a un área bien gorda. No vale pa na ponerlo en la misma ciudad. Por ejemplo donde estoy ahora currando tienen tanto los sistemas principales como el disaster recovery en Alemania, pero a 300Km o asi uno del otro. Y luego backup de datos también en USA (pero eso si que tardarían días en ponerlo a funcionar).

D

#100

Vamos a ver. Que se me queme un edificio es un desastre, y puedo tener el respaldo en el edificio de al lado. Que se me inunde un datacenter es un desastre y puedo tener el recovery en el piso de arriba.

Que no todo son terremotos de magnitud 15, ataques nucleares y apocalipsis zombies. Depende de lo que necesites y de la pasta que tengas (y no necesariamente en ese orden) Hace poco vi un pliego de una empresa del IBEX 35 pidiendo un DR ... y si ves lo que tenía te echas a llorar. Bueno, medio proyecto ya lo tiene. Es un puto disaster. Ahora, a ver quien cojones le hace el recovery.

D

#12

No es lo mismo un disaster recovery que una sistema el alta disponibilidad. Depende de la configuración que tengas puedes tardar 10 horas o días. Esto todo cuestión de pasta y de la importancia que pienses que debe tener tu sistema (y lo de esto tiene que funcionar sí o sí porque lo digo yo, no vale, es un coste brutal que hay que justificar)

D

#12 En mi empresa pusieron de IT manager a uno que no tenia idea ninguna.
De tener un documento perfectamente redactado, backups diarias, semanales y mensuales replicadas en un NAS (que estaba en otra nave) y en cintas (que me llevaba una encriptada a casa y otras se guardaban bajo llave en otro lugar) pasamos a tener backups en "la nube" con movistar... Donde descargar un simple excel puede llevar 10-15 minutos, no me imagino un desastre gordo.

¿Solución? Me cambié de departamento

ghotam

Casi hubiera sido mejor que hubieran dejado que se quemara todo. Es peor el remedio que la enfermedad.

L

#2 mr robot?

diskover

Ojete calor

D

Mr Robot, ¿eres tú?

c

El gas liberado, en las pruebas contraincendios, seguramente serían unas bombonas de FE-13. Trabajo en el sector y un vez, visitamos un local donde, por una falsa alarma, se activo una bombona de estas y los anclajes no aguantaron la presion de la bombona.Dejo la sala totalmente reventada, suelos de granito aplastados, techos y cuadros electricos destruidos. La bombona botó por toda la sala.

En otra instalación, probando una electroválvula de una de estas bombonas, se encontraba en mal estado y se disparo accidentalmente. El ruido es brutal y a los que estabamos cerca nos faltaron piernas para salir corriendo. Afortunadamente estos anclajes si estaban bien instalados.

D

Psss, como si arde ING, "rezo" a diario para que una llamarada solar funda todos los aparatos eléctricos de la tierra y su entorno

FarinatoMan

#16 yo también

D

#20 Dedos matutinos ¿Alguien que le vote positivo?

L

#26 Ya es inútil votarle positivo. Sino me equivoco el usuario ya no existe cry

Azucena1980

Cuando le dieron al reset descubrieron que habían desaparecido todos los cables de cobre...

sieteymedio

Me encanta el olor de malas traducciones por la mañana.

Mister_Lala

#88 Lo normal es escalarlo para ganar velocidad de respuesta, pero todo dentro del mismo centro.

redscare

#53 "En plantilla fija"? Se te ve que controlas de IT lol Yo por ejemplo curre en un proyecto para el Santander para venta de tarjetas de crédito. Y llenábamos GB de logs que daba gusto. Y no me refiero a logs del servidor sino logs sobre el perfil de cada cliente, con sus prestamos, hipotecas, etc. Tanto las concedidas como las que no. Y lo nuestro era un mini sistema de mierda. Mucho de lo que guardábamos ya estaba en realidad guardado en otros sistemas del banco, pero así tenias todos los datos a mano (cada uno con su fechad de acceso) en caso de cualquier reclamación. Y luego lo que nosotros guardábamos se copiaba otra vez para ser procesado por la gente de business intelligence. Hay mucha duplicidad de información.

D

#54 " logs sobre el perfil de cada cliente ..." ... si, juan luis saco 30 euros el dia tal y metio 45 el dia cual, eso si metes informatica por medio se convierte en un berenjenal que hay que llamar a la NASA, pero vamos ya se hacia con ordenadores en los 70s y antes sin ordenadores y nada ... por eso el mundo va para atras

redscare

#57 Los bancos tienen tal cantidad de información sobre nosotros que ríete tu de facebook. Y alucinante la que comparten entre ellos (y que sea legal que lo hagan). No lo publicitan apenas para evitar que la gente se les eche encima. De hecho conozco un caso que hicieron un proyecto piloto de Big Data y cuando los directivos lo vieron lo cancelaron con el motivo de "si la gente ve esto, nos comen".

Si tienes curiosidad, puedes ver una pequeña parte de esos datos de forma gratuita en
https://sedeelectronica.bde.es/sede/es/menu/tramites/Solicitud_de_in_f91d40ea9282d21.html
Tardan 2-3 dias, eso si.

D

#60 Mas bien da la sensacion como cuando uno va al Corte Ingles, Carrefour o cualquier tienda grande ... pones el ventilador o lo que te vayas a llevar en el mostrador y empieza la dependienta a escribir numeritos una vuelta para aca otra para alla, un pase de infrarojos, otra vez a escribir en la pantalla otra vuelta para aca otra para alla y 15 minutos y mas para soltar un solo producto desde que esta informatizada las tiendas

D

Zhou Quan la que está liando!!!

RivaSilvercrown

#74 a nivel empresarial, y hasta el momento en que deje de trabajar en sistemas hace un par de años, siempre se ha preferido HDD cuando lo que prima es fiabilidad. Lo de los casos, los he mencionado de cabeza porque yo siempre he trabajado con usos "estandar" de servidores, no he hecho nada de imagen ni sonido, aunque sé que hay sitios dónde montar clusters para ese tipo de cosas, así como para clusteres de calculo para investigación.

RivaSilvercrown

#75 en mi caso, en 2012 estuve haciendo cosas con cantidad alta de operaciones R/W (estabamos usando XORP para pruebas de seguridad en BGP) y después de un mes de pruebas hubo que cambiar los discos porque los SSD estaban tostadísimos (también debo decir que la tecnología ha cambiado mucho). De hecho en su momento se indicaba la vida media en operaciones R/W y ahí se notaba que los SDD todavía tenían mucho que mejorar.

frg

¡Menuda mierda de discos!. Hace años (muchos), en una prueba similar, por obra y gracia de una más que chapucera eleción de tuberías para el gas, se desprendió TODO el techo del CPD. Tube eliminar los cascotes de encima del servidor, y pulsar el botón de encendido. No hizo falta restaurar nada.

m

Cuando le dices a la abuela que ponga mas bajo la tele ... es por algo ...

P

Ing direct y sus "caidas" en un año dos así de gordas. Vaya tela.

D

"... decenas de unidades de disco duro ..." y para que conio tendran cientos de terabytes de informacion de que karayo ? ... es como si en vez de la ficha de cada cliente que ocupa un folio o dos como mucho, tuvieran todas las peliculas que ve cada cliente todos los mp3 que escucha cada cliente, todas sus fotos, la biografia personal y de facebook la ... de cada uno ...

redscare

#29 Erm... sabes que tienen que almacenar todas las transacciones de (creo) al menos los últimos 5 años? Mas todos los metadatos. Y todo replicado, claro.

D

#49 y que? eso son unos pocos numeros, porque lo de "saldo, debe, esto y lo otro" viene en plantilla fija

swapdisk

A ver si lo pillo... tenemos un sistema de extinción por gas inerte para evitar que, en caso de incendio, el agua de los aspersores se cargue los discos y servidores. El problema es que ese mismo sistema de extinción se carga los discos. ¿Soy el único que ve un "algo raro" aquí?

ruinanamas

#46 Si, que alguien no ha hecho bien su trabajo planificando estos "detalles", nada como proteger a los discos duros con las bandejas de cartón de los huevos del super.

D

#46

No.

Antes los DC tenían extinción por sprinklers (los de agua de toda la vida) también los hubo (más caros claro) por halón que se prohibió, ahora está de moda el agua nebulizada (te montan una nube de niebla que aparte de extinguir, enfría) y el colmo, un líquido que se suelta nebulizado, no conduce la electricidad y se evapora sin rastro en pocos dias.

swapdisk

#95 Ese liquido lo han sacado en El Hormiguero. Metian un portatil dentro encendido sin problemas.

kucho

#75 totalmente empirico. tenemos cabinas de discos de varios fabricantes con cienes de ellos... llega un momento en el que es un desfile continuo. no se trata de administrarlo bien o mal, fallan y hay que sustituirlos. de hecho la propia cabina ya lanza el aviso directamente a soporte.

el caso de los SSD dicen que es sangrante. van muy bien, muy rapidos y tal y cual, pero que duran un suspiro y en cuanto empiezas a cambiar no paras. en este caso es su experiencia con otros clientes que si los tienen.

discos locales de servidores hp, dell, ibm, sun, cisco... tambien he cambiado unos cuantos a lo largo de los años. y placas y memorias y fuentes de alimentacion. no hay nada eterno. aunque la impresion que tengo es que los hp dan mas trabajo.

d

#77 gracias por argumentar tu comentario, ahora entiendo mucho mejor por que lo decías. Aun así me choca bastante ya que mi experiencia no tiene nada que ver con la tuya, si bien es cierto que el nivel del que hablo yo no es el mismo, es mucho mas limitado, a menos de 10 servidores dedicados, los cuales si he notado muchísima diferencia de cambiarlos de un proveedor, con el antiguo si que me petaban de vez en cuando alguno (diferente hardware), con el actual llevo años con los mismos discos y todavía funcionan sin problemas, quizás sea suerte, pero mi experiencia es esa.

s1m0n

Porque ese datacenter usará discos mecánicos, pero ¿Los discos híbridos (SSD y mecánico) no sirven para RAID? ¿O un RAID con SSD y mecánicos?

EdmundoDantes

#15 No soy experto en el tema, pero así a botepronto se me ocurre que almacenar en SSD el volumen de datos tan enorme que debe de tener un banco, barato no puede ser.

demostenes

#17 No puede ser si eres tacaño... Ya hay SSD de 4 Tb: https://www.amazon.es/dp/B01ECEM7S2

D

#23

Y de 60.

RivaSilvercrown

#15 en general, los discos de datacenter son discos mecánicos especiales. Básicamente, cuando tienes que almacenar muchos datos sin necesidad de una gran velocidad de lectura/escritura, usas discos mecánicos. Cuando necesitas tener una gran velocidad de lectura/escritura (por ejemplo, para cálculos matemáticos de gran volumen de datos o, lo que es lo mismo, temas de procesado 3D) es cuando se recomiendan los SSD.

Una de las principales diferencias es que los SSD consumen electricidad (aunque sea poca) constantemente, al ser almacenamiento en estado sólido, mientras que los discos mecánicos sólo cuando se están moviendo los cabezales. Otro motivo, es que los discos SSD aunque sean más resistente ante fallos mecánicos tienen una "fecha de caducidad" (número máximo de operaciones L/E antes de fallar) bastante menor que los discos mecánicos. Finalmente, en los datacenters se supone que tienes todas las variables configuradas (aunque en este caso no fue así con el sistema anti-incendios) para el óptimo funcionamiento de tu tecnología.

kucho

#41 si ya con mecanicos tienes al fulano de la cabina desfilando una vez al mes a cambiar discos, con ssd lo veras cada 2 dias.

d

#55 yo no se que servidores contratáis, me imagino que hablaras de servidores de OVH porque con un hardware decente y bien administrado eso no es así ni mucho menos, tengo servidores con discos mecánicos que llevan años con bastante caña y todavía no han fallado, menos aun los SSDs.

Me gustaría que dieras mas detalles sobre tu comentario, se basa en tu experiencia? o solo es cuñadismo?

rafaLin

#41 "los SSD consumen electricidad (aunque sea poca) constantemente, al ser almacenamiento en estado sólido"

No, utilizan memoria flash, no necesitan electricidad para mantener el almacenamiento de datos. Solo utilizan electricidad cuando se utilizan, y mucho menos que los discos mecánicos, por eso es lo que se utiliza en móviles, tablets y muchos portátiles.

d

#41 Si fuera así como dices, cada vez que apagas el servidor se perderían todos los datos.

Además los discos SSDs no solo se usan en ese caso que comentas, aparte de la velocidad creo que lo mas interesante que aporta un disco SSD de cara a un servidor es la tasa de iops, que esta a años luz de los discos mecánicos.

En todos los servidores dedicados que administro tengo montado un sistema híbrido, el sistema operativo y bases de datos en disco SSD y el resto de datos en un disco mecánico, esta configuración es muy buena ya que implementar el SO y sobre todo la base de datos en un disco SSD se nota muchísimo, también se nota mucho a la hora de trabajar con imágenes, vamos que no hay color de montarlo con esta configuración a montarlo todo con discos mecánicos, la diferencia es abismal y problemas hasta el momento 0, lo recomiendo 100%

D

#41

mientras que los discos mecánicos sólo cuando se están moviendo los cabezales.

Claro, el giro de los platos lo hace una máquina de movimiento perpetuo.

deavid

#15 Sí se pueden hacer SSD con RAID, el problema es que hasta hace 2 años era algo excesivamente caro e innecesario. No habían SSD grandes y los que habían tenían un precio carísimo. Ahora se ven un montón de controladoras RAID por hardware (por ejemplo en dell) que mezclan SSD y HDD. Además, cada vez más los servidores están llevando más SSD y menos HDD. Resulta que los discos duros de servidores eran ya caros antiguamente, por lo que los SSD al abaratarse ahora empiezan a ser una opción muy seria. Dale unos 4 años y igual el panorama es al revés y lo normal es montar SSD.

miki

¿Y en caso de pérdida de datos? Me imagino que un banco tendrá respaldo de esa información, o está obligado a tenerla de forma distribuida ¿No? Bueno al menos hacienda la tiene. Yo alguna vez he entrado en modo paranoico y me da por hacer capturas de pantalla de mi cuenta. Sobretodo cuando acabo de cobrar la extra y junto algo de dinero.

waterbear

#52 Haces bien

Mister_Lala

#52 Cuando vas a una sucursal de un banco, si no tienen internet no pueden atenderte, ergo ellos no tienen la base de datos en su red local, ergo no es distribuida. Y si eso pasa con un banco normal, con sucursales, imagínate con ING que todo es online salvo 5 ó 6 sucursales en toda España.

Por lo general, incluso las aplicaciones que sí tienen base de datos distribuida, terminan por sincronizar con una base de datos global que es "la que manda".

malfageme

#61 Bueno, eso me parece normal. Sería demasiada complicación tener los datos en cada oficina, al margen de por temas técnicos como replicación o la coherencia de datos, por temas de legislación y seguridad. Las medidas de protección que tiene un DC no las puede tener una oficina en Valdemorillo de abajo.

e

#52 te confirmo que sí, deben tener respaldo de la información en otro lugar, además de estar auditado por el Banco de España el plan de contingencia.

D

#52 De hecho lo tenían, en la noticia explica que tuvieron que arrancar desde el DR (Disaster Recovery)

A cold start of the systems in the disaster recovery site was needed

Nota: El disaster Recovery suele ser otro CPD (Centro de proceso de datos) o DC (Data center), como lo quieras llamar, que está en otro lugar con todos los datos actualizados para casos como estos, suelen tener un sistema que replica los datos en el momento de contínuo y cuando pasa esto no hay pérdida, ese CPD suele tener menos rendimiento global en general al disponer de lo mínimo para funcionar. Algunos están apagados y hay que arrancar en "frio" como han hecho ellos, otros está en funcionamiento y el paso de uno a otro es simplemente cambiar un enrutamiento.

PD: Yo trabajo en un banco y tenemos DR

R

#52 Si, ademas de un sistema de backup en "tiempo real" hay algunos datos que, por lo menos en España, tienen obligación de tenerlos por cuadruplicado y en como mínimo tres ubicaciones diferentes.

a

¿Soy el único al que le choca que tengan el CPD en Rumanía y no en un "país mas desarrollado"?

Cehona

#30 Rumania no solo acoje a zíngaros y ladrones de cobre. No creo que en Argentina nos llamen a todos gallegos y piensen que estamos en un país atrasado.

d

#30 Es lo normal.

Las empresas q montan GNOCs (Global Network Operation Centers) para supervisar operaciones en varios países a la vez lo hacen con la intención de abaratar OPEX (costes operacionales). Entre otras cosas, nunca se usa la ultima tecnología (por los tiempos de planificación y retorno de la inversión) y se eligen localizaciones económicas (mano d obra y servicios). No te cuento el escaso nivel del personal. Otros requisitos son buenas comunicaciones para traer piezas y personal experto cuando se necesita y un nivel decente de inglés.
Por eso los clásicos son Mexico, Rumanía y India para un "around the sun".
Tristemente no se premia la calidad sino garantizar el servicio.

ruinanamas

#30 Puede que sean por motivos legislativos, ¿no crees?.

1 2