Highload junior blog-

Numele meu este Oleg si eu Bunin Developers Conference organizator HighLoad ++ greoi sisteme. În același timp, eu sunt șeful echipei care a dezvoltat și a sfătuit multe mari și au vizitat proiecte de Internet din Rusia.

Am sfătuit proiecte cum ar fi Facebook, Sports.ru, Woman.ru, Imhonet, ITAR-TASS, RIA Novosti, Setup.ru, noi chiar și consilia guvernul de la Moscova. mai mult

Pentru a spune ce highload, este necesar să se înceapă să se definească termenul. Când încercați să „rezolve“ termenul în sine, începe, în mod natural, cu transfer direct - o sarcină mare. mai mult

Voi încerca să intre în „curaj“ și „curajul“ de serviciu backend web și spune cum această structură internă afectează eficiența de serviciu, precum și pe produs, caracteristicile sale, și modul în care am putea să profite de acest lucru la cererea noastră de a rezista la sarcini grele sau ar lucra mai repede.

Ce parte din ceea ce eu numesc un serviciu web backend, aplicatie-server? In arhitectura clasica, aceasta este ceea ce se află în spatele proxy http inversă sau de încărcare-echilibrist, iar pe de altă parte, el a găsit în baza de date, memcashed și altele. Asta e doar despre back-end și vor fi discutate. mai mult

La curs de astăzi, voi încerca să vă explic cum să se gândească la proiectarea unui sistem extrem de încărcat. Și primul lucru pe care o vom studia - este o schemă generală de construcție a unei aplicații web-server puternic. mai mult

Voi vorbi despre Nginx de configurare scalabile, dar nu este vorba despre modul în care, pentru că nginx nu este necesară ajustarea pentru acest lucru folosind Nginx pentru a servi sute de mii de conexiuni simultane. Ai nevoie pentru a pune un număr adecvat de procese de lucru sau pune-l la „Auto“, a pus worker_connections la 100.000 de conexiuni, apoi se face cu configurația kernel-ului - o sarcină mult mai globală decât pur și simplu setarea Nginx. mai mult

Există un maestru, dintr-o dată a căzut, dar sistemul continuă să funcționeze. Clienții care migrează la baza a doua. Ai nevoie pentru a face copii de siguranță ale bazelor de date. Dacă efectuați copii de siguranță pe baza principală, putem obține unele probleme de performanță, o creștere a timpului de răspuns. Acest lucru este rău. Prin urmare, de exemplu, destul de comune de replicare asincrone - este eliminarea unei copii de rezervă cu slave. Un alt exemplu - acest lucru este migrarea de interogări grele căpitanilor de sclavi, principala bază pentru al doilea. De exemplu, crearea de rapoarte. mai mult

Raportul meu este conceput pentru acei oameni care cunosc cuvântul „replicare“, chiar și știu că în MySQL este, și poate, odată ce sa stabilit în sus, la 15 minute petrecute și uitate. Mai multe despre ea nu știu nimic mai mult

Poate că principala diferență Developers Conference HighLoad ++ puternic din multe alte sisteme este nici o agendă ascunsă. Pentru noi nu este necesară nici o persoană sau organizație care ar impune reguli sau se dedă de vânătoare la eveniment Citește mai mult

Tema prezentării mele este indexat în MySQL și avansate EXPLICA, adică Sarcina noastră va fi să răspundă la întrebarea: ce putem afla cu ajutorul EXPLAIN'a pe ce să caute? mai mult

Pentru a începe doar câteva cuvinte despre ce se va discuta. În primul rând, ceea ce este optimizarea interogare? Oamenii rareori articula și, se întâmplă astfel încât de multe ori subestima înțelegerea a ceea ce fac. Puteți încerca să accelereze o anumită interogare, dar nu va fi în mod necesar optimizat. Suntem un pic pe poteoretiziruem subiect, atunci vom vorbi despre care capăt acestei chestiuni abordate atunci când începe pentru a optimiza modul de a face acest lucru, și cum să înțeleagă că orice interogare sau set de interogări nu poate fi optimizat - astfel de cazuri prea, există, și atunci ai nevoie doar de a remodela Mai mult

Ne întoarcem acum la problemele pe care le vom rezolva astăzi. O problemă - o cantitate mare de date. Când dezvolta un anumit proiect, aveți la un moment dat, se poate întâmpla ca datele devin foarte mult. În cazul în care o afacere funcționează, aduce bani. În consecință, mai multe date mai mulți bani, iar aceste date au nevoie de ceva de făcut, pentru că aceste cereri sunt executate pentru o lungă perioadă de timp, și nu scoate pornește serverul. Una dintre soluțiile pentru a face față acestor date - o bază de date scalare. mai mult

Raport a fost născut din conversația următoare. Eu, ca de obicei, a încercat să convingă Alexei Tarantool utilizarea mai mult, și el a spus că nu există încă nici un sharding și, în general, neinteresantă. Apoi am început să vorbim despre ce nu. Am început să spun că nu există nici o mărime se potrivește toate soluțiile, lucrări complete de automatizare pentru tine, iar tu bei doar cafea și toate la locul de muncă. Prin urmare, acest raport a fost născut - să se uite la ceea ce se întâmplă sharding, care metodele în care sunt utilizate sisteme, care sunt avantajele și dezavantajele, de ce nu un „glont de argint“ pentru a rezolva totul? mai mult

Mulți magicieni profesionale va spune cum este acum bine și bine puse în aplicare în PostgreSQL - cei de la Postgres Professional, ca parte a acestui raport va spune totul despre cluster. mai mult

Aș dori să încep prin a răspunde la întrebarea cu privire la analiza comparativă. De fapt, există configurație specială este nimic. Noi nu suntem experți foarte mari Redis și Memcached, dar există o pereche de mânere. Trebuie să activați compactificare de date Redis - acest lucru va afecta serios performanțele sale, și anume, el are un anumit mod de a stoca seturi mici, liste, etc. Ar trebui să fie incluse. Noi, desigur, aceasta include, ca în cazul în care nu sunt incluse, atunci totul devine chiar mai rău, pentru că doar mănâncă o mulțime de memorie. mai mult

Numele meu este Eugene. Eu lucrez în departamentul de Sberbank din Ventures Digital - o mică unitate care oferă produse și soluții inovatoare. Ie vom face IT-prototipuri la intersecția noilor tehnologii.

În acest raport, vreau să vă spun despre cazul dumneavoastră de a folosi NoSQL-soluții de la utilizator, astfel încât la început, aș dori să merg pe scurt prin teorie. mai mult

Vom vorbi cum să construiască servicii bazate pe Nginx și Tarantool - este prima parte a acestui raport, eu vă va prezenta un pic mai mult cu upstream-modul. În a doua parte a lui Andrew, colegul meu va vorbi despre cum să Tarantool sharding puse în aplicare. Și a treia parte - vă vom arăta un raport cu privire la modul în SEN, care leytensi și ce indicatori am fost capabili de a elimina toate datele reale. mai mult

Astăzi vă vom arăta cum să economisi bani pe baze de date o mulțime de bani, de exemplu, un milion de dolari, așa cum am făcut-o. Pentru a începe cu întrebarea: de ce este mai probabil să utilizeze baza de date, nu soluția l-am găsit? Baze de date - acest magazin, mai structurat decât un fișier, cu o serie de unele dintre caracteristicile pe care fișierul nu. mai mult

Ce crezi, ceea ce este costul de cozile de prioritate? Ie dacă cineva, să zicem, alpinism din gama, cum să calculeze costul pentru întregul sistem, în această situație, astfel încât să fie proporțională? client service timp (de exemplu, la 5 minute ar trebui să-l servească)? Este proporțională cu numărul de așteptat, pentru că timpul de așteptare pentru fiecare dintre ele va crește. mai mult

În acest raport, vreau să vorbesc despre trecerea RabbitMQ si conducte arhitectura, și modul în care aceasta este legată de activitatea companiei noastre. mai mult

Prezentarea mea va fi despre un lucru, fără de care nu se poate face nici un proiect HighLoad - despre un server coadă, iar dacă aveți timp, voi spune despre blocare. Voi spune despre unde și cum să folosească coada, de ce toate acest lucru este necesar, voi spune un pic despre protocoalele. mai mult

Privire de ansamblu raport despre structura internă de bază a oricărui motor de căutare moderne. Despre o scurtă listă de documente și poziții, atât apoi lucrează cu ei caută documente potrivite (și operatori diferiți), astfel cum a aranjat clasament documentele preluate sunt făcute și de a lucra cu filtrarea și agregarea în continuare (non-text) atributele documentului. Acolo unde este posibil, trimiterile la toate formele de realizare cunoscute (ca, în general, este posibil, așa cum se face în Sfinxul, în Lucene). mai mult

Povestea pe care fiecare inginer trebuie să facă în viața lui după ce a devenit tatăl unui copil, planta un copac și de a construi o casă - este de a face spațiul de stocare de fișiere. mai mult

Care este scara, la toate? Este posibil să se mărească performanța proiectului în timp minim, prin adăugarea de resurse.

De obicei scalarea nu implică cod rescrierea, sau adăugarea de servere sau extensii ale resurselor existente. În acest tip de a distinge scalare verticală și orizontală. mai mult

O să-ți spun un pic despre cache. Caching, în general, nu este foarte interesant, și să ia keshiruesh, așa că am mai multe de spus despre Memcached, mai degrabă detalii intime. mai mult

O să-ți spun despre instrumentele de proiecte grele, caching, în special memcached, Redis-e și coadă RabbitMQ de serviciu, sau în „iepure“ comun. mai mult

Raportul (și acum în articol), Yuri spune cum au Badoo o sarcină perfect plană de echilibrare a lungul cluster de servere 200+, puse în aplicare de selecție automată a greutăților și au fost răspândite în utilizarea procesorului cu 2,5% în traficul de vârf. Acest lucru va economisi aproximativ 40-50 de servere și de a îmbunătăți timpul de răspuns al site-ului mobil la sarcina maximă. mai mult