vjrj
56f53e2c23
Cuatro endurecimientos salidos del banco de carga (bench/union-bench.js), cada uno con su número: 1. Unión en ÁRBOL en vez de en cadena. La cadena unía siempre contra un polígono acumulado que no paraba de crecer. Con 1.000 suscripciones repartidas por el mundo —el peor caso, círculos que no se solapan— eran 238 s; en árbol son 3,6 s, con un documento idéntico. Con datos realistas (España) 10.000 suscripciones bajan de 39,3 s a 23,5 s. test/server/calcUnionAsync.test.js comprueba la equivalencia contra una referencia calculada en cadena. 2. 64 vértices por círculo en vez de 144, configurable con `private.unionCircleSteps`. Con 10.000 suscripciones: 23,5 s → 10,0 s y el pico de RSS de 777 MB → 421 MB. En pantalla un círculo de 64 lados sigue siendo un círculo, y la capa de zonas es un adorno difuso; el host de despliegue tiene 5,9 GB para todo el stack. 3. Timeout del worker (10 min por defecto, `private.unionWorkerTimeoutMs`). Un worker que no contestaba dejaba la promesa colgada y con ella la cola entera: `busy` se quedaba en true y no se volvía a calcular ninguna unión hasta reiniciar, sin que nada fallase. Se reintenta una vez ante un error real, nunca ante un timeout. 4. Cota de heap del worker (1 GB, `private.unionWorkerMaxHeapMb`), para que un caso patológico muera con ERR_WORKER_OUT_OF_MEMORY —que esta capa convierte en un rechazo, dejando la unión anterior intacta— en vez de que el kernel se lleve por delante el proceso de Meteor. Además unionTelemetry.js manda a GlitchTip las uniones que pasan de un minuto y las que hay que degradar por tamaño, y registra duración/tamaño de cada una. El único aviso de que la unión iba mal era, hasta ahora, que el mapa se quedaba viejo. Smoke REST byte-idéntico. 90 tests en verde.
53 lines
1.7 KiB
JavaScript
53 lines
1.7 KiB
JavaScript
/* eslint-disable import/no-absolute-path */
|
|
|
|
// Wiring only: what the union actually does lives in subsUnionLogic.js, where it
|
|
// can be tested without booting a server (see test/server/subsUnion.test.js).
|
|
|
|
import { Meteor } from 'meteor/meteor';
|
|
import Subscriptions from '/imports/api/Subscriptions/Subscriptions';
|
|
import SiteSettings from '/imports/api/SiteSettings/SiteSettings';
|
|
import calcUnionAsync from '/imports/startup/server/calcUnionAsync';
|
|
import unionBounds from '/imports/startup/server/unionBounds';
|
|
import createSubsUnion from '/imports/startup/server/subsUnionLogic';
|
|
import unionTelemetry from '/imports/startup/server/unionTelemetry';
|
|
import { isMailServerMaster } from '/imports/startup/server/email';
|
|
|
|
Meteor.startup(async () => {
|
|
if (!isMailServerMaster) {
|
|
console.log('We only process subsUnion in master');
|
|
return;
|
|
}
|
|
|
|
const subsUnion = createSubsUnion({
|
|
calcUnion: calcUnionAsync,
|
|
SiteSettings,
|
|
Subscriptions,
|
|
boundsOf: unionBounds,
|
|
telemetry: unionTelemetry
|
|
});
|
|
|
|
if (await subsUnion.isUnionOutdated()) {
|
|
console.log('Subs union outdated');
|
|
subsUnion.scheduleRecreate();
|
|
} else {
|
|
console.log('Subs union up-to-date');
|
|
}
|
|
|
|
await Subscriptions.find({ createdAt: { $gt: new Date() } }).observeAsync({
|
|
added: function newSubAdded(doc) {
|
|
console.log('Subs added, merging into union incrementally');
|
|
subsUnion.enqueueAdd(doc);
|
|
}
|
|
});
|
|
|
|
await Subscriptions.find().observeAsync({
|
|
changed: function subsChanged() {
|
|
console.log('Subs changed so recreate union');
|
|
subsUnion.scheduleRecreate();
|
|
},
|
|
removed: function subsRemoved() {
|
|
console.log('Subs removed so recreate union');
|
|
subsUnion.scheduleRecreate();
|
|
}
|
|
});
|
|
});
|