Suite

Est-il possible de répliquer une géodatabase SDE incluant les tables d'archives ?

Est-il possible de répliquer une géodatabase SDE incluant les tables d'archives ?


J'ai une base de données à un endroit que je voudrais répliquer dans un autre à l'aide de la réplication unidirectionnelle. Lors des tests, nous n'avons pas été en mesure de répliquer les tables d'archives, ce qui est regrettable car nous devons conserver ces versions historiques aux deux emplacements.

Est-il possible de répliquer simplement toute la base de données DEFAULT (y compris les tables d'archives).

Si non, y a-t-il un moyen de contourner cela?


Cela peut ne pas répondre entièrement à vos besoins, mais je viens de tester l'activation de l'archivage sur les répliques parent et enfant à l'aide de la réplication unidirectionnelle.

Les modifications effectuées sur le parent puis répliquées jusqu'à l'enfant s'affichent à la fois dans la classe d'entités et dans l'archive de la base de données enfant.

Archive de répliques enfant :

Malheureusement, si une fonctionnalité est modifiée plusieurs fois avant que les répliques ne soient synchronisées, seule la dernière modification est intégrée à l'archive enfant. Cela peut être surmonté en exécutant la synchronisation plus souvent ou après chaque édition, mais cela peut ne pas être pratique.

Archive du réplica parent :

Dans mes captures d'écran ci-dessus, j'ai créé une fonctionnalité et sauvegardée (premier enregistrement d'archive parent), édité pour ajouter des attributs (deuxième enregistrement d'archive parent), puis répliqué dans Child (premier enregistrement d'archive enfant). Ensuite, j'ai à nouveau modifié la fonctionnalité et enregistrée (troisième enregistrement d'archive parent) et répliqué (deuxième enregistrement d'archive enfant)


De quelle police s'agit-il ? Est-il possible de répliquer en utilisant extgreek et PDFlatex ?

Dans mes divers projets, je rencontre parfois du grec que j'aimerais composer le plus près possible de l'original.

J'ai essayé d'imiter cela en utilisant extgreek . Considérez le MWE

Il produit la sortie suivante :

Comme vous pouvez le voir, ce n'est pas un rendu parfait. Par exemple, le thêta de tête du premier mot ne correspond pas à l'original et, je ne suis pas sûr que l'accent sur l'iota de tête du deuxième mot soit correct. Avec quelques tentatives, j'ai réussi à faire en sorte que les deux alphas ressemblent à un « a » minuscule mais dans l'ensemble, l'apparence des deux mots ne se rapproche pas de l'original.

QUESTION : Quelqu'un peut-il me montrer comment rendre la composition aussi proche que possible de l'original ? J'exécute le code avec PDFLatex car c'est ce que le document plus volumineux utilise --- donc autre chose ne serait pas utile dans ce cas.


Archiver

Le NCEI reçoit des données de nombreuses sources différentes, y compris des chercheurs individuels, d'autres organisations gouvernementales et des instituts de recherche du monde entier. Toutes les données soumises aux archives du NCEI sont soumises à l'une des procédures de contrôle qualité suivantes :

Scientifiques de la NOAA

Les données des scientifiques et des sous-traitants de la NOAA sont soumises aux directives procédurales de la NOAA qui fournissent des directives pour la planification de la gestion des données (responsabilités d'archivage), la documentation des données (exigences relatives aux métadonnées), l'accès aux données (découvrabilité) et la citation des données (crédit et citations).

Projets financés par la NOAA

Les fournisseurs de données qui ont reçu un financement de la NOAA par le biais d'une subvention, d'un accord de coopération ou d'un contrat doivent examiner les directives spécifiques au projet pour les responsabilités d'archivage des données et les publications connexes évaluées par des pairs. Ces directives se trouvent dans la Directive sur le partage des données et des publications pour les subventions, les accords de coopération et les contrats de la NOAA.

Données non financées par la NOAA

Les données collectées sans le financement ou le soutien de la NOAA doivent passer par un processus d'évaluation scientifique pour être prises en compte pour les archives, et sont soumises à la politique de données NESDIS non-NOAA après approbation.

Soumettre vos données

NCEI suit un processus d'archivage robuste et bien défini pour préserver les données pour une utilisation future. Nous acceptons les données, les métadonnées et les produits qui ajoutent de la valeur à la collecte de données de base de la NOAA et contribuent à la préservation à long terme des données environnementales mondiales.

Nous contacter

Il existe différentes voies pour fournir des données au NCEI. Deux méthodes courantes sont énumérées ci-dessous, mais d'autres existent également. Avant de fournir des données, c'est une bonne idée d'envoyer un e-mail à un spécialiste des archives pour discuter de la portée de votre projet et de la meilleure méthode de soumission. Notre équipe d'experts peut vous aider à naviguer dans la création de métadonnées, les choix de format et d'autres nuances du processus de soumission de données.

Contacter les archives
ATRAC

Utilisez l'outil avancé de suivi et de ressources pour les collections d'archives (ATRAC) pour soumettre des données de livraison répétées ou multiples, ou des données dépassant 20 Go.

S2N

Utilisez Send2NCEI pour soumettre des données de livraison non répétitives ou uniques de moins de 20 Go.

Directives sur le format de soumission des données

NCEI préfère les formats de fichiers ouverts gérés par une organisation de normalisation plutôt que les options propriétaires ou spécifiques au produit. Les formats auto-descriptifs tels que netCDF et HDF incluent des métadonnées précieuses qui prennent en charge la compatibilité des données et la préservation des informations à long terme. Le format PDF ou PDF pour l'archivage (PDF/A) est préférable pour les documents archivés. Surtout, choisissez un format qui s'adapte aux caractéristiques des données encodées. De plus, tenez compte de la compatibilité à long terme (des décennies dans le futur) du format avec les logiciels et l'infrastructure d'accès aux données. Par exemple, les données tabulaires dans des fichiers UTF-8 ou ASCII séparés par des virgules sont beaucoup plus susceptibles d'être accessibles aux futurs systèmes d'exploitation que les formats de feuille de calcul propriétaires (par exemple, Lotus 1-2-3).

Le NCEI recommande d'utiliser les formats de transfert de la National Archives and Records Administration (NARA) pour les données numériques. Reportez-vous à la page Durabilité des formats numériques de la Bibliothèque du Congrès lorsque vous envisagez des formats en dehors de la liste NARA. Toutes les soumissions sont sujettes à examen et peuvent nécessiter des modifications de format, de nom de fichier, d'emballage et d'autres critères pour répondre aux exigences du système ou de conservation avant d'être approuvées.

Formats fréquemment utilisés
Types de données génériquesFormat(s) préféré(s)Format(s) accepté(s)Commentaires)
Données tabulairesValeurs séparées par des virgules (.csv), Valeurs séparées par des tabulations (.tsv), netCDF (.nc), OpenOffice Calc (.ods)csv. (.xls ou .xlsx), notation d'objet JavaScript (.json)Codage ASCII ou UTF/UTF8/UNICODE Voir des conseils supplémentaires pour l'utilisation de NetCDF pour de nombreux types de données d'observation (c'est-à-dire profils, séries chronologiques, trajectoires, etc.).
Systèmes d'information géospatiale (SIG)GéoTIFF, OpenGIS GML, HDF5, NetCDFFichiers de formes ESRI (.shp, .dbf, .shx, .cpg, .prj, .sbx), sortie ESRI GridFloatRien
TextePortable Document Format/Archivage (.pdf), OpenOffice Document (.odt), ASCII (.txt)Format de document portable (.pdf), Microsoft Word (.doc, .docx)Les documents texte doivent respecter les directives d'accessibilité de la NOAA pour se conformer à la section 508
MétadonnéesISO 19139 (.xml) Métadonnées géospatialesFGDC Content Standard for Digital Geospatial Metadata (CSDGM), NASA Directory Interchange Format (DIF)La représentation préférée des métadonnées dans ces formats standard est le langage de balisage extensible (xml)
Images animéesÊtre déterminéMPEG-2, MPEG-4, MPEG-2000Rien
Images fixesTIFFSVS, JPEG, BIL, HDF5, PNGRien
Les autresGRIdded Binary ou General Regularly-distributed Information in Binary (GRIB), Binary Universal Form for the Representation of Meteorological Data (BUFR)Format de fichier polygone (.ply) pour les représentations de données 3DRien

Conventions de nommage des fichiers

Les noms des dossiers soumis au NCEI doivent :

  • Soyez lisible par les humains
  • Exclure les caractères spéciaux (tels que la ponctuation et les symboles)
  • Utiliser les extensions de format de fichier appropriées

Des règles supplémentaires de dénomination et de conditionnement des fichiers peuvent s'appliquer aux données basées sur le chemin de soumission ou aux données qui doivent respecter les directives spécifiques du programme. Le personnel du NCEI est disponible pour examiner et fournir des commentaires sur les dossiers au besoin.

Documentation à l'appui

Une archive a besoin d'informations suffisantes pour lire, comprendre et caractériser les fonds de données conformément aux normes de documentation. Cette documentation contextualise les données, permettant aux utilisateurs actuels et futurs de :

  • Lire le format codé, y compris les descriptions des variables/contenus des données
  • Comprendre le lignage des données, comme la façon dont il a été créé
  • Caractériser la qualité des données pour évaluer leur utilisabilité
  • Identifier et distinguer les données
  • Faites confiance à l'intégrité des données

Les documents de support courants incluent les guides de l'utilisateur, les spécifications de format, les documents de base théorique des algorithmes et les fichiers lisez-moi. D'autres formes de documentation peuvent être appropriées pour l'archivage afin de soutenir la gestion des données. NCEI peut demander des documents supplémentaires afin de répondre à ces exigences.

Le déposant est responsable de s'assurer que les documents sont conformes aux exigences d'accessibilité de la section fédérale 508. La page de conformité à la section 508 de la NOAA Central Library contient de nombreuses ressources, telles que la création de documents et d'outils conformes à la 508 pour vérifier l'accessibilité.

Métadonnées de collecte

Le NCEI requiert des métadonnées normalisées pour chaque collection ou ensemble de données afin de prendre en charge la découvrabilité, la compréhension et l'interopérabilité. Cette documentation comprend une description standard, des instructions pour accéder aux données et les citer, et d'autres détails utiles ou pertinents. La création de métadonnées de collection est prise en charge par les différentes méthodes de soumission de données.

Découverte et accès aux données

NCEI dispose d'un certain nombre d'outils de recherche et de visualisation qui permettent aux utilisateurs de trouver des données à l'aide de requêtes personnalisées extraites de l'ensemble des archives, ainsi que de produits et d'ensembles de données individuels. Suivre le processus d'archivage au début de vos efforts de collecte et de collecte de données peut optimiser sa découvrabilité avec ces systèmes.

Identification et attribution des données à l'aide des DOI

NCEI peut créer des identificateurs d'objets numériques (DOI) pour les données détenues dans ses archives conformément à la directive de procédure de citation de données de la NOAA. Une fois créé, un DOI fournit un identifiant unique et persistant qui permet aux utilisateurs de citer et de localiser avec précision les données obtenues auprès du NCEI. Les données sans DOI attribué peuvent être citées, mais peuvent ne pas avoir d'URI persistant ou avoir des métadonnées de citation publiées dans le service de découverte DataCite. Voir la FAQ pour plus d'informations.

Conservation des données

Les données gérées par le NCEI doivent inclure des métadonnées sur la provenance, l'authenticité, l'environnement technique nécessaire à l'utilisation de l'objet de données, les actions de préservation qui ont été prises et les droits de propriété intellectuelle qui s'appliquent à l'objet de données. Pour assurer la préservation à long terme des fonds de données numériques et analogiques, NCEI suit les conseils de nombreuses communautés de meilleures pratiques pour garantir que les données sont exactes et authentiques à long terme.

Comme l'exige la réglementation fédérale, les données conservées par le NCEI sont planifiées conformément aux calendriers d'enregistrement appropriés de la NOAA. Ces annexes identifient de nombreuses séries d'enregistrements qui indiquent les exigences pendant combien de temps ces enregistrements (données et métadonnées) doivent être conservés, ainsi que d'autres conditions de conservation et de conservation. Chaque série de documents doit être approuvée par la National Archives and Records Administration (NARA).

Pour prendre en charge et assurer la préservation des données, NCEI effectue régulièrement la migration des supports, des contrôles d'intégrité des données (par exemple, comparaison des valeurs de hachage cryptographiques avant et après le déplacement des fichiers entre les supports de stockage), des sauvegardes quotidiennes et hebdomadaires du contenu multimédia et d'autres pratiques pour garantir l'accès aux données. objets. NCEI suit les directives de la NARA pour les processus de sauvegarde, les supports de stockage, etc.

Autres archives de données

NCEI est le référentiel à long terme préféré pour les données collectées par la NOAA et les contrats, subventions ou autres véhicules de financement financés par la NOAA. Comme mentionné précédemment, les données doivent être archivées par NCEI pour obtenir un identificateur d'objet numérique NOAA. Le NCEI archive également les données d'autres activités de collecte de données fédérales, étatiques, locales, tribales et internationales, au cas par cas. Certains types de données de la NOAA doivent être soumis à la National Archives and Records Administration (NARA) sur la base du calendrier de conservation des enregistrements correspondant à ces enregistrements/données particuliers.

Les données non-NOAA qui sont considérées en dehors du champ d'application de NCEI, comme décrit dans la politique de collecte d'archives NCEI, peuvent être archivées dans d'autres référentiels. L'U.S. Geological Survey (USGS) tient à jour une liste de référentiels alternatifs qui peuvent être appropriés pour les données en dehors du champ d'application de la politique de collecte du NCEI.

Partenaires et références de gestion des données

Le NCEI collabore avec des organisations nationales et internationales pour partager des pratiques de gestion des données, des processus, des vocabulaires contrôlés et d'autres directives pour la gestion des données et des informations sur la terre et les écosystèmes. Les partenaires de gestion des données clés incluent (mais ne sont pas limités à) :

  • Système mondial de données (WDS) du Conseil international pour la science (ICSU) : NCEI gère plusieurs centres et services mondiaux de données en tant que membre du WDS. : NCEI partage des données, des codes de plate-forme et d'autres informations avec ICES. : NCEI partage des métadonnées, des vocabulaires contrôlés et des pratiques et principes de gestion pour les données et les métadonnées via l'OMM. : NCEI partage des pratiques et des principes de gestion des métadonnées et des données via l'IODE. : Le NCEI partage des données, des métadonnées, des vocabulaires contrôlés et des pratiques et principes de gestion des données via l'OHI. : NCEI collabore sur de nombreuses pratiques et principes de gestion des métadonnées et des données avec ESIP. : NCEI partage des métadonnées, des vocabulaires contrôlés et des pratiques et principes de gestion des données avec le NASA GCMD.

NCEI suit généralement les directives décrites dans le Procédure de la NOAA pour l'évaluation et l'approbation des archives scientifiques (2008). Le NCEI suit également une politique de réception et d'utilisation des données non-NOAA émises par notre organisation mère, le service national de satellite, de données et d'informations sur l'environnement de la NOAA (NESDIS). Cette politique établit des critères pour authentifier les données entrantes non-NOAA, assurer la cohérence et la durabilité et maintenir la sécurité. Une grande partie du processus d'évaluation est basée sur les informations que vous fournissez à NCEI avant de soumettre des données. NCEI prend en compte de nombreux facteurs, y compris (mais sans s'y limiter).

  • Quel type de données demandez-vous à NCEI d'archiver ? Pour les grandes catégories de types de données acquises par NCEI, veuillez vous référer à la politique de collecte d'archives NCEI.
  • Archivez-vous des données d'observation et des métadonnées originales, un « produit de données » développé à partir d'autres sources de données, ou les deux ? S'il s'agit d'un « produit de données », les données d'observation originales sont-elles archivées ailleurs et, si oui, où ?
  • S'agit-il d'une soumission unique d'un produit de données relativement petit (moins d'environ 20 Go au total) ou votre produit nécessiterait-il une soumission fréquemment mise à jour ou répétée de données nouvelles/révisées ? Cela aide le NCEI à vous conseiller sur le processus de soumission de données le plus approprié pour vos données.
  • Quelle est la taille (en Mo/Go/To/Po) du produit de données et/ou des données que vous demandez à NCEI d'archiver ?
  • Utilisez-vous une convention de nommage des fichiers cohérente pour les fichiers de vos données ? Veuillez décrire votre convention de nommage de fichier.
  • Quel format est utilisé pour représenter votre produit d'analyse de la distribution ? NCEI préfère les données dans des formats qui ne nécessitent pas de logiciel propriétaire spécifique pour la réutilisation.
  • Disposez-vous de métadonnées descriptives pour ces données et/ou produits ? Le NCEI utilise la famille de normes de métadonnées ISO 19115, avec les mots-clés du Global Change Master Directory (GCMD) de la NASA, pour décrire les fonds de données d'archives du NCEI.
  • Souhaitez-vous ou avez-vous besoin de services supplémentaires pour découvrir, accéder, visualiser ou distribuer votre produit d'analyse ou la suite standard d'outils de découverte et d'accès NCEI (par exemple, https, ftp, THREDDS, Live Access Server) serait-elle suffisante ?

Il existe de nombreux formats de fichiers « acceptables ». Il n'existe pas de format « taille unique », il est donc préférable d'utiliser un format de fichier standard, reconnu par la communauté et non spécifique au logiciel pour coder vos données. La liste NCEI des formats préférés, qui sont basés sur les directives de la National Archives and Records Administration et de la Library of Congress.


Est-il possible de répliquer les modifications de données d'une base de données avec des déclencheurs à l'aide de journaux binaires ?

Je suis chargé de minimiser le temps d'arrêt de la mise à jour de la base de données. Malheureusement, je ne peux pas utiliser la boîte à outils pt-online-schema-change car certaines tables de la base de données actuelle ont des déclencheurs MySQL qui modifient davantage les données d'autres tables récapitulatives pouvant utiliser des données antérieures.

J'essaie de rechercher si cette méthodologie est possible:

J'ai essayé d'activer les journaux binaires et de définir son format sur STATEMENT. Malheureusement, il n'enregistre pas les instructions SQL exécutées par les déclencheurs. Existe-t-il un moyen de consigner les instructions SQL déclenchées dans les journaux binaires ?


Abus de substance et santé mentale Archives de données

La recherche montre que la consommation de substances et les maladies mentales sont courantes aux États-Unis, affectant des millions de personnes chaque année. SAMHSA recueille des données par le biais de sources et d'enquêtes multiples et donne accès à des fichiers de données à usage public et à de la documentation pour soutenir une meilleure compréhension de la maladie mentale et des troubles liés à l'utilisation de substances en Amérique.

Si vous souhaitez lire les descriptions des différentes enquêtes, veuillez consulter la page Sources de données.

Publications avec des données SAMHSA

La liste des publications de SAMHDA fournit un accès rapide à une bibliographie des études évaluées par des pairs qui ont utilisé les données de SAMHSA pour faire avancer le domaine de la recherche liée à la santé mentale et à la consommation de substances.

Recherche de source de données

Vous ne savez pas par où commencer ? Utilisez l'outil de recherche de sources de données pour en savoir plus sur les sources de données SAMHSA et pour trouver des fichiers pertinents à usage public.


Les vues spatiales ont cessé de fonctionner lors de la mise à niveau vers 10.1

Nous sommes un environnement d'entrepôt de données où nous avons à la fois des données commerciales et spatiales dans la même géodatabase, mais les données commerciales ne sont pas gérées par GDB/SDE. Nous l'avons fait en tant que décision de conception, et cela a été soutenu par le personnel technique d'Esri. Quoi qu'il en soit, afin de prendre en charge nos applications SIG, nous avons construit notre propre ETL spatial personnalisé à l'aide de Python et ArcPy, puis à la fin du processus, les données sont chargées dans ArcSDE et toutes nos données commerciales et spatiales sont jointes via une vue spatiale à être consommé par ArcIMS, ArcGIS Server et .NET. Ce code fonctionne depuis des années et, à chaque mise à niveau, nous avons géré les modifications pour Python et ArcGIS Desktop au fur et à mesure de leur sortie. ArcGIS 10.1 nous a jeté une ride qui tue notre processus, et cela se produit de deux manières :

1) Notre code prend beaucoup plus de temps pour traiter les données, de quelques minutes dans certaines classes d'entités à HEURES. Cela va à l'encontre de l'idée d'une mise à niveau et nous examinerons les modifications apportées à ArcPy par rapport aux deux versions pour voir où certains problèmes de code pourraient survenir. Si nous en trouvons, nous irons sur le forum Geoprocessing.

Mais le deuxième problème 2) est celui qui nous fait vraiment mal. Lorsque nous chargeons les nouvelles données actualisées à l'aide de notre processus sur ArcSDE à l'aide de la connexion directe (comme nous le faisons depuis des années, comme depuis ArcGIS 9.0 en tant que services SDE, puis la connexion directe), les vues ont cessé de fonctionner. Dans ArcCatalog ou ArcMap, les vues semblent vides, ou si elles sont dessinées, vous ne pouvez pas effectuer de zoom avant, arrière ou panoramique car les entités, si elles sont présentes, disparaissent. Nous avons essayé de reconstruire les index spatiaux, aucun changement de comportement. Nous avons essayé de recréer les vues et de les recharger avec notre code (ce test est toujours en attente). J'ai fait des traces sur les requêtes qui sont générées lorsque vous affichez une vue spatiale, et je peux capturer que les sp ArcSDE qui appellent, joignent, etc. les données s'affichent dans SQL Server. Mais les outils ArcGIS ne les voient pas ou ne les affichent pas. Au moment où j'écris ceci, je me demande s'il s'agit d'un problème client, mais comme nous utilisons à la fois ArcGIS Server et ArcIMS, j'essaie de l'exclure. Quoi qu'il en soit, ce ne sera pas une mince affaire pour nous de devoir recréer toutes nos vues spatiales sur tous nos magasins de données, surtout si le chargement de données du lendemain produit le même problème.

donc je me demande, est-ce que quelqu'un a vu ce type de comportement erratique d'ArcSDE/ArcGIS après la mise à niveau vers 10.1 avec Spatial Views ? Quels changements de GDB ont été apportés qui ont pu affecter ceci ?

Donc, comme je l'ai déjà dit, nous sommes SQL Server 2008 R2, la boutique ArcGIS 10.1 et Python 2.7.

par MarcoBoeringa

Vous n'indiquez pas à partir de quelle version vous mettez à niveau (9.3 ? 10.0 ? quel service pack ?) et si vous avez installé ou non SP1 avec 10.1 et les correctifs applicables.

Quoi qu'il en soit, je sais que les vues multiversions sont passées de 10.0 à 10.1. Elles sont désormais non seulement appelées « Vues versionnées », mais les procédures stockées et fonctions associées dans le référentiel ArcSDE ont également subi des modifications. Les vues versionnées sont désormais également *entièrement automatiquement* créées dès que vous enregistrez une couche comme versionnée.

Ces changements sont liés à l'introduction du serveur de données spatiales ArcGIS et à une meilleure possibilité générale d'utiliser - et de modifier - ces vues par programmation et via SQL ou la programmation. Il y a maintenant une nouvelle option d'édition qui vous permet d'éditer la version DEFAULT via une vue versionnée (en fait, cette dernière chose n'est pas entièrement nouvelle mais avait des problèmes à 9.3.1 et ci-dessous, et ne semble que maintenant entièrement implémentée).

Cette page d'aide 10.1 parle de la nécessité de recréer les vues multiversionnées 10.1 en tant que vues versionnées afin d'être pleinement utilisables (voir l'une des remarques « Remarque »), donc ce changement peut avoir affecté vos vues spatiales (en supposant qu'elles utilisaient des vues multiversionnées ), et ils peuvent en effet avoir besoin d'être recréés.

J'essaierais vraiment de voir si vous pouvez créer un nouvel ensemble de données de test et une vue versionnée de style 10.1 en important une couche et en vous inscrivant comme versionnée. Utilisez ensuite l'option Query Layer de 10.1 pour ajouter les données à ArcMap, ou parcourez simplement la connexion à la base de données dans ArcCatalog et ajoutez à partir de là. Si cette couche avec sa vue versionnée 10.1 ne s'affiche toujours pas correctement, il peut y avoir un problème sous-jacent plus profond. S'il s'affiche correctement, vous savez que ce n'est pas la connexion à la base de données ou la fonctionnalité de vue versionnée en elle-même, mais peut-être quelque chose avec vos vues spatiales "héritées".

Merci pour la réponse. Nous avons effectué la mise à niveau d'ArcGIS 10, SP 5 vers ArcGIS 10.1 SP1 sur SQL Server 2008 R2. Pas de vues multi-versions, nous n'utilisons même pas beaucoup de comportement de géodatabase, les classes d'entités simples (points et polygones) sont les types de données que nous créons. Puisqu'il ne s'agit pas de vues versionnées, je ne sais pas quel avantage cela nous apporterait, mais nous avions pensé à créer une géodatabase 10.1, puis à y migrer toutes nos données, à exécuter notre code et à voir si le comportement se répète. Ce sera peut-être un test du week-end.

par MarcoBoeringa

Que se passe-t-il lorsque vous créez une nouvelle vue spatiale à l'aide des options désormais disponibles dans le menu contextuel d'une connexion à une base de données, comme décrit ici ? :

Vous pouvez également utiliser cette page comme référence rapide pour savoir quoi faire lorsque vous essayez l'option décrite dans le lien ci-dessus :

Exemple : Création d'une vue spatiale dans SQL Server à l'aide de SQL

Au fait, avez-vous changé de type de stockage (SDEBINARY vers SQL Server native "Geometry") ?

Que se passe-t-il lorsque vous créez une nouvelle vue spatiale à l'aide des options désormais disponibles dans le menu contextuel d'une connexion à une base de données, comme décrit ici ? :

Création d'une vue de base de données dans ArcGIS for Desktop
Les données s'affichent sous forme de tableau, aucun rendu spatial ne se produit.

Vous pouvez également utiliser cette page comme référence rapide pour savoir quoi faire lorsque vous essayez l'option décrite dans le lien ci-dessus :

Exemple : Création d'une vue spatiale dans SQL Server à l'aide de SQL

le problème avec la recréation des vues est que nous en avons beaucoup, plus de 30 qui devraient être recréées et nous ne savons pas si notre ETL exécute à nouveau les vues fonctionnera. On est encore en train de tester ça.

Au fait, avez-vous changé de type de stockage (SDEBINARY vers SQL Server native "Geometry") ?
Le stockage est toujours SDEBinary - nous n'avons même pas encore envisagé de le changer.

par MarcoBoeringa

Que se passe-t-il lorsque vous créez une nouvelle vue spatiale à l'aide des options désormais disponibles dans le menu contextuel d'une connexion à une base de données, comme décrit ici ? :

Création d'une vue de base de données dans ArcGIS for Desktop
Les données s'affichent sous forme de tableau, aucun rendu spatial ne se produit.

À 10.1, il est normal qu'une vue spatiale, ou d'ailleurs n'importe quelle vue de table ou de base de données avec une colonne spatiale, apparaisse initialement sous forme de table. Une fois que vous avez cliqué dessus, ArcGIS lira le(s) premier(s) enregistrement(s) et déterminera le type de géométrie et l'affichera dans l'arborescence du catalogue.

Ce comportement est dû au fait qu'ArcGIS ne peut pas "connaître" le type d'entité/géométrie à l'avance, car il n'est pas "stocké" comme dans une table enregistrée avec une géodatabase ESRI, où ces métadonnées système sont stockées dans le référentiel ArcSDE.

Mais de toute façon, les données devraient être rendues dans ArcCatalog, si ce n'est pas le cas même avec l'option standard "NouveauAffichage", alors il y a un problème plus profond.

Pour être honnête, je ne vois aucune raison pour laquelle l'ETL devrait influencer le fonctionnement d'une vue de base de données ou non. Les vues spatiales sont comme n'importe quelle autre vue de base de données normale. Ils stockent simplement l'instruction SQL nécessaire pour collecter ou traiter les tables et effectuer les jointures, etc. Si les tables sous-jacentes changent (enregistrements nouveaux ou supprimés), cela n'a aucune conséquence pour les instructions SQL, À MOINS qu'il y ait des changements de schéma (par exemple, des changements dans le champ noms, types de champs).

Cela pose quand même une question :

Pouvez-vous voir les modifications apportées au schéma, et en particulier les champs clés qui effectuent la jointure entre les tables spatiales existantes dans votre base de données et les données commerciales extraites entre l'ancienne et la nouvelle configuration ?

Peut-être que la jointure échoue à 10.1 ?

Il est peut-être temps de contacter le support ESRI.

J'ai déjà un incident ouvert avec le support technique d'Esri. Je ne pensais tout simplement pas que j'aurais été le premier à rencontrer ce problème avec Spatial Views et SQL Server 2008, ArcGIS 10.1 puisque 10.1 est sorti depuis si longtemps.

La table n'a jamais été convertie en table spatiale après avoir cliqué dessus. L'instruction select dans ArcGIS a les bonnes colonnes, elle ne la reconnaît tout simplement pas comme spatiale.

Les jointures sont toutes encore bonnes. Ils n'ont pas changé depuis environ 5 à 7 ans.

En plus de l'ETL spatial que nous avons créé, qui fonctionne depuis 2005 en chargeant les tables de base utilisées dans les vues pour la géographie/géométrie, et c'est pourquoi nous ne pouvons pas comprendre pourquoi il a cessé de fonctionner à 10.1. Ce dont nous ne sommes pas sûrs, c'est s'il s'agit d'un problème ArcGIS Desktop ? ou un problème SDE/GDB, car les tableaux montrent tous les enregistrements, mais le rendu des données est foiré.

par MarcoBoeringa

Je me demande s'il s'agit d'une sorte de problème de projection/référence spatiale, le SRID stocké des formes étant en quelque sorte perturbé?

Dans votre premier post, vous étiez un peu flou, suggérant que dans certains cas, vous avez vu des formes apparaître ? (" . Dans ArcCatalog ou ArcMap, les vues semblent vides, ou si elles sont dessinées, vous ne pouvez pas effectuer de zoom avant, arrière ou panoramique car les entités, si elles sont présentes, disparaissent. ")

Voyez-vous ou ne voyez-vous jamais des formes apparaître dans ArcMap / ArcCatalog ?

Je me demande s'il s'agit d'une sorte de problème de projection / référence spatiale, le SRID stocké des formes étant en quelque sorte foiré?

Dans votre premier post, vous étiez un peu flou, suggérant que dans certains cas, vous avez vu des formes apparaître ? (" . Dans ArcCatalog ou ArcMap, les vues semblent vides, ou si elles sont dessinées, vous ne pouvez pas effectuer de zoom avant, arrière ou panoramique car les entités, si elles sont présentes, disparaissent. ")

Voyez-vous ou ne voyez-vous jamais des formes apparaître dans ArcMap / ArcCatalog ?

Je suis un collègue de Joe et j'ai été au bout du bâton de conversion. En commençant par la réponse à la question immédiate ci-dessus :

Ça dépend . Dans certains cas, nous voyons l'entité initiale s'afficher lors de l'affichage de la vue spatiale dans sa totalité, mais tout changement d'étendue entraîne l'échec de certaines ou de toutes les entités.

Dans d'autres cas, les entités sont dessinées, mais les opérations d'identification ne parviennent jamais à trouver des entités à partir desquelles sélectionner des attributs. Dans de tels cas, la tentative d'affichage de la vue sous forme de tableau au lieu d'une carte affiche une table vide.

Dans d'autres cas encore, aucune caractéristique n'est jamais dessinée.

En aucun cas, nous n'avons modifié les conditions de jointure lorsque nous avons supprimé et recréé les vues spatiales lors de la conversion.

Dans tous les cas, les données sont (censées être) WGS84. Nous comptons sur les outils Esri pour détecter et gérer correctement cela lors de la migration des données.


Passons maintenant à l'histoire plus longue et plus sordide.

Nous avons essayé de supprimer les vues, de convertir les données, puis de recréer les vues. Ils semblent fonctionner au début, mais à l'instant où nous actualisons les données spatiales, ils échouent à nouveau. Notre méthode d'actualisation utilise des données commerciales et spatiales basées sur SQL comme entrées, des fichiers GDB pour créer les données, puis l'outil APPEND pour les ramener dans une classe d'entités existante dans SQL Server. Les vues sont construites sur ces classes d'entités existantes, qui sont vidées et rechargées chaque fois que les données sont actualisées plutôt que d'être supprimées et recréées, de sorte qu'il ne peut y avoir de changement de schéma une fois que les vues elles-mêmes ont été créées après la migration des données .

Un problème secondaire était que nous les avons créés lors de la première tentative avec le nouvel outil Créer une vue de base de données, mais les vues résultantes ne pouvaient pas être utilisées dans les opérations de jointure spatiale car elles n'apparaissaient pas dans la table SDE_LAYERS (et pourquoi le feraient-elles ?) . Les créer avec SDETABLE -o create_view a rendu l'outil Spatial Join heureux, mais quelque chose d'autre s'est cassé à la place.

Nous avons également testé la supposition que c'était peut-être des index spatiaux cassés qui étaient le coupable, et avons prouvé à notre satisfaction que ce n'était pas la cause. Notre méthode de test consistait à supprimer et recréer l'index spatial après un rechargement de données, laissant l'outil calculer les tailles de grille à partir des données rechargées.

À ce stade, nous avons abandonné l'idée de la conversion sur place et nous nous dirigeons vers la création de bases de données complètement nouvelles et vides dans un environnement isolé, de sorte qu'elles n'auront jamais subi de mises à niveau et de conversions SQL Server ou ArcGIS-- ils seront ArcGIS 10.1, SQL Server 2008R2 dès le départ. Nous prévoyons de créer de toutes nouvelles vues spatiales, encore une fois en utilisant SDETABLE, à partir des données nouvellement transférées une fois que les tables elles-mêmes ont été copiées. Une fois que tout sera prêt, nous utiliserons les nouvelles bases de données pour remplacer la version de production existante et, espérons-le, tout sera parfait.

Le problème auquel nous sommes maintenant confrontés est que l'écriture de données dans les nouvelles bases de données est incroyablement lente - seulement quelques entités par seconde lors de l'écriture de polygones de 2 100 sommets en moyenne par entité - et nous avons des millions d'entités à écrire. Nous ne pouvons probablement pas faire le travail dans un délai qui nous permet de maintenir notre calendrier de production de mise à jour des données régulièrement quotidiennes. (Joe y a fait allusion dans le premier message de ce fil, nous sommes à peu près sûrs maintenant que le type de données GEOMETRY est le coupable en fonction des autres fils que nous avons lus.)

Nous avons vu qu'il existe un correctif pour ArcGIS 10.1 lorsqu'il est utilisé avec SQL Server 2012 qui est censé résoudre ce problème, mais puisque nous sommes à SQL Server 2008R2, nous ne sommes pas allés l'obtenir.

Merci pour toute lumière que vous pouvez apporter sur ce problème épineux. Nous semblons être coincés entre deux plans d'action également non viables !


Azure propose la géoréplication, que vous pouvez utiliser pour répliquer votre base de données dans une autre région.

La fonctionnalité de géo-réplication active implémente un mécanisme pour fournir une redondance de base de données au sein de la même région Microsoft Azure ou dans différentes régions (géo-redondance).

La géo-réplication active réplique de manière asynchrone les transactions validées à partir d'une base de données jusqu'à quatre copies de la base de données sur différents serveurs, en utilisant l'isolation d'instantané validée en lecture (RCSI) pour l'isolation

vous pouvez également utiliser une base de données secondaire pour les opérations de lecture

Une application peut accéder à une base de données secondaire pour des opérations en lecture seule en utilisant des principaux de sécurité identiques ou différents utilisés pour accéder à la base de données principale. Les bases de données secondaires fonctionnent en mode d'isolement de snapshot pour garantir que la réplication des mises à jour du primaire (relecture du journal) n'est pas retardée par les requêtes exécutées sur le secondaire.


4 réponses 4

This is an extremely broad topic, so I'm going to try to distill it down to just a handful of points:

There are (basically) two ways of generating sounds electronically: sampling et synthèse. Confusingly, we tend to call all of this sound generation "synthesis", as you are generally working with a "synthesizer".

You will want to read Wikipedia - Synthesizer, but here are some cliff notes:

Échantillonnage is when you literally record the sound of the instrument you want to play into a digital waveform (how all audio is stored digitally), and your software plays back the waveform (or sample), but tweaks it according to how you want it to be played back, either with pitch shifting, looping, or modulation. You can have as few as one sample for an entire digital instrument, or as many as multiple samples for every single note on the keyboard for different dynamic levels or qualities of attack. Nearly all digital pianos use high-quality samples to generate sound, and there are very expensive libraries of orchestral samples that one can purchase if they need to synthesize a full orchestra.

Synthesis: Sampling is technically one type of synthèse. Other types (rather than play back recordings of a particular sound) generate basic waveforms like a sine wave, square wave, and sawtooth wave, often at different frequencies, and add them together while passing them through various filters and other effects to result in a distinct waveform that represents a timbre, or quality of sound. When you are trying to replicate acoustic instruments this way, you call it "imitative synthesis". Usually, though, one would use this kind of synthesis to generate sounds that cannot be generated by an acoustic instrument. Sampling technology is far more effective at replicating acoustic sounds than imitative synthesis.

Based on your question, it sounds like you are trying to achieve imitative synthesis. I'm not sure what you mean by your A sounding "fake" -- if it's at 440Hz, it's just as real of an A as any other A, but chances are it just sounds like a sine wave.

For an extremely simple exercise for the reader, try synthesizing an "organ" sound by playing your 1 amplitude 440Hz sine wave and a .2 amplitude 660Hz sine wave at the same time. It's a long way from there to a piano. You'll want to look at the waveform for a single acoustic piano note (using a waveform editor like Audacity), compare it to what you're generating with your software, and then figure out how to best tweak your software to approach the acoustic piano waveform.

It would also be a good idea to become familiar with some real audio synthesis software first, like Reason, Csound, Max/MSP, or Pure Data. You'll also want to read up on the harmonic series.


Updated 2018 Withholding Tables Now Available Taxpayers Could See Paycheck Changes by February

WASHINGTON — The Internal Revenue Service today released Notice 1036 PDF , which updates the income-tax withholding tables for 2018 reflecting changes made by the tax reform legislation enacted last month. This is the first in a series of steps that IRS will take to help improve the accuracy of withholding following major changes made by the new tax law.

The updated withholding information, posted today on IRS.gov PDF , shows the new rates for employers to use during 2018. Employers should begin using the 2018 withholding tables as soon as possible, but not later than Feb. 15, 2018. They should continue to use the 2017 withholding tables until implementing the 2018 withholding tables.

Many employees will begin to see increases in their paychecks to reflect the new law in February. The time it will take for employees to see the changes in their paychecks will vary depending on how quickly the new tables are implemented by their employers and how often they are paid — generally weekly, biweekly or monthly.

The new withholding tables are designed to work with the Forms W-4 that workers have already filed with their employers to claim withholding allowances. This will minimize burden on taxpayers and employers. Employees do not have to do anything at this time.

“The IRS appreciates the help from the payroll community working with us on these important changes,” said Acting IRS Commissioner David Kautter. “Payroll withholding can be complicated, and the needs of taxpayers vary based on their personal financial situation. In the weeks ahead, the IRS will be providing more information to help people understand and review these changes."

The new law makes a number of changes for 2018 that affect individual taxpayers. The new tables reflect the increase in the standard deduction, repeal of personal exemptions and changes in tax rates and brackets.

For people with simpler tax situations, the new tables are designed to produce the correct amount of tax withholding. The revisions are also aimed at avoiding over- and under-withholding of tax as much as possible.
To help people determine their withholding, the IRS is revising the withholding tax calculator on IRS.gov. The IRS anticipates this calculator should be available by the end of February. Taxpayers are encouraged to use the calculator to adjust their withholding once it is released.

The IRS is also working on revising the Form W-4. Form W-4 and the revised calculator will reflect additional changes in the new law, such as changes in available itemized deductions, increases in the child tax credit, the new dependent credit and repeal of dependent exemptions.

The calculator and new Form W-4 can be used by employees who wish to update their withholding in response to the new law or changes in their personal circumstances in 2018, and by workers starting a new job. Until a new Form W-4 is issued, employees and employers should continue to use the 2017 Form W-4.

In addition, the IRS will help educate taxpayers about the new withholding guidelines and the calculator. The effort will be designed to help workers ensure that they are not having too much or too little withholding taken out of their pay.

For 2019, the IRS anticipates making further changes involving withholding. The IRS will work with the business and payroll community to encourage workers to file new Forms W-4 next year and share information on changes in the new tax law that impact withholding.


Avec un debugger you can step through the program assembly interactively.
Avec un disassembler, you can view the program assembly in more detail.
Avec un decompiler, you can turn a program back into partial source code, assuming you know what it was written in (which you can find out with free tools such as PEiD - if the program is packed, you'll have to unpack it first OR Detect-it-Easy if you can't find PEiD anywhere. DIE has a strong developer community on github currently).

Debuggers:

    , free, a fine 32-bit debugger, for which you can find numerous user-made plugins and scripts to make it all the more useful. , free, a quite capable debugger by Microsoft. WinDbg is especially useful for looking at the Windows internals, since it knows more about the data structures than other debuggers. , SICE to friends. Commercial and development stopped in 2006. SoftICE is kind of a hardcore tool that runs beneath the operating system (and halts the whole system when invoked). SoftICE is still used by many professionals, although might be hard to obtain and might not work on some hardware (or software - namely, it will not work on Vista or NVIDIA gfx cards).

Disassemblers:

    (commercial) - top of the line disassembler/debugger. Used by most professionals, like malware analysts etc. Costs quite a few bucks though (there exists free version, but it is quite quite limited) (free) - a bit dated but gets the job done. I believe W32Dasm is abandonware these days, and there are numerous user-created hacks to add some very useful functionality. You'll have to look around to find the best version.

Decompilers:

  • Visual Basic: VB Decompiler, commercial, produces somewhat identifiable bytecode.
  • Delphi: DeDe, free, produces good quality source code.
  • C: HexRays, commercial, a plugin for IDA Pro by the same company. Produces great results but costs a big buck, and won't be sold to just anyone (or so I hear).
  • .NET(C#): dotPeek, free, decompiles .NET 1.0-4.5 assemblies to C#. Support for .dll, .exe, .zip, .vsix, .nupkg, and .winmd files.

Some related tools that might come handy in whatever it is you're doing are resource editors such as ResourceHacker (free) and a good hex editor such as Hex Workshop (commercial).

Additionally, if you are doing malware analysis (or use SICE), I wholeheartedly suggest running everything inside a virtual machine, namely VMware Workstation. In the case of SICE, it will protect your actual system from BSODs, and in the case of malware, it will protect your actual system from the target program. You can read about malware analysis with VMware here.

Personally, I roll with Olly, WinDbg & W32Dasm, and some smaller utility tools.

Also, remember that disassembling or even debugging other people's software is usually against the EULA in the very least :)

psoul's excellent post answers to your question so I won't replicate his good work, but I feel it'd help to explain why this is at once a perfectly valid but also terribly silly question. After all, this is a place to learn, right?

Modern computer programs are produced through a series of conversions, starting with the input of a human-readable body of text instructions (called "source code") and ending with a computer-readable body of instructions (called alternatively "binary" or "machine code").

The way that a computer runs a set of machine code instructions is ultimately very simple. Each action a processor can take (e.g., read from memory, add two values) is represented by a numeric code. If I told you that the number 1 meant scream and the number 2 meant giggle, and then held up cards with either 1 or 2 on them expecting you to scream or giggle accordingly, I would be using what is essentially the same system a computer uses to operate.

A binary file is just a set of those codes (usually call "op codes") and the information ("arguments") that the op codes act on.

Now, assembly language is a computer language where each command word in the language represents exactly one op-code on the processor. There is a direct 1:1 translation between an assembly language command and a processor op-code. This is why coding assembly for an x386 processor is different than coding assembly for an ARM processor.

Disassembly is simply this: a program reads through the binary (the machine code), replacing the op-codes with their equivalent assembly language commands, and outputs the result as a text file. It's important to understand this if your computer can read the binary, then you can read the binary too, either manually with an op-code table in your hand (ick) or through a disassembler.

Disassemblers have some new tricks and all, but it's important to understand that a disassembler is ultimately a search and replace mechanism. Which is why any EULA which forbids it is ultimately blowing hot air. You can't at once permit the computer reading the program data and also forbid the computer reading the program data.

(Don't get me wrong, there have been attempts to do so. They work as well as DRM on song files.)

However, there are caveats to the disassembly approach. Variable names are non-existent such a thing doesn't exist to your CPU. Library calls are confusing as hell and often require disassembling further binaries. And assembly is hard as hell to read in the best of conditions.

Most professional programmers can't sit and read assembly language without getting a headache. For an amateur it's just not going to happen.

Anyway, this is a somewhat glossed-over explanation, but I hope it helps. Everyone can feel free to correct any misstatements on my part it's been a while. )


Voir la vidéo: Valid #sotsid, saad sotsid!