Thank you for contributing to the Open Data Index, a joint community effort undertaken by contributors around the world, just like you.
In this second edition of the Local Open Data Index for Brazil, it helps quantify and compare the openness of government data. It is both an advocacy tool to promote open data and a research tool to evaluate it. It is important, therefore, that the data submitted to the Index is as accurate as possible.
The following tutorial will help you make your first contributions to the Open Data Index.
Do not be afraid to make mistakes; a global community of contributors past and present are are here to help you out every step of the way in the Open Data index forum :-)
The index is built on two units — places, that represent national governments or other official jurisdictions, and datasets. In this year’s Index we have 18 datasets representing different governmental themes. Each dataset has a description followed by a list characteristics. These characteristics describes the dataset and suppose to assist you in finding the right dataset to evaluate. For more information about each dataset, please refer to our methodology page. If you are struggling to find the most suitable dataset in your place, drop a note in the Open Data index forum which is monitored by the Index community, who can often offer you guidance and help. You will also find the Index staff in the forum, so don’t be shy.
Each of these datasets are first evaluated by the contributor with nine different questions. After this process the data is sent for review. This year we have an expert reviewer for each dataset. This means that reviewers will check the submissions from all places that were submitted under a given dataset (e.g. transport, government spending, elections, etc.).
After the review stage, we plan to send the Index to governments for commenting. This is done to check for errors that might have come up. The final decision regarding a dataset will be in the reviewer hands. After all of the reviews are completed and the datasets are evaluated by their respective governments, a place’s final score will be shown publicly on the Index website.
In the current Index you can contribute in 3 different ways:
Enter a new submission for 2017: you’ll see an ‘Add’ button under the dataset Update a past submission with new information for 2017: You'll see a colored block that reflects the last year that there has been a recorded score for the place's dataset. Click the block and you'll see options to view or update the data, choose 'Update". Leave a comment: you’ll see a ‘Review’ button under the dataset (we will explain about this later)
Add a new submission when there is no data on a specific dataset in a country or, if there is already data in a category where you have more updated information, you can propose an revision for 2017 (see further down in this tutorial).
The survey website of the 2017 index is -[https://br-city.survey.okfn.org/)
Select a place and a dataset from the homepage.
Login either with your Google account or Facebook account. (You don’t need to log in to leave a comment.)
Start answering the questions about the dataset.
You’ll be asked a series of questions about the dataset you have located to help determine how it is scored. There is a help text prompt next to each question in the “information” column. A new feature for 2017 is that we’ve built some of the questionnaire logic directly into the interface, which should give you more confidence in your responses.
Below, you will find further tips for each specific question.
Does the data exist? If you choose “yes”, you will be asked to enter the data publisher, a title and a brief description and then you will be guided through the remainder of the questions.
If you choose “no”, your submission will be recorded as such. It is very important to know the data does not exist, so please be sure to indicate so rather than leave the entry blank if you have made an honest effort to look for it but can not locate the dataset.
How do I know if the data exist?
Most governmental data can be found on the national government data portal (such as data.gov.uk). Try to search these portals first.
If a country doesn’t have a data portal or the data is not on their portal, look for the data on specific government departmental websites. For example, look for budget data on your national treasury website.
If you can’t find the data on a website, email the relevant department and ask them about the dataset and whether it’s online.
If email isn’t an option, call the relevant department; sometimes you can get a better response on the phone than on email.
Still can’t find the data or you didn’t get an answer from the government? Try one last time by using your favourite search engine.
Is the data in digital form? Choose ‘yes’ if the data exists in any digital format, even if it can’t be accessed on the Internet. Data can be digital, but not accessible online.
If you choose “no” you’ll notice a couple questions greyed out because if the data isn’t digital, by default it is not online, it is not machine readable, nor is it available in bulk. Move on to the next question.
How do I know if the data is in digital format?
If the data exists, but only on paper, it’s not digital! If you found the data on the Internet, it’s definitely digital, even if it’s just scanned versions of paper documents. Some data might be in digital format on a private government network, but not available publicly on the Internet. If you are aware that the data is digital somewhere (for instance, if a government official tells you so), then mark this one “yes” and add a note about how you acquired that information and any relevant contact details or links.
Is the data publicly available?
Choose “yes” if the data is made available to the public in any format without restrictions.
If you choose “no” you’ll notice a couple questions will ‘disappear’ because that implies that the data is not available for free, is not online, is not openly licensed, nor available in bulk.
How do I know if the data is publicly available?
If you need a password or some other form of permissions to access the data it’s not publicly available. If the data is only available in paper form without any restrictions on the number of copies you can make, it’s publicly available. If there are limits on photocopying, it’s not considered publicly available. If you need to make a freedom of information (FOIA) request to access the data, it is not publicly available. If the data is only available to government officials and not citizens, it is not publicly available.
Is the data available for free?
Choose “yes” if the data is available without any cost.
Choose “no” if there is any cost involved in accessing the data. You’ll notice that the openly licensed question is greyed out because being available at no cost is a key provision of the Open Definition and open licensing.
Is the data available online?
Choose “yes” if the data is available on the Internet and you will be prompted to add the url that links to it.
Choose “no” if the data is not available anywhere on the Internet.
How do I know if the data is available online?
If the data is publicly available (see above) and can be freely accessed on the Internet, it is available online. If the data is available in digital format, but not available on a public website, it is not considered to be available online.
Is the data machine readable?
Choose “yes” if the data is in a format that can be easily processed by a computer.
Choose “no” if the file format can not be easily processed by a computer.
How do I know if the data is in a machine readable format?
The easiest way to answer this question is to look at the dataset’s file type.
As a rule of thumb the following file types are machine readable: .XLS .CSV .JSON .XML The following formats are NOT machine readable: .HTML .PDF .DOC .GIF .JPEG .PPT If your dataset is a different file type and you don’t know if it’s machine readable or not, ask in the Open Data Census forum thread.
Is the data available in bulk?
Choose “yes” if the entire dataset can be downloaded at once.
Choose “no” if you can not access the database in its entirety.
How do I know if the data is available in bulk?
If you aren’t able to download a single file that contains the entirety of the dataset you are looking for, it is not available in bulk. Often times governments will provide access to their data through an online interface. If access is restricted to querying a web form and retrieving a only a subset of results at a time from a very large database, the data is considered to not be available in bulk.
Is the data openly licensed?
Choose “yes” if the data is licensed in a way that conforms to the Open Definition.
Choose “no” if the data is protected under a license that does not conform to the Open Definition.
How can I find the licensing information?
Usually, a license or Terms & Conditions can be found at the bottom of the website (in the footer) or under the site’s “About” section. If the site has a search function or a sitemap, those are good places to look as well. If there is no visible license or the license is simply under the country's name (for example — “Copyrighted under the state of Lebanon”) and there are no terms and condition or any other information on the site, the data is not open and you should answer “no”.
How do I know if the data is openly licensed?
In order for data to be openly licensed, it needs to be free to use, reuse, and free to redistribute. The Open Definition website lists the licenses that are certified open. If Creative Commons (CC) licences are used then the data is generally openly licensed. If the non-commercial CC licenses (the ones with “NC” or “ND” in their names) are used, then the data is NOT considered openly licensed. These are partially open, but not fully open according to The Open Definition. Sometimes countries do not make use of Creative Commons licensing, but the terms and conditions do allow use, re-use and distribution. In that case we suggest you write to the Open Data Census forum thread and get feedback from the community about how to answer this question.
Is the data provided on a timely and up to date?
Choose “yes” if the data is relevant and complete for the year or time period that it claims to represent.
Choose “no” if the data is outdated or otherwise not representative of the stated or a reasonable time period.
How do I know if the data is timely and up to date?
Check the date-stamp on the data (see below if that’s not obvious). It’s 2015, if the data doesn’t seem relevant for the current year, mark a “no”. It’s important to remember that not all datasets need to be updated with the same frequency. Transportation data can be updated on a daily basis while postal codes might not change for many years. Do your best to determine what is reasonable for a given dataset. Does the data align with how your country’s government works in a particular area? If national budgets are determined yearly, there should be yearly data, if they’re determined every two years, then a two year period for the data would be considered timely and up to date.
How to find when the data was published?
If the dataset was found on a government portal, there will most often be a timestamp attached to it. If the data was found on a government site, sometimes the date will be written next to the dataset link or a release date might be listed in some related content (like a press release or news clip). Sometimes the date stamp is within the dataset itself. For example, a tab in a spreadsheet that is named for the date it represents. You can also download the data and find the creation date of the file. This might not represent the right date but give you some useful clues. Use your best judgement and leave thorough comments about your assessment. Lastly, sometimes there are no timestamps at all. In that case, it might be most fair to mark it not timely or up-to-date.
Please join the conversation in the Open Data Index forum if you have any questions or need some help.
The Index allows only one submission per one dataset. However, you can still help by commenting on a current submission and propose changes. Leaving detailed notes in the comment field goes a long way in supporting work on the Index during the review process.
Here’s some tips for leaving good comments:
If you’ve determined that a particular dataset does not exist, let us know where you did look and what factors led you to believe that it doesn’t. If the dataset is available in digital form but not available online, let us know what format the data is available in and provide contact information or further instructions on how one could get a hold of the data. If the dataset is not publicly available, let us know how one could get a hold of the data, if at all. If the data is only available through a freedom of information request (FOIA), give us an indication of what is involved in making that request. If you are unsure whether or not a file type is machine readable or not, mark ‘no’ as an answer and explain your rationale in the comment section. If the dataset is not available in bulk, describe what is available and how to access it, including links. If you are unsure as to whether a license is open or not, answer ‘no’ and indicate why in the comments field. Include information and/or links to licenses or terms of use pages so the reviewer can quickly make a second assessment. Let us know why you think the data is either made available in a timely manner or not. Different places have different legislative and governmental spending cycles so it’s important for us to understand the local context as much as possible before making a judgement.
[PT]
Obrigado por contribuir com o Índice de Dados Abertos, um esforço comunitário conjunto realizado por colaboradores em todo o mundo, assim como você. Esta segunda edição do Índice de Dados Abertos do Brasil, ajuda a quantificar e comparar a abertura dos dados do governo. É uma ferramenta de ativismo para promover dados abertos e uma ferramenta de pesquisa para avaliá-lo. É importante, portanto, que os dados enviados ao Índice sejam tão precisos quanto possível. O tutorial a seguir ajudará você a fazer suas primeiras contribuições para o Open Data Index. Não tenha medo de cometer erros; uma comunidade global de colaboradores passado e presente está aqui para ajudá-lo em cada passo do caminho :-) fórum do Índice de Dados Abertos
O índice é construído em duas unidades - lugares, que representam governos nacionais ou outras jurisdições oficiais e conjuntos de dados. No índice deste ano, temos 17 conjuntos de dados que representam diferentes temas governamentais. Cada conjunto de dados possui uma descrição seguida de uma lista de características. Essas características descrevem o conjunto de dados e supõe para que você o ajude a encontrar o conjunto de dados certo para avaliar. Para obter mais informações sobre cada conjunto de dados, consulte a nossa página de metodologia. Se você está tendo dificuldades para encontrar o conjunto de dados mais adequado em seu lugar, solte uma nota no Índice de Dados Abertos que é monitorado pela comunidade do Índice, que muitas vezes pode oferecer orientação e ajuda. Você também encontrará a equipe do Índice no fórum, então não seja tímido. Cada um desses conjuntos de dados é avaliado pela primeira vez pelo colaborador com nove perguntas diferentes. Após esse processo, os dados são enviados para revisão. Este ano, temos um revisor especializado para cada conjunto de dados. Isso significa que os revisores verificarão os envios de todos os lugares que foram submetidos em um determinado conjunto de dados (por exemplo: transporte, gastos do governo, eleições, etc.). Após a fase de revisão, planejamos enviar o Índice aos governos para comentários. Isso é feito para verificar se há erros que surgiram. A decisão final sobre um conjunto de dados estará nas mãos do revisor. Depois de todas as revisões serem concluídas e os conjuntos de dados avaliados pelos respectivos governos, o resultado final de um lugar será mostrado publicamente no site do Índice.
No índice atual, você pode contribuir de 3 maneiras diferentes: Digite um novo envio para 2017 : você verá um botão 'Adicionar' no conjunto de dados Atualize uma submissão passada com novas informações para 2017 : Você verá um bloco colorido que reflete o último ano em que houve uma informação gravada para o conjunto de dados do local. Clique no bloco e você verá opções para visualizar ou atualizar os dados, escolha 'Atualizar'. Deixe um comentário : você verá um botão "avaliação" no conjunto de dados (explicaremos isso mais tarde) Adicione um novo envio quando não há dados em um conjunto de dados específico em um país ou, se já houver dados em uma categoria onde você tenha mais informações atualizadas, você pode propor uma revisão para 2017 (veja mais abaixo neste tutorial). O site da pesquisa do índice 2017 é - [https://br-city.survey.okfn.org/)
Os dados existem?
Se você escolher "sim", você será solicitado a inserir o editor dos dados, um título e uma breve descrição e, em seguida, você será guiado pelo restante das perguntas. Se você escolher "não", sua apresentação será registrada como tal. É muito importante saber que os dados não existem, por isso, certifique-se de indicar, em vez de deixar a entrada em branco, se você fez um esforço honesto para procurá-la, mas não pode localizar o conjunto de dados.
Como vou saber se os dados existem?
A maioria dos dados governamentais podem ser encontrados no portal de dados do governo nacional (como data.gov.uk). Tente pesquisar esses portais primeiro. Se um país não tiver um portal de dados ou os dados não estiverem em seu portal, procure os dados em sites de departamento específicos do governo. Por exemplo, procure dados orçamentários no site do tesouro nacional. Se você não conseguir encontrar os dados em um site, envie um e-mail para o departamento relevante e pergunte sobre o conjunto de dados e se ele está online. Se o email não for uma opção, ligue para o departamento relevante; às vezes você pode obter uma resposta melhor no telefone do que no e-mail. Ainda não pode encontrar os dados ou não recebeu uma resposta do governo? Experimente uma última vez usando seu mecanismo de pesquisa favorito.
Os dados estão em formato digital?
Escolha 'sim' se os dados existem em qualquer formato digital, mesmo que não possa ser acessado na Internet. Os dados podem ser digitais, mas não acessíveis on-line. Se você escolher "não", você notará algumas perguntas acinzentadas, porque se os dados não são digitais, por padrão, não estão online, não são processáveis por máquina, nem está disponível em massa. Passe para a próxima pergunta.
Como saber se os dados estão em formato digital?
Se os dados existem, mas apenas no papel, não é digital! Se você encontrou os dados na Internet, são definitivamente digitais, mesmo que sejam apenas versões digitalizadas de documentos em papel. Alguns dados podem estar em formato digital em uma rede de governo privado, mas não estão disponíveis publicamente na Internet. Se você está ciente de que os dados são digitais em algum lugar (por exemplo, se um funcionário do governo te disser), marque esse "sim" e adicione uma nota sobre como você adquiriu essa informação e quaisquer detalhes de contato relevantes ou links.
Os dados estão disponíveis publicamente?
Escolha "sim" se os dados forem disponibilizados ao público em qualquer formato sem restrições. Se você escolher "não", você notará que algumas perguntas vão "desaparecer", porque isso implica que os dados não estão disponíveis de graça, não está online, não está licenciado, nem está disponível em massa.
_ Como saber se os dados estão disponíveis publicamente?
Se você precisar de uma senha ou alguma outra forma de permissão para acessar os dados, não estão disponíveis publicamente. Se os dados estiverem disponíveis apenas em papel, sem restrições sobre o número de cópias que você pode fazer, estão disponíveis publicamente. Se houver limites na fotocópia, não é considerado publicamente disponível. Se você precisa fazer um pedido de liberdade de informação (FOIA) para acessar os dados, ele não está disponível publicamente. Se os dados estiverem disponíveis apenas para funcionários públicos e não cidadãos, não está disponível publicamente.
Os dados estão disponíveis gratuitamente?
Escolha "sim" se os dados estiverem disponíveis sem nenhum custo. Escolha "não" se houver qualquer custo envolvido no acesso aos dados. Você notará que a questão com licença aberta está acinzentada porque estar disponível sem nenhum custo é uma disposição chave da Definição de Abertura e do licenciamento aberto.
Os dados estão disponíveis on-line?
Escolha "sim" se os dados estiverem disponíveis na Internet e você será solicitado a adicionar o URL que o vincula. Escolha "não" se os dados não estiverem disponíveis em nenhum lugar da Internet.
Como saber se os dados estão disponíveis on-line?
Se os dados estiverem disponíveis publicamente (veja acima) e podem ser acessados gratuitamente na Internet, ele está disponível on-line. Se os dados estiverem disponíveis em formato digital, mas não disponíveis em um site público, não é considerado disponível on-line.
Os dados são processáveis por máquina?
Escolha "sim" se os dados estiverem em um formato que possa ser facilmente processado por um computador. Escolha "não" se o formato do arquivo não puder ser facilmente processado por um computador.
Como saber se os dados estão em formato legível por máquina?
A maneira mais fácil de responder a esta pergunta é olhar para o tipo de arquivo do conjunto de dados. Como regra geral, os seguintes tipos de arquivos são processáveis por máquina: .XLS .CSV .JSON .XML Os seguintes formatos NÃO são processáveis por máquina: .HTML .PDF .DOC .GIF .JPEG .PPT Se o seu conjunto de dados for um tipo de arquivo diferente e você não sabe se é legível por máquina ou não, pergunte no tópico do fórum Censo de Dados Abertos.
Os dados estão disponíveis em massa?
Escolha "sim" se todo o conjunto de dados pode ser baixado de uma só vez. Escolha "não" se você não pode acessar o banco de dados na sua totalidade.
Como saber se os dados estão disponíveis em massa (bulk)?
Se você não conseguir baixar um único arquivo que contenha a totalidade do conjunto de dados que você está procurando, ele não está disponível em massa. Muitas vezes, os governos fornecerão acesso aos seus dados através de uma interface online. Se o acesso é restrito à consulta de um formulário da Web e ao recuperar apenas um subconjunto de resultados por vez a partir de um banco de dados muito grande, os dados são considerados como não disponíveis em massa.
Os dados são abertamente licenciados?
Escolha "sim" se os dados forem licenciados de acordo com a Definição de Abertura. Escolha "não" se os dados estiverem protegidos por uma licença que não esteja em conformidade com a Definição Abertura.
Como posso encontrar as informações de licenciamento?
Normalmente, uma licença ou Termos e Condições podem ser encontrados na parte inferior do site (no rodapé) ou na seção "Sobre" do site. Se a página tiver uma função de pesquisa ou um mapa de página, esses são bons lugares para procurar também. Se não houver uma licença visível ou a licença estiver simplesmente sob o nome do país (por exemplo - "Direitos autorais sob o estado do Líbano") e não há termos e condições ou qualquer outra informação no site, os dados não estão abertos e você deve responder "não".
Como saber se os dados estão abertamente licenciados?
Para que os dados sejam abertamente licenciados, ele precisa ser livre para usar, reutilizar e redistribuir gratuitamente. O site Open Definition (Definições de Abertura) lista as licenças abertas. Se as licenças Creative Commons (CC) forem usadas, os dados geralmente são abertamente licenciados. Se as licenças CC não comerciais (as que possuem "NC" ou "ND" em seus nomes) são usadas, então os dados NÃO são considerados abertamente licenciados. Estes são parcialmente abertos, mas não totalmente abertos de acordo com a definição de abertura. Às vezes, os países não utilizam o licenciamento Creative Commons, mas os termos e condições permitem o uso, reutilização e distribuição. Nesse caso, sugerimos que você escreva no tópico Censo de Dados Abertos e receba comentários da comunidade sobre como responder a esta pergunta.
Os dados são fornecidos em tempo hábil e atualizados?
Escolha "sim" se os dados forem relevantes e completos para o ano ou período que ele pretende representar. Escolha "não" se os dados estiverem desatualizados ou de outra forma não representativos do prazo declarado ou de um período de tempo razoável.
Como saber se os dados estão em tempo hábil e atualizados? _
Verifique o carimbo de data nos dados (veja abaixo se isso não é óbvio). É 2015, se os dados não parecem relevantes para o ano atual, marque um "não". É importante lembrar que nem todos os conjuntos de dados precisam ser atualizados com a mesma frequência. Os dados sobre transporte podem ser atualizados diariamente, enquanto os códigos postais podem não mudar por muitos anos. Faça o seu melhor para determinar o que é razoável para um determinado conjunto de dados. Os dados se alinham com o funcionamento do governo do seu país em uma área específica? Se os orçamentos nacionais forem determinados anualmente, deve haver dados anuais, se forem determinados a cada dois anos, então um período de dois anos para os dados seria considerado oportuno e atualizado
_Como encontrar quando os dados foram publicados? _
Se o conjunto de dados foi encontrado em um portal do governo, o mais frequentemente será um carimbo da hora (timestamp) anexado a ele. Se os dados foram encontrados em um site governamental, às vezes a data será escrita ao lado do link do conjunto de dados ou uma data de publicação pode estar listada em algum conteúdo relacionado (como um comunicado oficial ou um clip de notícias). Às vezes, o selo de data está dentro do próprio conjunto de dados. Por exemplo, uma guia em uma planilha que é nomeada para a data que ela representa. Você também pode baixar os dados e encontrar a data de criação do arquivo. Isso pode não representar a data certa, mas dar-lhe algumas pistas úteis. Use seu melhor julgamento e deixe comentários detalhados sobre sua avaliação. Por fim, às vezes não há marcações de tempo. Nesse caso, pode ser mais justo marcar como não oportuno ou não atualizado. Junte-se à conversa no [Fórum do Índice de Dados Abertos] (https://discuss.okfn.org/c/open-data-index) se você tiver alguma dúvida ou precisar de alguma ajuda.
O Índice permite apenas um envio por um conjunto de dados. No entanto, você ainda pode ajudar, comentando um envio atual e propor mudanças. Deixar notas detalhadas no campo de comentários é um excelente caminho no suporte ao trabalho no Índice durante o processo de revisão. Aqui estão algumas dicas para deixar bons comentários: Se você considerou que um determinado conjunto de dados não existe, deixe-nos saber onde você olhou e quais fatores o levaram a acreditar que não. Se o conjunto de dados estiver disponível em formato digital, mas não disponível on-line, informe-nos sobre o formato em que os dados estão disponíveis e forneça informações de contato ou instruções adicionais sobre como se pode obter os dados. Se o conjunto de dados não estiver disponível publicamente, deixe-nos saber como se poderia obter os dados, se for o caso. Se os dados estiverem disponíveis somente através de uma solicitação de liberdade de informação (FOIA), nos dê uma indicação do que está envolvido na realização desse pedido. Se você não tem certeza se um tipo de arquivo é ou não legível por máquina, marque 'não' como uma resposta e explique seu raciocínio na seção de comentários. Se o conjunto de dados não estiver disponível em massa, descreva o que está disponível e como acessá-lo, incluindo links. Se você não tiver certeza se uma licença está aberta ou não, responda 'não' e indique o porquê no campo de comentários. Inclua informações e / ou links para licenças ou páginas de termos de uso para que o revisor possa rapidamente fazer uma segunda avaliação. Deixe-nos saber por que você acha que os dados estão disponíveis em tempo hábil ou não. Lugares diferentes têm diferentes ciclos de gastos legislativos e governamentais, então é importante para nós entender o contexto local tanto quanto possível antes de fazer um julgamento.