MapReduce w przykładach

Źródło: Tom Gersic, Big Data Made Small with Heroku, DynamoDB, and Elastic Map Reduce

It’s impossible to overstress this:
80% of the work in any data project is in cleaning the data.

— DJ Patil, „Data Jujitsu”

1. Bzyl, Włodzimierz. 4 książki z Project Gutenberg.
2. Bełcik, Jakub.
3. Białkowski, Dominik.
4. Brzeziński, Damian.
5. Cała, Mariusz.
6. Dermont, Jacek. Lista anime.
7. Detlaf, Krzysztof.
8. Dępczyk, Michał.
9. Dobrzycki, Wojciech.
10. Dolata, Jędrzej.
11. Domurat, Szymon.
12. Duwe, Oskar.
13. Elszkowski, Adrian.
14. Gałka, Jacek.
15. Głowacki, Michał.
16. Gniado, Bartosz.
17. Groszek, Rafał.
18. Januszewski, Tomasz.
19. Jaźwiński, Robert.
20. Karczewski, Kamil.
21. Karwowski, Kamil.
22. Kłeczek, Piotr.
23. Kotłowski, Piotr.
24. Koźmiński, Marcin.
25. Królik, Przemysław.
26. Kubacki, Konrad.
27. Kwiatkowski, Mateusz.
28. Lewandowska, Marta.
29. Łuczun, Rafał.
30. Malinowski, Piotr.
31. Małecki, Maciej.
32. Matulewski, Damian.
33. Melzer, Grzegorz.
34. Mieszała, Konrad.
35. Motel, Mateusz.
36. Motławski, Mateusz.
37. Napiórkowski, Sebastian. Cascading Flight Delays.
38. Osękowski, Dominik.
39. Osiński, Miłosz.
40. Ostrowski, Michał.
41. Paczyński, Łukasz.
42. Piasecka, Aleksandra.
43. Pietraszuk, Bartłomiej.
44. Pikora, Mateusz.
45. Plichta, Oskar.
46. Puchalski, Paweł.
47. Rogaszewski, Piotr.
48. Rybarczyk, Karolina.
49. Sawicki, Paweł.
50. Siora, Kacper.
51. Skiba, Marek.
52. Skowroński, Krzysztof.
53. Smykowski, Adrian.
54. Sott, Tomasz.
55. Stefanowicz, Michał.Przykladowa szkola.
56. Szygenda, Mateusz.
57. Tomczak, Robert.
58. Wąsowicz, Michał.
59. Winsławski, Bartłomiej.
60. Wiśniewski, Konrad.
61. Wiśniewski, Konrad.
62. Zdunek, Kamil.
63. Żarkowski, Mateusz.

GitHub Archive

• GitHub Archive
• Ilya Grigorik, Analyzing Millions of GitHub Commits

Przykładowy JSON:

{
  "repository": {
    "master_branch": "master",
    "pushed_at": "2013-03-31T06:14:38-07:00",
    "created_at": "2011-01-12T03:10:05-08:00",
    "language": "JavaScript",
    "forks": 4,
    "stargazers": 8,
    "watchers": 8,
    "homepage": "",
    "description": "",
    "url": "https://github.com/wbzyl/nosql-tutorial",
    "name": "nosql-tutorial",
    "id": 1245063,
    "fork": false,
    "size": 564,
    "owner": "wbzyl",
    "private": false,
    "open_issues": 0,
    "has_issues": true,
    "has_downloads": true,
    "has_wiki": true
  },
  "actor_attributes": {
    "email": "matwb@univ.gda.pl",
    "location": "Poland",
    "blog": "http://tao.inf.ug.edu.pl/",
    "company": "Institute of  Informatics, The University of Gdańsk",
    "name": "Wlodek Bzyl",
    "gravatar_id": "5daf79134c95a64ccdbf2bd477e52392",
    "type": "User",
    "login": "wbzyl"
  },
  "actor": "wbzyl",
  "url": "https://github.com/wbzyl/nosql-tutorial/compare/073c0ed4c5...e5a8ae8209",
  "type": "PushEvent",
  "public": true,
  "payload": {
    "head": "e5a8ae820950953ce115801fe099d42ecb481ed1",
    "ref": "refs/heads/master",
    "size": 1,
    "shas": [
      [
        "e5a8ae820950953ce115801fe099d42ecb481ed1",
        "matwb@univ.gda.pl",
        "update README-Ruby.md",
        "Wlodek Bzyl",
        true
      ]
    ]
  },
  "created_at": "2013-03-31T06:14:39-07:00"
}